WO2021172921A1 - 의료 영상 장치 및 의료 영상 처리 방법 - Google Patents

의료 영상 장치 및 의료 영상 처리 방법 Download PDF

Info

Publication number
WO2021172921A1
WO2021172921A1 PCT/KR2021/002426 KR2021002426W WO2021172921A1 WO 2021172921 A1 WO2021172921 A1 WO 2021172921A1 KR 2021002426 W KR2021002426 W KR 2021002426W WO 2021172921 A1 WO2021172921 A1 WO 2021172921A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
contour
lesions
arrow
medical image
Prior art date
Application number
PCT/KR2021/002426
Other languages
English (en)
French (fr)
Inventor
유동근
김민철
김효은
이현재
이재환
김해준
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to CN202180017059.XA priority Critical patent/CN115176317A/zh
Priority to JP2022552179A priority patent/JP2023515609A/ja
Priority to EP21759916.6A priority patent/EP4095866A4/en
Publication of WO2021172921A1 publication Critical patent/WO2021172921A1/ko
Priority to US17/895,315 priority patent/US20220415013A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present disclosure relates to an apparatus and method for obtaining lesion information from a medical image and displaying the lesion information on a medical image.
  • the medical device can detect a plurality of lesions from a medical image.
  • the information displayed on the medical image may become too much.
  • the original image is not only covered, but it may take a long time for a medical practitioner to diagnose using the displayed information on a plurality of lesions.
  • a medical practitioner may omit some of the displayed plurality of lesion information.
  • the present disclosure provides a medical image processing method, a computer program stored in a recording medium, and a medical imaging apparatus (system) for solving the above problems.
  • a method of operating a medical imaging apparatus includes: acquiring lesion information on at least one lesion included in a medical image; It characterized in that it comprises the steps of generating at least one corresponding contour, and outputting the at least one contour generated on the medical image.
  • the generating of the at least one contour of the method of operating the medical imaging apparatus may include, based on the acquired lesion information, information related to a lesion region overlapping among a plurality of lesions included in the medical image, or and generating a contour based on at least one of information related to a relationship between the plurality of lesions.
  • the generating of the at least one contour of the method of operating the medical imaging apparatus includes: a region of the first lesion and information about the second lesion included in the plurality of lesions, based on the first and second lesion information. Determining the size of the area where the area of the second lesion overlaps, determining information related to the probability that the second lesion exists in the medical image based on the second lesion information, and the size of the overlapping area is a first threshold and generating at least one contour surrounding the first lesion when the value is greater than the value and information related to the probability that the second lesion exists in the medical image is smaller than the second threshold value.
  • the generating of at least one contour of the operating method of the medical imaging apparatus includes determining whether there is a pathological similarity between the first lesion and the second lesion, the first lesion and the determining whether the second lesion has coexistence in the same region, whether or not there is a similarity indicates that the first lesion and the second lesion are similar, or whether the first lesion and the second lesion have coexistence When it indicates that they cannot coexist, generating at least one contour surrounding the first lesion and not generating at least one contour surrounding the second lesion.
  • the method of operating a medical imaging apparatus further includes arranging the plurality of lesion information in an order of high probability of existence in the medical image, based on the plurality of lesion information, wherein the first lesion is It is characterized in that it has a higher probability of being present in the medical image than the second lesion.
  • the outputting of the at least one contour of the method of operating the medical imaging apparatus may include determining first candidate arrow information on a plurality of first candidate arrows indicating a first contour among the at least one contour. step, determining an arrow-text area outside the first contour, in the arrow-text area, one side of a text box corresponding to a plurality of first candidate arrows and displaying lesion information for the first contour ) and determining a contact area where one end of a plurality of first candidate arrows included in the first candidate arrow information meets, based on the determined contact area, at least one of a text box for the first contour and a displayable position of the arrow generating an arrow set of based on the at least one contour, outputting an arrow and text in a text box.
  • the determining of the first candidate arrow information of the method of operating the medical imaging apparatus may include determining that a first text box for the first contour is a second text box for a second contour or a second contour and a second text box for the second contour.
  • obtaining corrected first candidate arrow information by moving the start point or end point of the candidate arrow included in the first candidate arrow information so that the first text box does not overlap the second text box or the second contour wherein the generating of the at least one arrow set comprises generating the at least one arrow set based on the modified first candidate arrow information.
  • the method of operating a medical imaging apparatus further includes determining second candidate arrow information on a plurality of second candidate arrows indicating a second contour among at least one contour, and
  • the determining of the candidate arrow information may include moving a starting point or an ending point of one of the plurality of first candidate arrows so that one of the plurality of first candidate arrows and one of the plurality of second candidate arrows do not intersect, thereby
  • the method may include obtaining one candidate arrow information, and generating the at least one arrow set comprises generating at least one arrow set based on the modified first candidate arrow information.
  • the determining of the first candidate arrow information of the method of operating the medical imaging apparatus includes: obtaining an intersection of a second contour among the first contour and at least one contour; and a plurality of first candidates. obtaining a first contact point where one of the arrows and the first contour meet, the first contact point is separated from the intersection point by more than a threshold value, by modifying the position of the starting point or the ending point of one of the plurality of first candidate arrows
  • the method may include obtaining one candidate arrow information, and generating the at least one arrow set comprises generating at least one arrow set based on the modified first candidate arrow information.
  • the arrow-text area of the operating method of the medical imaging apparatus is not in contact with the first contour, but has a ring shape surrounding the first contour.
  • a score of the method of operating a medical imaging apparatus is higher as a distance between at least one text box corresponding to at least one contour increases, and a length of at least one arrow corresponding to at least one contour is higher. It is characterized in that the shorter is higher, the higher the distance between the intersection of the two contours included in the at least one contour and the contact point between the at least one contour and the at least one arrow increases.
  • the generating of the at least one contour of the operating method of the medical imaging apparatus includes determining a position and a shape of the at least one contour based on the acquired lesion information. do.
  • the determining of the position and shape of the at least one contour of the method of operating the medical imaging apparatus includes determining a probability that each pixel in the medical image is included in the region of the at least one lesion based on the lesion information. and determining the thickness of the at least one contour based on the acquiring and the probability of being included in the area of the at least one lesion.
  • a medical imaging apparatus includes a processor and a memory, and the processor acquires lesion information on at least one lesion included in a medical image according to an instruction included in the memory, and the acquired lesion information Based on the , at least one contour corresponding to the at least one lesion is generated in the medical image, and the at least one contour generated in the medical image is output.
  • the processor of the medical imaging apparatus may include information related to a lesion region overlapping among a plurality of lesions included in a medical image or a plurality of lesions based on the acquired lesion information according to a command included in a memory. It is characterized in that the contour is generated based on at least one of information related to the relationship between the liver and the liver.
  • the processor of the medical imaging apparatus may include a region of a first lesion and a region of a second lesion based on first lesion information and second lesion information included in a plurality of lesions according to instructions included in a memory. determine the size of the area where the area of ' overlaps, determine information related to the probability that the second lesion exists in the medical image based on the second lesion information, the size of the overlapping area is greater than the first threshold, and the second When the information related to the probability that the lesion exists in the medical image is less than the second threshold, at least one contour surrounding the first lesion is generated.
  • the processor of the medical imaging apparatus determines whether there is a pathological similarity between the first lesion and the second lesion according to an instruction included in a memory, and determines whether the first lesion and the second lesion are similar to each other. Determining whether there is coexistence in the same region, whether or not similarity indicates that the first lesion and the second lesion are similar, or whether there is coexistence, the first lesion and the second lesion cannot coexist with each other , it is characterized in that at least one contour surrounding the first lesion is generated, and at least one contour surrounding the second lesion is not generated.
  • the processor of the medical imaging apparatus sorts the plurality of lesion information in the order of the highest probability of being present in the medical image, based on the plurality of lesion information, according to the instruction included in the memory, and the first lesion is characterized in that the probability of existence in the medical image is higher than that of the second lesion.
  • the processor of the medical imaging apparatus determines, according to an instruction included in a memory, first candidate arrow information for a plurality of first candidate arrows indicating a first contour among at least one contour, and 1
  • An arrow-text area is determined at the periphery of the contour, and in the arrow-text area, one side of a text box corresponding to the plurality of first candidate arrows and displaying lesion information for the first contour and the first candidate determining a contact area where one end of a plurality of first candidate arrows included in the arrow information meets, and generating a text box for the first contour and at least one arrow set for a displayable position of the arrow based on the determined contact area, and , obtain a score for each of the at least one set of arrows, select, based on the obtained score, one set of arrows among the at least one set of arrows, and, based on the selected one set of arrows, with the at least one contour , arrows and text
  • the processor of the medical imaging apparatus When the first text box for the first contour overlaps with the second text box for the second contour or the second contour according to an instruction included in the memory, the processor of the medical imaging apparatus according to an embodiment of the present disclosure, so that the first text box does not overlap the second text box or the second contour, by moving the starting point or the ending point of the candidate arrow included in the first candidate arrow information to obtain the modified first candidate arrow information, and the modified first and generating at least one arrow set based on the candidate arrow information.
  • the processor of the medical imaging apparatus determines, according to an instruction included in a memory, second candidate arrow information for a plurality of second candidate arrows indicating a second contour among at least one contour; moving the start point or the end point of one of the plurality of first candidate arrows so that one of the plurality of first candidate arrows and one of the plurality of second candidate arrows do not intersect, so as to obtain modified first candidate arrow information; It is characterized in that at least one arrow set is generated based on the obtained first candidate arrow information.
  • the processor of the medical imaging apparatus obtains an intersection point of a second contour among a first contour and at least one contour according to an instruction included in a memory, and obtains an intersection point of a second contour from among a plurality of first candidate arrows Acquire the first contact point where the 1 contours meet, and correct the position of the start point or the end point of one of the plurality of first candidate arrows so that the first contact point is separated from the intersection point by more than a threshold value to obtain modified first candidate arrow information and generating at least one arrow set based on the modified first candidate arrow information.
  • the arrow-text area of the medical imaging apparatus is not in contact with the first contour, but has a ring shape surrounding the first contour.
  • the score of the medical imaging apparatus increases as the distance between at least one text box corresponding to the at least one contour increases, and the length of the at least one arrow corresponding to the at least one contour decreases as the distance between the at least one text box increases. It is characterized in that the higher the distance between the intersection of the two contours included in the at least one contour and the contact point between the at least one contour and the at least one arrow is, the higher it is.
  • the processor of the medical imaging apparatus is characterized in that it determines the position and shape of at least one contour based on acquired lesion information according to a command included in a memory.
  • the processor of the medical imaging apparatus obtains a probability that each pixel in the medical image is included in the region of the at least one lesion based on the lesion information according to the instruction included in the memory, and the at least one lesion It is characterized in that the thickness of the at least one contour is determined based on the probability of being included in the region of .
  • a method of operating a medical imaging apparatus includes acquiring lesion information on at least one lesion detected in a medical image, and at least one corresponding to at least one lesion based on the acquired lesion information Determining the shape and position of one contour, determining the position of at least one text area including text indicating lesion information on at least one lesion in a medical image, and the determined shape of the at least one contour and displaying the at least one contour and text included in the at least one text area on the medical image based on the position and the determined position of the at least one text area.
  • the determining of the position of the at least one text area may include one of a distance between the at least one contour and the at least one text area or whether the at least one contour and the at least one text area overlap. determining, based on the at least one, a location of the at least one text area.
  • the acquiring according to an embodiment of the present disclosure includes acquiring lesion information on a plurality of lesions detected in a medical image.
  • the determining of the shape and location of the at least one contour includes the steps of determining a part of a lesion to be displayed on a medical image among a plurality of lesions, and determining the shape and location of at least one contour for the determined part of the lesion.
  • the determining of the location of the at least one text area includes determining the location of the at least one text area including lesion information on the determined partial lesions.
  • the determining of the partial lesions includes: identifying lesions having overlapping lesion regions among a plurality of lesions; and a size of an overlapping region between the overlapping lesions, and each of the overlapping lesions. and determining a lesion of some of the plurality of lesions based on at least one of a lesion probability, a correlation between overlapping lesions, or a probability that some of the overlapping lesions exist in one medical image.
  • the method according to an embodiment of the present disclosure further comprises generating at least one arrow pointing to the at least one contour.
  • the displaying may include displaying the generated at least one arrow on the medical image to connect the at least one contour and the at least one text area.
  • the acquiring according to an embodiment of the present disclosure includes acquiring lesion information on a plurality of lesions detected in a medical image.
  • the generating of the arrow includes generating an arrow for each of the plurality of lesions.
  • Displaying the generated arrows on the medical image includes displaying arrows for each of the plurality of lesions on the medical image so that the generated arrows for each of the plurality of lesions do not cross each other.
  • the acquiring includes acquiring lesion information on a plurality of lesions detected in a medical image.
  • the generating of the arrow includes generating an arrow for each of the plurality of lesions.
  • Displaying the generated arrows on the medical image may include displaying arrows for each of the plurality of lesions on the medical image so that the generated arrows for each of the plurality of lesions do not intersect with the contours corresponding to each of the plurality of lesions.
  • the displaying of the generated arrow on a medical image may include determining at least one contact area in which the generated arrow is in contact with at least one contour, and at least one of the generated at least one arrow. and marking to be connected to the contact area of
  • the determining of the at least one contact area includes determining at least one contact area from among a plurality of contact areas in contact with the at least one contour, based on a distance between the plurality of contact areas. includes steps.
  • the at least one text area includes a plurality of text areas, and the determining of the position of the at least one text area may include: determining each location.
  • the electronic device obtains lesion information on at least one lesion detected in a medical image by executing a memory storing one or more instructions and the stored one or more instructions, and Based on the lesion information, a shape and a position of a contour corresponding to at least one lesion are determined, and a position of at least one text area including text indicating lesion information for at least one lesion in a medical image is determined. and a processor configured to display the at least one contour and text included in the at least one text area on the medical image based on the determined shape and position of the at least one contour and the determined at least one text area.
  • the processor is configured to, based on at least one of a distance between the at least one contour and the at least one text area or whether or not overlap between the at least one contour and the at least one text area, the at least one text and determine the location of the region.
  • the processor obtains lesion information on a plurality of lesions detected in a medical image, determines some lesions to be displayed on a medical image among the plurality of lesions, and includes at least the determined partial lesions. and determining the shape and position of one contour, and determining the position of at least one text area including lesion information for the determined partial lesion.
  • the processor identifies lesions with overlapping lesion regions among a plurality of lesions, and determines the size of the overlapping area between the overlapping lesions, the lesion probability of each of the overlapping lesions, and the overlapping lesions. and determine the partial lesion among the plurality of lesions based on at least one of a correlation between the lesions or a probability that some of the overlapping lesions exist in one medical image.
  • the processor generates at least one arrow pointing to at least one contour, and applies the generated at least one arrow to the medical image to connect the at least one contour and at least one text area. further configured to display.
  • the processor obtains lesion information on a plurality of lesions detected in a medical image, generates arrows for each of the plurality of lesions, and the generated arrows for each of the plurality of lesions cross each other It is further configured to display arrows for each of the plurality of lesions on the medical image.
  • the processor obtains lesion information on a plurality of lesions detected in a medical image, generates arrows for each of the plurality of lesions, and generates arrows for each of the plurality of lesions. It is further configured to display an arrow for each of the plurality of lesions on the medical image so as not to cross each other with the contour corresponding to each of the lesions.
  • the processor is further configured to display the generated arrow to determine at least one contact area tangent to the at least one contour, and to display the generated arrow to be connected to the at least one contact area.
  • the processor is further configured to determine, from among a plurality of contact areas tangent to the at least one contour, based on a distance between the plurality of contact areas, at least one contact area.
  • the at least one text area includes a plurality of text areas, and the processor is further configured to determine a position of each of the plurality of text areas based on a distance between the plurality of text areas.
  • a program for implementing the method of operating the medical imaging apparatus as described above may be recorded in a computer-readable recording medium.
  • FIG. 1 is a diagram illustrating a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating an operation of a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating a medical image according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a capital code of a method of operating a medical imaging apparatus according to an exemplary embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a medical image displayed by a medical imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a medical image displayed by a medical imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a medical image displayed by a medical imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a medical image displayed by a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating an operation of a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 10 is a diagram for explaining an operation of a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing an operation of a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 12 is a diagram for describing an operation of a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 13 is a diagram for explaining an operation of a medical imaging apparatus according to an exemplary embodiment.
  • FIG. 14 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
  • 15 is a diagram for describing an operation of a medical imaging apparatus according to an exemplary embodiment.
  • 16 is a diagram for describing an operation of a medical imaging apparatus according to an exemplary embodiment.
  • 17 is a diagram for explaining a method of obtaining a score according to an embodiment of the present disclosure.
  • 18 is a diagram for explaining a method of obtaining a score according to an embodiment of the present disclosure.
  • FIG. 19 illustrates a medical image according to an embodiment of the present disclosure.
  • 21 is a block diagram illustrating an internal configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 22 is a flowchart illustrating a method of operating a medical imaging apparatus according to an exemplary embodiment.
  • the term “unit” refers to a software or hardware component, and “unit” performs certain roles. However, “part” is not meant to be limited to software or hardware. A “unit” may be configured to reside on an addressable storage medium and may be configured to refresh one or more processors. Thus, by way of example, “part” includes components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functionality provided within components and “parts” may be combined into a smaller number of components and “parts” or further divided into additional components and “parts”.
  • unit may be implemented with a processor and a memory.
  • processor should be interpreted broadly to include general purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like.
  • processor may refer to an application specific semiconductor (ASIC), a programmable logic device (PLD), a field programmable gate array (FPGA), or the like.
  • ASIC application specific semiconductor
  • PLD programmable logic device
  • FPGA field programmable gate array
  • processor refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in combination with a DSP core, or any other such configurations. may refer to.
  • memory should be interpreted broadly to include any electronic component capable of storing electronic information.
  • the term memory includes random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), programmable read-only memory (PROM), erase-programmable read-only memory (EPROM), electrical may refer to various types of processor-readable media, such as erasable PROM (EEPROM), flash memory, magnetic or optical data storage, registers, and the like.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM programmable read-only memory
  • EPROM erase-programmable read-only memory
  • electrical may refer to various types of processor-readable media, such as erasable PROM (EEPROM), flash memory, magnetic or optical data storage, registers, and the like.
  • a memory is said to be in electronic communication with the processor if the processor is capable of reading information from and/or writing information to the memory.
  • a memory integrated in the processor is in electronic communication with the processor.
  • FIG. 1 is a diagram illustrating a medical imaging apparatus according to an exemplary embodiment.
  • the medical imaging apparatus 100 may include a control unit 110 , a database 120 , and an output unit 130 .
  • the controller 110 may include a processor and a memory.
  • the processor may execute instructions stored in memory.
  • the database 120 may store various data.
  • the database 120 may store at least one of a medical image, an analysis result of a medical person, and an analysis result of the medical analysis apparatus.
  • the database 120 may include a medical image analysis model for analyzing a medical image.
  • the medical image analysis model may be a rule base model or a machine learning model.
  • the output unit 130 may include at least one of an image output unit and a sound output unit.
  • the output unit 130 may be controlled by the control unit 110 .
  • the output unit 130 may output at least one of a medical image and an analysis result.
  • FIG. 2 is a flowchart illustrating an operation of a medical imaging apparatus according to an exemplary embodiment.
  • the medical imaging apparatus 100 may perform an operation 210 of acquiring lesion information on at least one lesion included in the medical image.
  • the medical image may be an image of a part of the patient's body.
  • the medical image may be an image captured by various medical imaging apparatuses.
  • the medical image may be one of CT, MRI, X-RAY, mammography, or ultrasound image.
  • the medical image may be received from the database 120 .
  • the medical image may be received from an external device.
  • the medical image may be received from an external medical imaging apparatus other than the medical imaging apparatus 100 .
  • the lesion information may be information on a lesion included in a medical image.
  • the lesion information may be information on a lesion detected by automatically analyzing the medical image analysis apparatus.
  • the present invention is not limited thereto, and the lesion information may be an analysis result by a medical professional.
  • the medical imaging apparatus 100 may receive the lesion information from an external device or from the database 120 of the medical imaging apparatus 100 . Also, the medical imaging apparatus 100 may acquire lesion information by analyzing the medical image using its own analysis tool.
  • the self-analysis tool may be a rule-based model or a machine learning model for detecting lesions.
  • the self-analysis tool may include a medical image analysis model trained based on machine learning.
  • the lesion information may include at least one of information on a type of a lesion, information on a location of a lesion, information on a probability that a lesion exists in a medical image, information on a shape of a lesion, information on a size of a lesion, and information on a region of a lesion.
  • the information on the type of lesion may include at least one of a name of a lesion or classification information of a lesion.
  • the information on the type of lesion may be information made by a medical professional, or information made based on a self-analysis tool.
  • the apparatus for analyzing a medical image may acquire information on a type of a lesion from a medical image based on a rule base or a machine learning model.
  • the location information of the lesion may indicate at least one point where the lesion is most likely to exist in the medical image.
  • the location information of the lesion may be expressed as at least one coordinate value.
  • the location information of the lesion may be a coordinate value of a pixel in which the lesion is located in the medical image.
  • location information of the lesion may be expressed as a plurality of coordinate values.
  • the location information of the lesion may include coordinate values of one lesion point and radius information from the lesion point.
  • the present invention is not limited thereto, and location information of the lesion may be expressed in various ways.
  • the information on the probability that the lesion exists in the medical image represents the probability that the lesion exists in a part of the patient's body corresponding to the medical image, based on the medical image.
  • the apparatus for analyzing a medical image may detect a lesion present in a medical image using a rule base or a machine learning model.
  • the medical image analysis apparatus may also predict the probability that the lesion exists in the medical image based on the rule base or the machine learning model.
  • the information on the probability that the lesion exists in the medical image may include a probability value corresponding to each pixel included in the medical image.
  • the information on the probability that the lesion exists in the medical image may include a probability value corresponding to a specific region of the medical image.
  • the specific region is a region included in the medical image and may be the same image as or smaller than the medical image.
  • the probability value corresponding to the specific region of the medical image may be obtained by the medical image analysis apparatus or may be received by a medical person.
  • the medical imaging apparatus 100 may determine a probability value corresponding to a specific region based on a probability value corresponding to a pixel included in the specific region. For example, the medical imaging apparatus 100 may obtain a representative probability value corresponding to the specific area by using the maximum value, the average value, the median value, or the minimum value of the probability values of pixels included in the specific area. A medical practitioner may lower the probability of a misdiagnosis by diagnosing based on the probability information.
  • the shape information of the lesion may indicate information related to the shape of the lesion.
  • the shape information of the lesion may be information related to the shape of the outline of the lesion.
  • the shape information of the lesion may have a circular, oval, or atypical shape.
  • the shape information of the lesion may be determined by a diagnosis of a medical practitioner.
  • the medical image analysis apparatus may acquire lesion shape information based on a rule base or a machine learning model.
  • the lesion size information is information on the size of the lesion, and may be the number of pixels included in the lesion region in the medical image. Also, the size information of the lesion may be a horizontal length or a vertical length of the lesion in the medical image. Also, the size information of the lesion may be the area of the lesion area in the medical image. The size information of the lesion may indicate the number of pixels included in the lesion region. In addition, the size information of the lesion may indicate a radius. That is, the inner region of the circle based on the central point and radius of the lesion may represent the lesion region.
  • the region information of the lesion may indicate a region where the lesion is highly likely to exist in the medical image.
  • the medical imaging apparatus 100 may receive region information of a lesion from a medical practitioner. Also, the medical imaging apparatus 100 may automatically acquire area information of the lesion based on a rule base or a machine learning model.
  • the medical imaging apparatus 100 may calculate a probability that a lesion exists for each pixel of the medical image. Alternatively, the medical imaging apparatus 100 may calculate a probability that a lesion exists with respect to a pixel group.
  • a pixel group may include a plurality of pixels. A pixel group may represent a predetermined area in a medical image.
  • the medical imaging apparatus 100 may calculate a probability that a lesion exists for a pixel group.
  • the medical imaging apparatus 100 may determine that the pixel is included in the area of the lesion when the probability that the lesion exists in the pixel is equal to or greater than the threshold value. That is, the probability that the lesion exists in pixels included in the lesion region may be greater than or equal to the threshold value.
  • the threshold may be predetermined information.
  • the medical imaging apparatus 100 may perform an operation 220 of generating at least one contour corresponding to at least one lesion in the medical image, based on the acquired lesion information.
  • the contour may indicate either the location or the shape of the lesion.
  • the medical imaging apparatus 100 may display at least one lesion with respect to one medical image.
  • the plurality of lesions may have different locations and shapes.
  • the medical imaging apparatus 100 may acquire the position and shape of at least one lesion based on lesion information.
  • the medical imaging apparatus 100 may generate a contour by reflecting the position and shape of each lesion. That is, the medical imaging apparatus 100 may determine the position and shape of at least one contour based on the acquired lesion information. That is, the position of the contour may be determined based on the position of the lesion included in the lesion information of the medical imaging apparatus 100 . Also, the medical imaging apparatus 100 may determine the shape of the contour based on the shape of the lesion included in the lesion information.
  • the position of the contour may correspond to lesion position information included in the lesion information.
  • the medical imaging apparatus 100 may determine the shape of the contour based on the lesion information.
  • the medical imaging apparatus 100 may determine the contour by the following process.
  • the medical imaging apparatus 100 may determine the contour based on the outline of the lesion area included in the lesion information. As described above, when a probability that a lesion exists in a pixel is greater than or equal to a threshold value, the medical imaging apparatus 100 may determine that the pixel is included in the lesion region. That is, the probability that a lesion exists in pixels within the lesion region may be greater than or equal to a threshold value. The medical imaging apparatus 100 may determine the contour of the lesion region included in the lesion information as a contour. The contour may surround the lesion area.
  • the medical imaging apparatus 100 may acquire a contour including the lesion by extending the contour of the lesion region by A times.
  • A can be a real number greater than 1. That is, the contour may be greater than or equal to the lesion area. Expanding the contour of the lesion area by A times may mean that the horizontal length of the lesion area is A times and the vertical length is A times. Therefore, the area inside the contour can be A ⁇ 2 times the area of the lesion area.
  • the medical imaging apparatus 100 may determine, as a contour, a polygon, an oval, or a circle including the lesion area included in the lesion information. According to the present disclosure, a medical person can intensively observe around a contour that is a part of a medical image and finally can easily determine whether a lesion exists inside the contour.
  • the shape of the contour may further include a thickness of the line of the contour.
  • the medical imaging apparatus 100 may obtain the thickness of the contour line based on the lesion information. For example, the medical imaging apparatus 100 may obtain a probability that each pixel in the medical image is included in the region of at least one lesion based on the lesion information. Also, the medical imaging apparatus 100 may determine the thickness of the at least one contour based on a probability that a pixel included in the contour is included in the area of the at least one lesion. For example, the thickness of the contour may be increased as the probability increases.
  • the medical imaging apparatus 100 may obtain a probability that each pixel included in the medical image is included in the lesion. Also, the medical imaging apparatus 100 may determine, as a contour, a group of pixels having a probability of being included in a lesion equal to a threshold value. Since the probability of being included in a lesion is discontinuous, there may not be a value equal to the threshold value. In this case, when the probability corresponding to one of the two adjacent pixels is greater than the threshold value and the probability corresponding to the other one is less than the threshold value, one of the two adjacent pixels may be included in the contour. The probability that the pixel inside the contour is included in the lesion region may be greater than the threshold value.
  • the threshold may be a predetermined value.
  • the medical imaging apparatus 100 may determine, as a contour, a group of pixels having a probability of being included in a lesion within a critical range.
  • the critical range is so narrow that a collection of pixels can look like a line.
  • the probability that the pixel inside the contour is included in the lesion region may be greater than the minimum value of the critical range.
  • the critical range may be a predetermined range.
  • the medical imaging apparatus 100 may generate a plurality of contours corresponding to the plurality of lesions. This will be described together with FIG. 3 .
  • FIG. 3 is a diagram illustrating a medical image according to an embodiment of the present disclosure.
  • the medical imaging apparatus 100 may generate at least one contour for one lesion included in the medical image.
  • the medical imaging apparatus 100 may generate at least one contour such as a contour line for one lesion.
  • a probability that a pixel inside one of the plurality of lines included in the contour line is included in the lesion region may be greater than a threshold value.
  • a medical image may include a first contour line 311 and a second contour line 312 for one lesion.
  • the probability that the pixel included in the inner region of the first contour line 311 is included in the lesion region may be greater than or equal to the first threshold value.
  • a probability that a pixel included in the inner region of the second contour line 312 is included in the lesion region may be greater than or equal to the second threshold value.
  • the probability that pixels included in the inner region of the second contour line 312 and the outer region of the first contour line 311 are included in the lesion region may be lower than the first threshold value and greater than or equal to the second threshold value.
  • the first threshold value and the second threshold value may be predetermined values. The first threshold may be greater than the second threshold.
  • the medical imaging apparatus 100 may generate the contour line thicker as the probability that the pixel inside the contour line is included in the lesion area increases. For example, a probability that a pixel included in the inner region of the first contour line 311 is included in the lesion region may be high. However, the probability that the pixel included between the first contour line 311 and the second contour line 312 is included in the lesion region may be relatively low. Accordingly, the medical imaging apparatus 100 may display the first contour line 311 thicker than the second contour line 312 .
  • the medical imaging apparatus 100 may generate different colors of the contour line according to the probability that pixels inside the contour line are included in the lesion region. For example, a probability that a pixel included in the inner region of the first contour line 311 is included in the lesion region may be high. However, the probability that the pixel included between the first contour line 311 and the second contour line 312 is included in the lesion region may be relatively low. Accordingly, the medical imaging apparatus 100 may display the first contour line 311 in red and the second contour line 312 in orange.
  • the medical imaging apparatus 100 may display the area between the contour lines in different colors based on the probability that pixels inside the contour lines are included in the lesion area. For example, a probability that a pixel included in the inner region of the first contour line 311 is included in the lesion region may be high. However, the probability that the pixel included between the first contour line 311 and the second contour line 312 is included in the lesion region may be relatively low. Accordingly, the medical imaging apparatus 100 may fill the inside of the first contour line 311 in red and display the area between the second contour line 312 and the first contour line 311 in orange. The medical imaging apparatus 100 may adjust the transparency so that the original medical image is not covered by the painted color.
  • a probability that a pixel included in one line among a plurality of lines included in the contour line is included in the lesion region may be included in a specific critical range.
  • the specific threshold range may be a predetermined range. Referring to FIG. 3 , the probability that the pixel included in the first contour line 311 is included in the lesion region may be included in the first critical range. Also, the probability that the pixel included in the second contour line 312 is included in the lesion region may be included in the second critical range.
  • the minimum value of the first threshold range may be greater than the maximum value of the second threshold range.
  • the medical imaging apparatus 100 may generate a plurality of contours by expanding the outline of the lesion region included in the lesion information.
  • the first contour line 311 may be an outline of a lesion region.
  • the medical imaging apparatus 100 may acquire the second contour line 312 by extending the first contour line 311 .
  • the thickness of the second contour line 312 may be thinner than that of the first contour line 311 .
  • the medical imaging apparatus 100 may perform an operation 230 of outputting at least one contour generated in the medical image.
  • the output unit 130 may output a medical image and at least one contour.
  • the medical imaging apparatus 100 may perform the following steps to generate at least one contour.
  • the medical imaging apparatus 100 generates a contour based on at least one of information related to a lesion region overlapping among a plurality of lesions included in a medical image or information related to a relationship between the plurality of lesions, based on the acquired lesion information. steps can be performed.
  • a plurality of lesions may be detected in the medical image.
  • Lesion information may be obtained for each of a plurality of lesions.
  • the lesion information may include lesion area information.
  • the medical imaging apparatus 100 may acquire information related to a lesion region overlapping among a plurality of lesions based on the lesion information. Also, the medical imaging apparatus 100 may acquire information related to a relationship between a plurality of lesions.
  • the information related to the relationship between the plurality of lesions is information indicating whether there is a relationship between the plurality of lesions medically.
  • the information related to the relevance may include information on whether a plurality of lesions coexist, indicating whether a plurality of lesions may be expressed in the same patient at the same time. For example, if the first lesion cannot appear simultaneously with the second lesion, there is no coexistence, and if the first lesion can appear simultaneously with the second lesion, there is coexistence.
  • the information related to the relevance may include information on whether a plurality of lesions are similar, indicating whether there is a high possibility that the lesions are simultaneously expressed. Multiple lesions have distinct names, but are substantially similar in some cases.
  • the expression of the second lesion may not mean that the first lesion is expressed when the second lesion is expressed.
  • the present invention is not limited thereto, and the expression of the second lesion when the first lesion is expressed may mean that the first lesion is expressed when the second lesion is expressed.
  • the expression of the first lesion and the second lesion are independent and the expression of the first lesion has no effect on the expression of the second lesion, the first lesion and the second lesion have no similarity. Also, when the expression of the second lesion has no effect on the expression of the first lesion, the first lesion and the second lesion have no similarity.
  • the medical imaging apparatus 100 may acquire information related to relevance based on a rule base or a machine learning model.
  • the medical imaging apparatus 100 may acquire information related to relevance based on the database 120 .
  • the medical imaging apparatus 100 may acquire first lesion information on the first lesion.
  • the medical imaging apparatus 100 may acquire second lesion information on the second lesion.
  • the medical imaging apparatus 100 may obtain a first lesion identifier including at least one of a code, a name, and a type of the first lesion from the first lesion information.
  • the medical imaging apparatus 100 may obtain a second lesion identifier including at least one of a second lesion code, name, and type from the second lesion information.
  • the medical imaging apparatus 100 may obtain information related to the relationship between the first lesion and the second lesion from the database based on the first lesion identifier and the second lesion identifier.
  • the database may pre-store information related to relevance according to the first identifier and the second lesion identifier.
  • the medical imaging apparatus 100 may derive information related to relevance corresponding to the first identifier and the second identifier from the database.
  • the medical imaging apparatus 100 may acquire information related to relevance from a location other than the database 120 .
  • the medical imaging apparatus 100 may acquire information related to relevance by applying the first lesion information and the second lesion information to the machine learning model.
  • the machine learning model may be a machine-learning model of the relationship between the first lesion and the second lesion.
  • the medical imaging apparatus 100 may obtain information related to relevance from a medical person. Also, the medical imaging apparatus 100 may obtain information related to relevance from the lesion information.
  • the first lesion information related to the first lesion may include information on lesions similar to the first lesion and information on lesions coexisting with the first lesion.
  • the medical imaging apparatus 100 may determine whether the second lesion is similar to or coexist with the first lesion based on the first lesion information.
  • the medical imaging apparatus 100 may acquire information related to relevance based on an input signal from a medical person. Also, the medical imaging apparatus 100 may obtain information related to relevance from an external device.
  • the medical imaging apparatus 100 may generate at least one contour in which an area of the first lesion overlaps with an area of the second lesion based on the first lesion information and the second lesion information included in the plurality of lesions.
  • the step of determining the size of the region may be performed.
  • the medical imaging apparatus 100 may acquire first lesion information on the first lesion and second lesion information on the second lesion.
  • the medical imaging apparatus 100 may obtain region information of a first lesion in the medical image from the first lesion information and region information of a second lesion in the medical image from the second lesion information.
  • the medical imaging apparatus 100 may determine a size of an area where the first lesion area and the second lesion area overlap.
  • the size of the overlapping area may be expressed by at least one of the number of pixels in the overlapping area, the area of the overlapping area, the horizontal length of the overlapping area, or the vertical length of the overlapping area.
  • the region of the first lesion and the region of the second lesion may simply mean the region of the first lesion and the region of the second lesion, but are not limited thereto.
  • the region of the first lesion may refer to an inner region of the first contour corresponding to the first lesion.
  • the area of the second lesion may refer to an inner area of the second contour corresponding to the second lesion.
  • the medical imaging apparatus 100 may perform an operation of determining information related to a probability that the second lesion exists in the medical image based on the second lesion information.
  • the information related to the probability that the second lesion exists in the medical image may be a probability value corresponding to each pixel value included in the medical image or a probability value corresponding to a specific region included in the medical image.
  • the specific region may correspond to the generated contour.
  • the medical imaging apparatus 100 includes at least one surrounding the first lesion. may perform the step of generating a contour of .
  • the first threshold value and the second threshold value may be predetermined values.
  • the second threshold value may be information related to a probability that the first lesion exists in a medical image, but is not limited thereto.
  • the contour may be greater than or equal to the first lesion area. Since the method of generating at least one contour surrounding the first lesion has already been described, a redundant description thereof will be omitted.
  • the medical imaging apparatus 100 selects at least one image surrounding the first lesion.
  • the contour may be generated, but at least one contour surrounding the second lesion may not be generated. Because the size of the overlapping region is larger than the first threshold value, the first lesion and the second lesion are largely overlapped, and information related to the probability that the second lesion exists in the medical image is smaller than the second threshold value. This is because the importance of the second lesion may be relatively low.
  • the medical imaging apparatus 100 may perform an operation of determining whether there is a pathological similarity between the first lesion and the second lesion in order to generate at least one contour. Whether there is a similarity may be included in the information related to the relevance. Since the information on whether or not similarity has already been described, a redundant description will be omitted. Also, the medical imaging apparatus 100 may determine whether there is similarity as a rule base based on a database, obtain it from a machine learning model, receive it from a medical person, or obtain it from lesion information. Since the process of acquiring information related to relevance has already been described above, a redundant description will be omitted.
  • the medical imaging apparatus 100 may perform an operation of determining whether the first lesion and the second lesion coexist in the same region. Since the information on whether or not coexistence exists has already been described, a redundant description will be omitted. Also, the medical imaging apparatus 100 may determine whether coexistence exists as a rule base based on a database, obtain it from a machine learning model, receive it from a medical person, or obtain it from lesion information. Since the process of acquiring information related to relevance has already been described above, a redundant description will be omitted.
  • the step of generating at least one contour surrounding the first lesion and not generating at least one contour surrounding the second lesion may be performed.
  • the medical imaging apparatus 100 may generate at least one contour surrounding only the first lesion. This is because similarity means that when the first lesion is expressed, the second lesion can be expressed.
  • the medical imaging apparatus 100 selects both the at least one contour corresponding to the first lesion and the at least one contour corresponding to the second lesion. can create
  • the medical imaging apparatus 100 may generate at least one contour surrounding only one of the first lesion or the second lesion.
  • the medical imaging apparatus 100 may compare probabilities that the first lesion and the second lesion exist in the medical image. Also, when the probability that the first lesion exists in the medical image is higher than that of the second lesion, the medical imaging apparatus 100 may generate at least one contour surrounding the first lesion. The medical imaging apparatus 100 may not generate at least one contour surrounding the second lesion. Conversely, when the probability that the first lesion exists in the medical image is lower than that of the second lesion, the medical imaging apparatus 100 may generate at least one contour surrounding the second lesion. The medical imaging apparatus 100 may not generate at least one contour surrounding the first lesion.
  • the medical imaging apparatus 100 may further perform an operation of arranging the plurality of lesion information in the order of the highest probability of being present in the medical image, based on the plurality of lesion information.
  • the medical imaging apparatus 100 does not output a contour corresponding to a lesion with a low probability of existence when there is no coexistence between the two lesions by arranging the plurality of lesion information in the order of the highest probability of being present in one medical image. may not be
  • the medical imaging apparatus 100 may include at least one contour corresponding to the first lesion and at least one contour corresponding to the second lesion. You can create all the contours of .
  • FIG. 4 is a diagram illustrating a capital code of a method of operating a medical imaging apparatus according to an exemplary embodiment of the present disclosure.
  • C in the line 410 may represent a set of contours corresponding to a plurality of detected lesions.
  • the medical imaging apparatus 100 may perform the for statement while the index i increases from 1 to M-1.
  • R(i) is a function that arranges the contour elements in the set C in order of the highest probability of being present in the medical image. That is, R(1) may output at least one contour of a lesion having the highest probability to exist in a medical image. Also, R(M-1) may output at least one contour of a lesion having the lowest probability to exist in the medical image.
  • the medical imaging apparatus 100 may assign a contour corresponding to the lesion having the i-th highest probability to cp by R(i).
  • the medical imaging apparatus 100 may assign, to cp, a contour of a lesion that exists with a low probability in a medical image as i increases by R(i).
  • D(cp) is a function for outputting lesion information corresponding to the contour cp.
  • the medical imaging apparatus 100 may allocate lesion information corresponding to cp to dp by D(cp).
  • the medical imaging apparatus 100 may perform the for statement while the index j increases from 2 to M.
  • the index j increases from 2, but is not limited thereto.
  • the index j may be increased from i+1 to M.
  • R(j) is a function that arranges the contour elements in the set C in order of the highest probability of being present in the medical image.
  • the medical imaging apparatus 100 may assign a contour corresponding to a lesion having the j-th highest probability to cq by R(j).
  • D(cq) is a function for outputting lesion information corresponding to the contour cq.
  • the medical imaging apparatus 100 may allocate lesion information corresponding to cq to dq by D(cq).
  • IoU(cp, cq) may indicate the size of a region where the regions of the contour cp and cq overlap.
  • S(cq) may represent a probability that a pixel inside cq, which is a contour, is included in the lesion region.
  • line 460 the medical imaging apparatus 100 indicates that the size of the region where the region of the contour cp and the region of the contour cq overlap is greater than the threshold value MTdq, and the probability that the pixel inside the contour cq is included in the lesion region is the threshold value STdq ), line 470 may be performed.
  • Sim(dp, dq) may output information on whether the lesion information dp and the lesion information dq are similar.
  • Sim(dp, dq) is 1, it may indicate that there is a similarity between the lesion information dp and the lesion information dq.
  • Sim(dp, dq) is 0, it may indicate that there is no similarity between the lesion information dp and the lesion information dq.
  • CoOcc(dp, dq) may output information on whether the lesion information dp and the lesion information dq coexist.
  • CoOcc(dp, dq) When CoOcc(dp, dq) is 1, it may indicate that there is coexistence between the lesion information dp and the lesion information dq. In addition, when CoOcc(dp, dq) is 0, it may indicate that there is no coexistence between the lesion information dp and the lesion information dq.
  • line 480 when there is similarity between lesion information dp and lesion information dq and there is no coexistence between lesion information dp and lesion information dq, line 480 may be performed.
  • the medical imaging apparatus 100 may remove the contour cq from the set C when the above condition is satisfied. That is, in the medical imaging apparatus 100 , the size of the region where the regions of the contour cp and the contour cq overlap is greater than the threshold value MTdq, and the probability that the pixels inside the contour cq are included in the lesion region is less than the threshold value STdq. If there is a similarity between the lesion information dp and the lesion information dq, and there is no coexistence between the lesion information dp and the lesion information dq, the contour cq can be removed from the set C.
  • the medical imaging apparatus 100 may output the contour included in the set C to the output unit 130 . That is, the medical imaging apparatus 100 may not output the contour cq.
  • 5 to 8 are diagrams illustrating medical images displayed by a medical imaging apparatus according to an exemplary embodiment.
  • the medical imaging apparatus 100 may display an arrow or text near the contour.
  • the text may include content related to the contour.
  • 5 to 8 are examples of placement of arrows or text positioned near the contour. 5 to 8 , the medical imaging apparatus 100 may arrange arrows and text so that the user can clearly understand the meaning of the contour.
  • the medical imaging apparatus 100 may output a contour together with a medical image. Also, the medical imaging apparatus 100 may display an arrow and text near the contour. Arrows can connect between the contour and text. The text may also describe the lesion included in the contour. The medical imaging apparatus 100 may acquire text based on lesion information.
  • the medical image 510 shows an example in which arrows and text are incorrectly displayed.
  • a plurality of texts are displayed in duplicate.
  • at least a portion of the plurality of arrows may intersect. Therefore, medical personnel may not be able to check the contents of the text.
  • the medical image 520 represents a medical image normally displayed by the medical imaging apparatus 100 according to the present disclosure. Referring to the box 521 , arrows included in the medical image 520 do not cross each other. Also, the text is not duplicated. Therefore, medical personnel can clearly understand the meaning of the contour.
  • a medical image 610 shows an example in which arrows and text are incorrectly displayed.
  • an arrow crosses the contour. If the arrow crosses the contour, the length of the arrow may be long, and the distance between the contour and the text pointed to by the arrow may be large. Therefore, it may be difficult for medical personnel to determine which contour the text describes.
  • the medical image 620 represents a medical image normally displayed by the medical imaging apparatus 100 according to the present disclosure. Referring to the box 621 , the arrow included in the medical image 620 does not cross the contour. Therefore, medical personnel can clearly understand the meaning of the contour.
  • a medical image 710 illustrates an example in which arrows and text are incorrectly displayed.
  • box 711 arrows and text are displayed over the contour. If arrows and text are displayed over the contour, the readability of the text may be poor. Therefore, medical personnel may not be able to check the contents of the text.
  • the medical image 720 represents a medical image normally displayed by the medical imaging apparatus 100 according to the present disclosure. Referring to the box 721 , arrows and text included in the medical image 720 are not displayed on the contour. Therefore, medical personnel can clearly understand the meaning of the contour.
  • a medical image 810 illustrates an example in which arrows and text are incorrectly displayed.
  • an arrow is displayed above the intersection of the two contours.
  • the medical image 820 represents a medical image normally displayed by the medical imaging apparatus 100 according to the present disclosure. Referring to the box 821 , the arrow included in the medical image 820 is not displayed at the intersection of the two contours. Therefore, the medical personnel can clearly understand the text corresponding to the contour.
  • FIGS. 10 to 13 are diagrams for explaining an operation of a medical imaging apparatus according to an exemplary embodiment.
  • the medical imaging apparatus 100 may perform an operation 910 of determining first candidate arrow information on a plurality of first candidate arrows indicating a first contour among the at least one contour.
  • the candidate arrow information may include at least one of location information about the start point of the arrow, location information about the end point of the arrow, information about the direction of the arrow, and information about the length of the arrow.
  • the medical imaging apparatus 100 may acquire a plurality of first candidate arrows 1021 , 1022 , and 1023 indicating the first contour 1010 among at least one contour.
  • the plurality of first candidate arrows 1021 , 1022 , 1023 may be substantially perpendicular to the first contour 1010 .
  • the plurality of first candidate arrows 1021 , 1022 , and 1023 may include a start point and an end point.
  • the starting point of the arrow may mean a point closest to the contour on the arrow.
  • the end point may mean the opposite side of the start point on the arrow.
  • the starting point of the arrow may be the head of the arrow, but is not limited thereto, and the end point of the arrow may be the head of the arrow.
  • the positions of the starting points of the plurality of first candidate arrows 1021 , 1022 , and 1023 may be randomly determined on the contour 1010 .
  • the number of the plurality of first candidate arrows 1021 , 1022 , and 1023 may be a predetermined number.
  • the number of the plurality of first candidate arrows 1021 , 1022 , and 1023 may be ten.
  • the lengths of the plurality of first candidate arrows 1021 , 1022 , and 1023 may be predetermined.
  • the lengths of the plurality of first candidate arrows 1021 , 1022 , and 1023 may be randomly determined within a predetermined range.
  • the medical imaging apparatus 100 may acquire a plurality of first candidate arrows 1121 , 1122 , and 1123 indicating a first contour 1110 among at least one contour.
  • Text boxes 1131 , 1132 , and 1133 may be positioned at end points of the plurality of first candidate arrows 1121 , 1122 , and 1123 .
  • Text may be displayed in the text boxes 1131 , 1132 , and 1133 .
  • the plurality of first candidate arrows 1121 , 1122 , and 1123 and the text boxes 1131 , 1132 , and 1133 may correspond one-to-one.
  • Positions between the plurality of first candidate arrows 1121 , 1122 , and 1123 and the text boxes 1131 , 1132 , and 1133 may be determined in a predetermined manner.
  • the positions of the text boxes 1131 , 1132 , and 1133 may be set based on directions of the plurality of first candidate arrows 1121 , 1122 , and 1123 .
  • the medical imaging apparatus 100 may set the position of the text box so that one of the plurality of first candidate arrows 1121 , 1122 , and 1123 is located at a corner or a side of the text box.
  • the upper left vertex of the text box 1131 may be close to the end point of the first candidate arrow 1121 .
  • the start point of the first candidate arrow 1122 is to the left of the end point
  • the left side of the text box 1132 may be close to the end point of the first candidate arrow 1122 . Since FIG. 11 describes the relationship between the arrow and the text, an additional description will be omitted.
  • the positional relationship between the candidate arrow and the text box shown in FIG. 11 is an example, and in addition, there may be various positional relationships between the candidate arrow and the text box.
  • the head of the candidate arrow 1160 may be located at the end point. That is, the starting point of the candidate arrow 1160 is close to or in contact with the contour 1150 , and the end point of the candidate arrow 1160 is close to or in contact with the edge or side of the text area 1170 (eg, a box-shaped text area, etc.).
  • the text area 1170 eg, a box-shaped text area, etc.
  • the medical imaging apparatus 100 may perform an operation 920 of determining the arrow-text area 1030 on the outside of the first contour 1010 .
  • the arrow-text area 1030 may be an area including the end point of the arrow and a part of the text box.
  • the endpoint of the arrow and the text box may be adjacent.
  • the medical imaging apparatus 100 may generate a contour 1210 .
  • the medical imaging apparatus 100 may expand the contour 1210 to generate the first extended contour 1221 .
  • the medical imaging apparatus 100 may expand the contour 1210 to generate a second extended contour 1222 .
  • the second expanded contour 1222 may include the first expanded contour 1221 .
  • the medical imaging apparatus 100 may use the contour 1210 at a predetermined multiple to obtain the first expanded contour 1221 and the second expanded contour 1222 .
  • the medical imaging apparatus 100 may determine a space between the first extended contour 1221 and the second extended contour 1222 as the arrow-text area 1230 .
  • the arrow-text area 1230 may have a ring shape surrounding the first contour 1210 without being in contact with the first contour 1210 .
  • the medical imaging apparatus 100 sets the endpoints of the plurality of first candidate arrows to the arrow-text area ( 1030), the start point or end point of the plurality of first candidate arrows may be adjusted.
  • the medical imaging apparatus 100 includes a first side and a first text box corresponding to a plurality of first candidate arrows and displaying lesion information on a first contour.
  • An operation 930 of determining a contact area where ends of a plurality of first candidate arrows included in the candidate arrow information meet may be performed.
  • one side may indicate a corner or a side of the text box.
  • one end may be a starting point or an ending point of the candidate arrow.
  • the medical imaging apparatus 100 may determine a text to be included in a text box based on lesion information. Also, the medical imaging apparatus 100 may determine the size of the text box based on the font and content of the text. The medical imaging apparatus 100 may arrange text boxes at end points of the plurality of first candidate arrows 1041 , 1042 , and 1043 .
  • the content of the text may include at least one of information on the type of the lesion, information on the probability that the lesion exists in the medical image, information on the shape of the lesion, the size of the lesion, and the probability of the presence of the lesion in the unit area of the medical image.
  • the medical imaging apparatus 100 may determine information about the text box.
  • the information on the text box may include a size of the text box, a height of the text box, a width of the text box, or location information of the text box.
  • the location of the text box may be determined based on the information on the arrow of the medical imaging apparatus 100 .
  • the medical imaging apparatus 100 may position one corner or one side of the text box within a predetermined distance from the end point of the arrow.
  • the medical imaging apparatus 100 may determine whether text boxes corresponding to the plurality of first candidate arrows 1041 , 1042 , and 1043 may be located in the medical image. Also, the medical imaging apparatus 100 may determine an area in the arrow-text area 1070 that allows a text box to be located in the medical image as the contact area. For example, a partial area of the text box corresponding to the first candidate arrow 1041 may be located outside the medical image 1050 . The medical imaging apparatus 100 may determine the contact area by removing the area in which the first candidate arrow 1041 exists from the arrow-text area 1070 .
  • the medical imaging apparatus 100 may determine whether text boxes corresponding to the plurality of first candidate arrows 1041 , 1042 , and 1043 overlap with the object. Also, the medical imaging apparatus 100 may determine an area in which the text box does not overlap with the object as the contact area.
  • the object may include at least one of a contour, another text box, or another arrow. For example, a portion of the text box corresponding to the first candidate arrow 1042 may overlap another contour 1060 .
  • the medical imaging apparatus 100 may determine the contact area by removing the area in which the first candidate arrow 1042 exists from the arrow-text area 1070 .
  • the medical imaging apparatus 100 uses an area including the endpoint of the first candidate arrow 1040 to be a contact area. can be obtained.
  • the medical imaging apparatus 100 may acquire a portion of the arrow-text area 1070 as the contact area 1080 .
  • the medical imaging apparatus 100 may select a plurality of candidate arrows including endpoints in the contact area.
  • at least one set of arrows may be generated using the selected candidate arrows.
  • the medical imaging apparatus 100 may perform an operation 940 of generating a text box for the first contour and at least one set of arrows for displayable positions of the arrows based on the determined contact area. have.
  • a plurality of contours 1310 , 1320 , and 1330 may be included in a medical image.
  • the medical imaging apparatus 100 may determine a contact area for each of the plurality of contours 1310 , 1320 , and 1330 based on steps 910 to 930 . Also, the medical imaging apparatus 100 may determine a plurality of candidate arrows for each of the plurality of contours 1310 , 1320 , and 1330 .
  • the medical imaging apparatus 100 may select a plurality of candidate arrows including endpoints in the contact area. Also, the medical imaging apparatus 100 may remove a candidate arrow that does not include an endpoint in the contact area.
  • the medical imaging apparatus 100 may generate an arrow set by selecting one candidate arrow per contour from among a plurality of candidate arrows including at least a part of the contact area. That is, the medical imaging apparatus 100 may generate an arrow set by selecting one of a plurality of candidate arrows corresponding to one contour.
  • the medical imaging apparatus 100 may select a 1-1 arrow 1311 from among a plurality of candidate arrows for the first contour 1310 . Also, referring to SET 1 , the medical imaging apparatus 100 may select a 2-1 arrow 1321 from among a plurality of candidate arrows for the second contour 1320 . Also, referring to SET 1 , the medical imaging apparatus 100 may select a 3-1 arrow 1331 from among a plurality of candidate arrows for the third contour 1330 . The 1-1 arrow 1311 , the 2-1 arrow 1321 , and the 3-1 arrow 1331 may be included in SET 1 .
  • the medical imaging apparatus 100 may select a 1-2 arrow 1312 from among a plurality of candidate arrows for the first contour 1310 . Also, referring to SET 2 , the medical imaging apparatus 100 may select a 2-2 arrow 1322 from among a plurality of candidate arrows for the second contour 1320 . Also, referring to SET 2 , the medical imaging apparatus 100 may select a 3-2 arrow 1332 from among a plurality of candidate arrows for the third contour 1330 . The 1-2 arrow 1312 , the 2-2 arrow 1322 , and the 3-2 arrow 1332 may be included in SET 2 .
  • the medical imaging apparatus 100 may generate a predetermined number of sets.
  • the medical imaging apparatus 100 may randomly select an arrow to be included in the set from among a plurality of candidate arrows.
  • the medical imaging apparatus 100 may position the text box at the end point of the arrow according to a predetermined method.
  • the medical imaging apparatus 100 may include arrow information in the arrow set. That is, the medical imaging apparatus 100 may store arrow information corresponding to each of the plurality of contours in an arrow set.
  • the at least one arrow set may include at least one of arrow information or information about a text box.
  • the information on the text box may include the size of the text box, the height of the text box, the width of the text box, or location information of the text box.
  • the medical imaging apparatus 100 may perform an operation 950 of obtaining a score for each of at least one set of arrows.
  • the score indicates the degree to which a medical practitioner can comfortably review at least one of medical images, contours, arrows, and text. A higher score indicates that the practitioner can comfortably review at least one of medical images, contours, arrows, and text.
  • the step of obtaining a score will be described in more detail with reference to FIGS. 17 and 18 .
  • the medical imaging apparatus 100 may perform an operation 960 of selecting one arrow set from among the at least one arrow set based on the obtained score.
  • the medical imaging apparatus 100 may select the arrow set having the highest score. For example, in FIG. 13 , when SET 1 has the highest score among SET 1 and SET 2 , the medical imaging apparatus 100 may select SET 1 . Also, the medical imaging apparatus 100 may not select the resolution arrow set when arrows in the arrow set cross each other even though the arrow set has the highest score.
  • the medical imaging apparatus 100 may not select the corresponding arrow set when the first arrow corresponding to the first contour and the second arrow corresponding to the second contour from among the arrow sets intersect. Alternatively, when the first arrow corresponding to the first contour and the second arrow corresponding to the second contour of the set of arrows intersect, the medical imaging apparatus 100 may remove it from at least one set of arrows.
  • the medical imaging apparatus 100 may perform an operation 950 of outputting an arrow and text in a text box along with at least one contour based on one selected arrow set.
  • the medical imaging apparatus 100 may output an arrow based on information on a plurality of arrows included in the selected arrow set.
  • the medical imaging apparatus 100 may determine the content of the text based on the lesion information.
  • the medical imaging apparatus 100 may arrange the text box adjacent to the arrow based on a predetermined method.
  • the medical imaging apparatus 100 may display text in a text box. The text box may not be displayed.
  • the medical imaging apparatus 100 displays a medical image 1300 , a plurality of contours 1310 , 1320 , and 1330 , and a plurality of arrows as in SET 1 . (1311, 1321, 1331) and text can be output.
  • FIG. 14 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
  • the medical imaging apparatus 100 may perform the following process to determine the first candidate arrow information. The following steps may be performed together with one of steps 910 to 940 of FIG. 9 .
  • the medical imaging apparatus 100 may determine that the first text box overlaps the second text box or the second contour. In order not to do so, the step of obtaining the corrected first candidate arrow information may be performed by moving the start point or the end point of the candidate arrow included in the first candidate arrow information.
  • the medical imaging apparatus 100 may determine that the first text box 1411 for the first contour overlaps the second text box 1412 for the second contour.
  • the medical imaging apparatus 100 moves the start point or the end point of the candidate arrow 1413 included in the first candidate arrow information so that the first text box 1411 does not overlap the second text box 1412 so that the modified first text box 1411 does not overlap the second text box 1412 .
  • Candidate arrow information may be obtained.
  • the medical imaging apparatus 100 may move the candidate arrow 1413 as much as the first text box 1411 and the second text box 1412 overlap each other.
  • the medical image 1420 represents the candidate arrow 1423 based on the corrected first candidate arrow information.
  • the medical imaging apparatus 100 may acquire the modified first text box 1421 based on the candidate arrow 1423 .
  • the modified first text box 1421 may not overlap the second text box 1422 .
  • the medical imaging apparatus 100 may determine that the first text box 1431 for the first contour overlaps the second contour 1432 .
  • the medical imaging apparatus 100 moves the first candidate corrected by moving the starting point or the ending point of the candidate arrow 1433 included in the first candidate arrow information so that the first text box 1431 does not overlap the second contour 1432 .
  • Arrow information can be obtained.
  • the medical image 1440 represents the candidate arrow 1443 based on the corrected first candidate arrow information.
  • the medical imaging apparatus 100 may acquire the modified first text box 1441 based on the candidate arrow 1443 .
  • the modified first text box 1441 may not overlap the second contour 1442 .
  • the medical imaging apparatus 100 may generate at least one arrow set based on the corrected first candidate arrow information. This step may be performed in conjunction with step 940 of FIG. 9 .
  • 15 is a diagram for describing an operation of a medical imaging apparatus according to an exemplary embodiment.
  • the medical imaging apparatus 100 may perform the following process to determine the first candidate arrow information. The following steps may be performed together with one of steps 910 to 940 of FIG. 9 .
  • the medical imaging apparatus 100 may perform an operation of determining first candidate arrow information for a plurality of first candidate arrows pointing to the first contour 1521 among at least one contour.
  • the plurality of first candidate arrows may include a first candidate arrow 1522 .
  • the medical imaging apparatus 100 may perform an operation of determining second candidate arrow information for a plurality of second candidate arrows pointing to the second contour 1531 among at least one contour.
  • the plurality of second candidate arrows may include a second candidate arrow 1532 .
  • the medical imaging apparatus 100 may determine whether a first candidate arrow 1522 from among a plurality of first candidate arrows intersects with a second candidate arrow 1532 from among a plurality of second candidate arrows. Also, when the first candidate arrow 1522 and the second candidate arrow 1532 intersect as in the medical image 1510 , the medical imaging apparatus 100 may display a first candidate arrow 1522 from among the plurality of first candidate arrows. and by moving the starting point or the ending point of the first candidate arrow 1522 so that the second candidate arrow 1532 of the plurality of second candidate arrows does not intersect, obtaining corrected first candidate arrow information. have.
  • the medical imaging apparatus 100 may acquire the modified first candidate arrow 1562 by moving the start and end points of the first candidate arrow 1522 corresponding to the first contour 1561 . have.
  • the medical imaging apparatus 100 may acquire corrected first candidate arrow information based on the modified first candidate arrow 1562 .
  • the medical imaging apparatus 100 may generate at least one arrow set based on the corrected first candidate arrow information. This step may be performed in conjunction with step 940 of FIG. 9 .
  • 16 is a diagram for describing an operation of a medical imaging apparatus according to an exemplary embodiment.
  • the medical imaging apparatus 100 may perform the following process to determine the first candidate arrow information. The following steps may be performed together with one of steps 910 to 940 of FIG. 9 .
  • the medical imaging apparatus 100 may perform an operation of acquiring the intersection 1640 of the second contour 1631 among the first contour 1621 and at least one contour.
  • the medical imaging apparatus 100 may perform an operation of acquiring a first contact point 1623 where a first candidate arrow 1622 that is one of a plurality of first candidate arrows and a first contour 1621 meet.
  • the medical imaging apparatus 100 may determine whether the first contact point 1623 is separated from the intersection point 1640 by a threshold value or more.
  • the threshold may be a predetermined value.
  • the medical imaging apparatus 100 sets the first contact point 1623 apart from the intersection point 1640 by the threshold value or more, so that the plurality of first candidates
  • the position of the starting point or the ending point of the first candidate arrow 1622, which is one of the arrows, may be modified.
  • the medical imaging apparatus 100 may perform an operation of acquiring the corrected first candidate arrow information by correcting the position of the start point or the end point of the first candidate arrow 1622 .
  • the medical imaging apparatus 100 may move the start point of the first candidate arrow 1622 along the first contour so that the first contact point 1623 is separated from the intersection point 1640 by a threshold value or more. Also, the medical imaging apparatus 100 may move the end point of the first candidate arrow 1622 so that the arrow is perpendicular to the contour.
  • the medical image 1650 indicates the modified first candidate arrow 1662 .
  • the second contact point may be a contact point of the modified first candidate arrow 1662 and the first contour 1661 .
  • the intersection 1680 may be a point where the first contour 1661 and the second contour 1671 intersect.
  • the second contact point 1663 may be separated from the intersection point 1680 by more than a threshold value.
  • the medical imaging apparatus 100 may generate at least one arrow set based on the corrected first candidate arrow information. This step may be performed in conjunction with step 940 of FIG. 9 .
  • 17 and 18 are diagrams for explaining a method of obtaining a score according to an embodiment of the present disclosure.
  • the medical imaging apparatus 100 may perform an operation 950 of obtaining a score.
  • the medical imaging apparatus 100 may calculate the score according to a predetermined method.
  • the medical imaging apparatus 100 may calculate a score based on a distance between text boxes.
  • the medical imaging apparatus 100 may determine a higher score as the distance between at least one text box 1711 , 1721 , and 1731 corresponding to at least one contour 1710 , 1720 , and 1730 increases. .
  • the medical imaging apparatus 100 may determine the closest distance between text boxes.
  • the medical imaging apparatus 100 may determine a first distance 1741 between the first text box 1711 and the second text box 1721 .
  • the medical imaging apparatus 100 may determine a second distance 1742 between the second text box 1721 and the third text box 1731 .
  • the medical imaging apparatus 100 may determine a third distance 1743 between the first text box 1711 and the third text box 1731 .
  • the medical imaging apparatus 100 may determine a score based on the first distance 1741 , the second distance 1742 , and the third distance 1743 .
  • the medical imaging apparatus 100 may determine a higher score as the sum of the first distance 1741 , the second distance 1742 , and the third distance 1743 increases.
  • the medical imaging apparatus 100 may determine a higher score as the length of the at least one arrow 1712 , 1722 , and 1732 corresponding to the at least one contour 1710 , 1720 , and 1730 is shorter.
  • the medical imaging apparatus 100 may determine the length of at least one arrow based on at least one piece of candidate arrow information respectively corresponding to at least one contour.
  • the candidate arrow information may include the position of the start point, the position of the end point, or the length of the arrow.
  • the medical imaging apparatus 100 may obtain the length of the arrow from the candidate arrow information.
  • the medical imaging apparatus 100 provides information on the first candidate arrow corresponding to the first contour 1710 , information on the second candidate arrow corresponding to the second contour 1720 , and information on the third candidate arrow corresponding to the third contour 1730 .
  • the length of the first arrow 1712 , the length of the second arrow 1722 , and the length of the third arrow 1732 may be obtained based on the third arrow information.
  • the medical imaging apparatus 100 may determine a higher score as the sum of the length of the first arrow 1712 , the length of the second arrow 1722 , and the length of the third arrow 1732 is smaller.
  • the medical imaging apparatus 100 includes intersection points 1851 and 1852 of two contours 1810 and 1820 included in at least one contour 1810 and 1820 and at least one contour 1810 and 1820 .
  • the score may be determined based on a distance between the contact points 1812 and 1822 of the at least one arrow 1811 and 1821 .
  • the medical imaging apparatus 100 includes intersection points 1851 and 1852 of two contours 1810 and 1820 included in at least one contour 1810 and 1820 and at least one contour 1810 and 1820 and at least one The greater the distance between the contact points 1812 and 1822 of the arrows 1811 and 1821 of , the higher the score may be determined.
  • the medical imaging apparatus 100 may acquire a first arrow 1811 corresponding to the first contour 1810 included in at least one contour based on the arrow information. Also, the medical imaging apparatus 100 may acquire the second arrow 1821 corresponding to the second contour 1820 included in the at least one contour, based on the arrow information.
  • the medical imaging apparatus 100 may obtain a first intersection 1851 and a second intersection 1852 of the first contour 1810 and the second contour 1820 .
  • the medical imaging apparatus 100 may determine a point where the first contour 1810 and the first arrow 1811 are closest to each other as the first contact point 1812 .
  • the first contact point 1812 may be a starting point of the first arrow 1811 .
  • the first contact point 1812 may be a point closest to the first arrow 1811 of the first contour 1810 .
  • the medical imaging apparatus 100 may determine a point where the second contour 1820 and the first arrow 1821 are closest to each other as the second contact point 1822 .
  • the second contact point 1822 may be a starting point of the second arrow 1821 .
  • the second contact point 1822 may be a point closest to the second arrow 1821 of the second contour 1820 .
  • the medical imaging apparatus 100 includes a distance 1831 between a first intersection 1851 and a first contact point 1812 , a distance 1841 between the first intersection 1851 and a second contact point 1822 , and a second intersection 1852 . ) and a distance 1832 between the first contact point 1812 and a distance 1842 between the second intersection point 1852 and the second contact point 1822 may determine the score.
  • the medical imaging apparatus 100 includes a distance 1831 between a first intersection 1851 and a first contact point 1812 , a distance 1841 between the first intersection 1851 and a second contact point 1822 , and a second intersection 1852 . ) and the distance 1832 between the first contact point 1812 and the distance 1842 between the second intersection point 1852 and the second contact point 1822 are larger, the higher the score may be determined.
  • FIG. 19 illustrates a medical image according to an embodiment of the present disclosure.
  • the medical imaging apparatus 100 may perform an operation 210 of acquiring lesion information on at least one lesion included in the medical image 1900 . Also, the medical imaging apparatus 100 may generate a heat map 1920 corresponding to at least one lesion in the medical image, based on the acquired lesion information.
  • the heat map 1920 may be displayed on the lesion area included in the lesion information. In addition, the heat map 1920 may be displayed larger than the lesion area included in the lesion information.
  • the medical imaging apparatus 100 may generate the heat map 1920 by varying the color and transparency based on the probability that the pixel of the medical image 1900 is included in the lesion region. For example, a higher probability that a pixel is included in the lesion area may be expressed in red, and a lower probability that a pixel is included in the lesion area may be expressed in blue. In addition, the higher the probability that the pixel is included in the lesion region, the more opaque the pixel is. The lower the probability that the pixel is included in the lesion region, the more transparent it may be.
  • the medical imaging apparatus 100 may obtain a maximum value of a probability that a pixel on the medical image 1900 is included in the lesion region. Also, the medical imaging apparatus 100 may obtain a maximum value of a probability that a pixel on the medical image 1900 is included in the lesion region. Also, the medical imaging apparatus 100 may determine whether the maximum value of the probability is lower than a threshold value.
  • the threshold may be a predetermined value.
  • the heat map 1920 may have high transparency or may be expressed in an inconspicuous color, which may make it difficult for medical personnel to confirm. For example, when the probability that the pixel is included in the lesion region is low as 27% as shown in FIG. 19 , it may be difficult for a medical practitioner to check the heat map.
  • the medical imaging apparatus 100 may determine whether it is convenient for a medical person to view the heat map 1920 by determining whether the maximum value of the probability is lower than a threshold value.
  • the medical imaging apparatus 100 may generate the contour 1910 surrounding at least a portion of the heat map 1920 .
  • the contour 1910 may be smaller than or equal to the heat map 1920 .
  • the present invention is not limited thereto, and the contour 1910 may be larger than the heat map 1920 .
  • the medical imaging apparatus 100 may generate a contour when it is difficult for a medical person to see the heat map 1920 .
  • the medical imaging apparatus 100 displays only the contour or simultaneously displays the contour and the heat map when it is difficult for the medical personnel to see the heat map 1920 so that the medical personnel can easily check the lesion information displayed on the display.
  • the medical imaging apparatus 100 may obtain a probability of being included in the lesion area for each unit area including at least one pixel. Even when the medical imaging apparatus 100 uses a unit area, the same description may be applied, and thus a redundant description will be omitted.
  • the medical imaging apparatus 100 may perform an operation 210 of acquiring lesion information on at least one lesion included in the medical image 2000 . Also, the medical imaging apparatus 100 may perform the operation 220 of generating at least one contour corresponding to at least one lesion in the medical image, based on the acquired lesion information. Also, similar to FIG. 9 , the medical imaging apparatus 100 may generate arrows and text. However, in a specific case, the medical imaging apparatus 100 may not generate an arrow.
  • the medical imaging apparatus 100 may determine whether the lesion area or the inner area of the contour is greater than a threshold value. When the lesion area or the inner area of the contour is greater than a threshold value, the medical imaging apparatus 100 may not generate an arrow for the corresponding contour.
  • the medical imaging apparatus 100 may determine whether a ratio of a lesion region or an inner region of a contour to the medical image is greater than a threshold value. When the ratio of the lesion area to the medical image 2000 or the inner area of the contour is greater than a threshold value, the medical imaging apparatus 100 may not generate an arrow for the corresponding contour.
  • the medical imaging apparatus 100 may not generate an arrow when the type of lesion included in the lesion information is inevitably displayed in a large size on the medical image.
  • lesions may include mediastinal widening (MW) or cardiomegaly (Cm).
  • the medical imaging apparatus 100 may display text related to lesion information on a part of the medical image 2000 .
  • text related to lesion information may be displayed at the bottom or corner of the medical image 2000 .
  • the contour 2020 is a relatively small area
  • arrows and text may be displayed.
  • the contour 2010 is a relatively large area
  • the text 2011 may be displayed without displaying an arrow.
  • the medical imaging apparatus 100 may display the text 2011 for the contour 2010 in a partial area or partial position of the medical image 2000 .
  • the medical imaging apparatus 100 may display the text 2011 for the contour 2010 at a corner or bottom of the medical image 2000 .
  • the medical imaging apparatus 100 may display the shape of the line of the contour 2010 in front of the text 2011 . Also, the medical imaging apparatus 100 may set the color of the contour 2010 and the color of the text 2011 to be the same.
  • the electronic device 2100 may include a memory 2110 , a processor 2120 , a communication module 2130 , and an input/output interface 2140 .
  • the electronic device 2100 may include the medical imaging apparatus 100 described above.
  • the electronic device 2100 may be configured to communicate information and/or data through a network using the communication module 2130 .
  • the memory 2110 may include any non-transitory computer-readable recording medium.
  • the memory 2110 is a non-volatile mass storage device (permanent) such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), flash memory, etc. mass storage device).
  • a non-volatile mass storage device such as a ROM, an SSD, a flash memory, a disk drive, etc. may be included in the electronic device 2100 as a separate persistent storage device distinct from the memory.
  • the memory 2110 includes an operating system and at least one program code (eg, a code for obtaining lesion information installed and driven in the electronic device 2100 , determining the shape and location of a contour, and determining the location of a text area) can be stored.
  • program code eg, a code for obtaining lesion information installed and driven in the electronic device 2100 , determining the shape and location of a contour, and determining the location of a text area
  • a separate computer-readable recording medium may include a recording medium directly connectable to the electronic device 2100, for example, a floppy drive, a disk, a tape, a DVD/CD-ROM drive, a memory card, etc. It may include a computer-readable recording medium.
  • software components may be loaded into the memory 2110 through the communication module 2130 instead of a computer-readable recording medium.
  • the at least one program is a computer program (eg, the shape and location of a contour) installed by files provided through the communication module 2130 by developers or a file distribution system that distributes installation files of applications. determination, positioning of a text area, generating an arrow, a program for positioning an arrow, etc.) may be loaded into the memory 2110 .
  • the processor 2120 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the command may be provided to a user terminal (not shown) or other external system by the memory 2110 or the communication module 2130 .
  • the processor 2120 may receive a medical image and acquire lesion information on at least one lesion detected in the medical image.
  • the processor 2120 determines the shape and position of at least one contour corresponding to the at least one lesion based on the acquired lesion information, and a text indicating lesion information on the at least one lesion in the medical image. It is possible to determine a position of at least one text area including .
  • the processor 2120 may provide the determined shape and position of the contour, the position of the text area, and the like to the input/output interface 2140 , the user terminal (not shown), and/or another external system.
  • the communication module 2130 may provide a configuration or function for the user terminal (not shown) and the electronic device 2100 to communicate with each other via a network, and the electronic device 2100 may be configured to communicate with an external system (eg, a separate cloud). system, etc.) to provide a configuration or function for communicating with the system.
  • an external system eg, a separate cloud). system, etc.
  • a control signal, command, data, etc. provided under the control of the processor 2120 of the electronic device 2100 are transmitted through the communication module 2130 and the network through the user terminal and/or the user terminal through the communication module of the external system. and/or transmitted to an external system.
  • the user terminal and/or the external system may receive a medical image received from the electronic device 2100 , a shape and location of a contour, content of text, a location of a text area, and the like.
  • the input/output interface 2140 of the electronic device 2100 may be a means for an interface with a device (not shown) for input or output that is connected to the electronic device 2100 or may be included in the electronic device 2100 .
  • the input/output interface 2140 may include means for interfacing with a display configured to display a medical image.
  • the input/output interface 2140 is illustrated as an element configured separately from the processor 2120 in FIG. 21 , the present invention is not limited thereto, and the input/output interface 2140 may be configured to be included in the processor 2120 .
  • the electronic device 2100 may include more components than those of FIG. 21 . However, there is no need to clearly show most of the prior art components.
  • the processor 2120 of the electronic device 2100 may be configured to manage, process, and/or store information and/or data received from a plurality of user terminals and/or a plurality of external systems. According to an embodiment, the processor 2120 acquires lesion information on at least one lesion detected in a medical image, and based on the obtained lesion information, the shape of at least one contour corresponding to the at least one lesion and location can be determined.
  • the processor 2120 determines a position of at least one text area including text indicating lesion information on at least one lesion in the medical image, the determined shape and position of at least one contour, and the determined at least one At least one contour and text included in the at least one text area may be displayed on the medical image based on the position of the text area of .
  • the operating method 2200 of the medical imaging apparatus may be performed by a processor (eg, at least one processor of a medical imaging apparatus (electronic device)). As illustrated, the operating method 2200 of the medical imaging apparatus may be started when the processor acquires lesion information on at least one lesion detected in the medical image ( S2210 ). Additionally or alternatively, the processor may acquire lesion information on a plurality of lesions detected in the medical image.
  • a processor eg, at least one processor of a medical imaging apparatus (electronic device)
  • the operating method 2200 of the medical imaging apparatus may be started when the processor acquires lesion information on at least one lesion detected in the medical image ( S2210 ). Additionally or alternatively, the processor may acquire lesion information on a plurality of lesions detected in the medical image.
  • the processor may determine the shape and position of at least one contour corresponding to the at least one lesion based on the acquired lesion information (S2220). For example, the processor may determine a partial lesion to be displayed on a medical image among a plurality of lesions, and determine the shape and location of at least one contour of the determined partial lesion. Also, the processor may determine a location of at least one text area including text indicating lesion information on at least one lesion in the medical image ( S2230 ). For example, the processor is configured to determine a location of the at least one text area based on at least one of a distance between the at least one contour and the at least one text area or whether there is overlap between the at least one contour and the at least one text area.
  • the processor may determine a position of at least one text including lesion information on the determined partial lesion.
  • the at least one text area may include a plurality of text areas, and in this case, the processor may determine a position of each of the plurality of text areas based on a distance between the plurality of text areas.
  • the processor may display the at least one contour and text included in the at least one text area on the medical image based on the determined shape and position of the at least one contour and the determined position of the at least one text area ( S2240 ). Also, the processor may generate at least one arrow indicating at least one contour, and display the at least one arrow generated to connect between the at least one contour and the at least one text area on the medical image. In this case, the processor may obtain lesion information on a plurality of lesions detected in the medical image, and generate arrows for each of the plurality of lesions. Then, the processor may display arrows for each of the plurality of lesions on the medical image so that the arrows for each of the generated lesions do not cross each other.
  • the processor may display an arrow for each of the plurality of lesions on the medical image so that the generated arrows for each of the plurality of lesions do not intersect each other with a contour corresponding to each of the plurality of lesions.
  • at least one contact area tangent to the at least one contour may be determined, and the generated at least one arrow may be displayed to be connected to the at least one contact area.
  • the at least one contact area may include a plurality of contact areas tangent to the at least one contour, in which case the processor may determine the at least one contact area based on a distance between the plurality of contact areas. .
  • the processor may determine some lesions to be displayed on the medical image among the plurality of lesions.
  • the processor identifies lesions having overlapping lesion areas among the plurality of lesions, and the size of the overlapping area between the overlapping lesions, the lesion probability of each of the overlapping lesions, the relevance between overlapping lesions, or overlapping lesions.
  • Some lesions among the plurality of lesions may be determined based on at least one of a probability that some of the lesions exist in one medical image.
  • the medical personnel can intensively observe around the contour, which is a part of the medical image, and finally can easily determine whether a lesion exists inside the contour.
  • the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium includes a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optically readable medium (eg, a CD-ROM, a DVD, etc.).

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 개시는 의료 영상 장치의 동작 방법에 관한 것이다. 의료 영상 장치의 동작 방법은, 의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득하는 단계, 획득된 병변 정보를 기초로, 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어의 형태 및 위치를 결정하는 단계, 의료 영상 내에서의 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하는 단계 및 결정된 적어도 하나의 컨투어의 형태 및 위치 및 결정된 적어도 하나의 텍스트 영역의 위치에 기초하여, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역에 포함된 텍스트를 의료 영상에 표시하는 단계를 포함한다.

Description

의료 영상 장치 및 의료 영상 처리 방법
본 개시는 의료 영상으로부터 병변 정보를 획득하고, 병변 정보를 의료 영상에 표시하는 장치 및 방법에 관한 것이다.
빅 데이터 또는 인공지능 등의 기술이 발전함에 따라, 의료 영상으로부터 자동으로 병변을 검출내는 기술의 신뢰도는 점점 높아지고 있다. 이에 따라 의료 장치는 의료 영상으로부터 복수의 병변을 검출할 수 있게 되었다. 하지만 검출된 복수의 병변에 대한 정보를 하나의 의료 영상에 모두 표시한다면, 의료 영상에 나타난 정보가 너무 많아질 수 있다. 의료 영상에 정보를 너무 많이 표시하면, 원본 영상이 가려질 뿐 아니라 의료인이 표시된 복수의 병변 정보를 이용하여 진단하는데 오히려 오랜 시간이 걸릴 수 있다. 또한 의료인이 표시된 복수의 병변 정보 중 일부를 누락할 수도 있다.
따라서 병변을 영상에 효과적으로 표시하기 위한 기술이 필요하다.
본 개시는 상기와 같은 문제를 해결하기 위한 의료 영상 처리 방법, 기록 매체에 저장된 컴퓨터 프로그램 및 의료 영상 장치(시스템)를 제공한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법은, 의료 영상에 포함되는 적어도 하나의 병변에 대한 병변 정보를 획득하는 단계, 획득된 병변 정보에 기초하여, 의료 영상에서 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어를 생성하는 단계, 및 의료 영상에 생성된 적어도 하나의 컨투어를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 적어도 하나의 컨투어를 생성하는 단계는, 획득된 병변 정보에 기초하여, 의료 영상에 포함되는 복수의 병변 간에 중복되는 병변 영역과 관련된 정보 또는 복수의 병변 간의 관련성과 관련된 정보 중 적어도 하나에 기초하여 컨투어를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 적어도 하나의 컨투어를 생성하는 단계는, 복수의 병변에 포함되는 제 1 병변 정보 및 제 2 병변 정보에 기초하여, 제 1 병변의 영역과 제 2 병변의 영역이 중복되는 영역의 크기를 결정하는 단계, 제 2 병변 정보에 기초하여 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보를 결정하는 단계, 및 중복되는 영역의 크기가 제 1 임계값보다 크고, 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보가 제 2 임계값보다 작은 경우, 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 적어도 하나의 컨투어를 생성하는 단계는, 제 1 병변 및 제 2 병변 사이에 질병학적으로 유사성이 있는지 여부를 결정하는 단계, 제 1 병변 및 제 2 병변이 동일 영역에 공존성이 있는지 여부를 결정하는 단계, 유사성이 있는지 여부가 제 1 병변 및 제 2 병변이 유사함을 나타내거나, 공존성이 있는지 여부가 제 1 병변 및 제 2 병변이 서로 공존할 수 없음을 나타내는 경우, 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하고, 제 2 병변을 둘러싸는 적어도 하나의 컨투어를 생성하지 않는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법은, 복수의 병변 정보에 기초하여, 의료 영상에서 존재할 확률이 높은 순으로 복수의 병변 정보를 정렬하는 단계를 더 포함하고, 제 1 병변은 제 2 병변보다 의료 영상에서 존재할 확률이 높은 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 적어도 하나의 컨투어를 출력하는 단계는, 적어도 하나의 컨투어 중 제 1 컨투어를 가리키는 복수의 제 1 후보 화살표에 대한 제 1 후보 화살표 정보를 결정하는 단계, 제 1 컨투어의 외곽에 화살표-텍스트 영역을 결정하는 단계, 화살표-텍스트 영역에서, 복수의 제 1 후보 화살표에 대응되고 제 1 컨투어에 대한 병변 정보를 표시하는 텍스트 박스의 일 사이드(side)와 제 1 후보 화살표 정보에 포함되는 복수의 제 1 후보 화살표의 일단이 만나는 접점 영역을 결정하는 단계, 결정된 접점 영역에 기초하여 제 1 컨투어에 대한 텍스트 박스 및 화살표의 표시 가능한 위치에 대한 적어도 하나의 화살표 세트를 생성하는 단계, 적어도 하나의 화살표 세트 각각에 대하여 스코어를 획득하는 단계 및 획득된 스코어에 기초하여, 적어도 하나의 화살표 세트 중 하나의 화살표 세트를 선택하는 단계, 선택된 하나의 화살표 세트에 기초하여, 적어도 하나의 컨투어와 함께, 화살표 및 텍스트 박스 내의 텍스트를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 제 1 후보 화살표 정보를 결정하는 단계는, 제 1 컨투어에 대한 제 1 텍스트 박스가 제 2 컨투어에 대한 제 2 텍스트 박스 또는 제 2 컨투어와 중첩되는 경우, 제 1 텍스트 박스가 제 2 텍스트 박스 또는 제 2 컨투어와 중첩되지 않도록, 제 1 후보 화살표 정보에 포함된 후보 화살표의 시작점 또는 끝점을 이동시켜서 수정된 제 1 후보 화살표 정보를 획득하는 단계를 포함하고, 적어도 하나의 화살표 세트를 생성하는 단계는, 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법은, 적어도 하나의 컨투어 중 제 2 컨투어를 가리키는 복수의 제 2 후보 화살표에 대한 제 2 후보 화살표 정보를 결정하는 단계를 더 포함하고, 제 1 후보 화살표 정보를 결정하는 단계는, 복수의 제 1 후보 화살표 중 하나와 복수의 제 2 후보 화살표 중 하나가 교차되지 않도록, 복수의 제 1 후보 화살표 중 하나의 시작점 또는 끝점을 이동시켜서, 수정된 제 1 후보 화살표 정보를 획득하는 단계를 포함하고, 적어도 하나의 화살표 세트를 생성하는 단계는, 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 제 1 후보 화살표 정보를 결정하는 단계는, 제 1 컨투어 및 적어도 하나의 컨투어 중 제 2 컨투어의 교점을 획득하는 단계, 복수의 제 1 후보 화살표 중 하나 및 제 1 컨투어가 만나는 제 1 접점을 획득하는 단계, 제 1 접점이 교점으로부터 임계값 이상 떨어지도록, 복수의 제 1 후보 화살표 중 하나의 시작점 또는 끝점의 위치를 수정하여, 수정된 제 1 후보 화살표 정보를 획득하는 단계를 포함하고, 적어도 하나의 화살표 세트를 생성하는 단계는, 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 화살표-텍스트 영역은 제 1 컨투어와 접하지 않고, 제 1 컨투어를 둘러싸는 링형인 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 스코어는, 적어도 하나의 컨투어에 대응되는 적어도 하나의 텍스트 박스 간의 거리가 멀수록 높고, 적어도 하나의 컨투어에 대응되는 적어도 하나의 화살표의 길이가 짧을 수록 높고, 적어도 하나의 컨투어에 포함된 두 개의 컨투어의 교점 및 적어도 하나의 컨투어와 적어도 하나의 화살표의 접점 사이의 거리가 멀수록 높은 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 적어도 하나의 컨투어를 생성하는 단계는, 획득된 병변 정보에 기초하여 적어도 하나의 컨투어의 위치 및 형태를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 적어도 하나의 컨투어의 위치 및 형태를 결정하는 단계는, 병변 정보에 기초하여 의료 영상 내의 각 픽셀이 적어도 하나의 병변의 영역에 포함될 확률을 획득하는 단계 및 적어도 하나의 병변의 영역에 포함될 확률에 기초하여 적어도 하나의 컨투어의 두께를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치는 프로세서 및 메모리를 포함하며, 프로세서는 메모리에 포함된 명령어에 따라, 의료 영상에 포함되는 적어도 하나의 병변에 대한 병변 정보를 획득하고, 획득된 병변 정보에 기초하여, 의료 영상에서 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어를 생성하고, 의료 영상에 생성된 적어도 하나의 컨투어를 출력하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 획득된 병변 정보에 기초하여, 의료 영상에 포함되는 복수의 병변 간에 중복되는 병변 영역과 관련된 정보 또는 복수의 병변 간의 관련성과 관련된 정보 중 적어도 하나에 기초하여 컨투어를 생성하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 복수의 병변에 포함되는 제 1 병변 정보 및 제 2 병변 정보에 기초하여, 제 1 병변의 영역과 제 2 병변의 영역이 중복되는 영역의 크기를 결정하고, 제 2 병변 정보에 기초하여 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보를 결정하고, 중복되는 영역의 크기가 제 1 임계값보다 크고, 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보가 제 2 임계값보다 작은 경우, 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 제 1 병변 및 제 2 병변 사이에 질병학적으로 유사성이 있는지 여부를 결정하고, 제 1 병변 및 제 2 병변이 동일 영역에 공존성이 있는지 여부를 결정하고, 유사성이 있는지 여부가 제 1 병변 및 제 2 병변이 유사함을 나타내거나, 공존성이 있는지 여부가 제 1 병변 및 제 2 병변이 서로 공존할 수 없음을 나타내는 경우, 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하고, 제 2 병변을 둘러싸는 적어도 하나의 컨투어를 생성하지 않는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 복수의 병변 정보에 기초하여, 의료 영상에서 존재할 확률이 높은 순으로 복수의 병변 정보를 정렬하고, 제 1 병변은 제 2 병변보다 의료 영상에서 존재할 확률이 높은 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 적어도 하나의 컨투어 중 제 1 컨투어를 가리키는 복수의 제 1 후보 화살표에 대한 제 1 후보 화살표 정보를 결정하고, 제 1 컨투어의 외곽에 화살표-텍스트 영역을 결정하고, 화살표-텍스트 영역에서, 복수의 제 1 후보 화살표에 대응되고 제 1 컨투어에 대한 병변 정보를 표시하는 텍스트 박스의 일 사이드(side)와 제 1 후보 화살표 정보에 포함되는 복수의 제 1 후보 화살표의 일단이 만나는 접점 영역을 결정하고, 결정된 접점 영역에 기초하여 제 1 컨투어에 대한 텍스트 박스 및 화살표의 표시 가능한 위치에 대한 적어도 하나의 화살표 세트를 생성하고, 적어도 하나의 화살표 세트 각각에 대하여 스코어를 획득하고, 획득된 스코어에 기초하여, 적어도 하나의 화살표 세트 중 하나의 화살표 세트를 선택하고, 선택된 하나의 화살표 세트에 기초하여, 적어도 하나의 컨투어와 함께, 화살표 및 텍스트 박스 내의 텍스트를 출력하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 제 1 컨투어에 대한 제 1 텍스트 박스가 제 2 컨투어에 대한 제 2 텍스트 박스 또는 제 2 컨투어와 중첩되는 경우, 제 1 텍스트 박스가 제 2 텍스트 박스 또는 제 2 컨투어와 중첩되지 않도록, 제 1 후보 화살표 정보에 포함된 후보 화살표의 시작점 또는 끝점을 이동시켜서 수정된 제 1 후보 화살표 정보를 획득하고, 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 적어도 하나의 컨투어 중 제 2 컨투어를 가리키는 복수의 제 2 후보 화살표에 대한 제 2 후보 화살표 정보를 결정하는 하고, 복수의 제 1 후보 화살표 중 하나와 복수의 제 2 후보 화살표 중 하나가 교차되지 않도록, 복수의 제 1 후보 화살표 중 하나의 시작점 또는 끝점을 이동시켜서, 수정된 제 1 후보 화살표 정보를 획득하고, 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 제 1 컨투어 및 적어도 하나의 컨투어 중 제 2 컨투어의 교점을 획득하고, 복수의 제 1 후보 화살표 중 하나 및 제 1 컨투어가 만나는 제 1 접점을 획득하고, 제 1 접점이 교점으로부터 임계값 이상 떨어지도록, 복수의 제 1 후보 화살표 중 하나의 시작점 또는 끝점의 위치를 수정하여, 수정된 제 1 후보 화살표 정보를 획득하고, 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 화살표-텍스트 영역은 제 1 컨투어와 접하지 않고, 제 1 컨투어를 둘러싸는 링형인 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 스코어는, 적어도 하나의 컨투어에 대응되는 적어도 하나의 텍스트 박스 간의 거리가 멀수록 높고, 적어도 하나의 컨투어에 대응되는 적어도 하나의 화살표의 길이가 짧을 수록 높고, 적어도 하나의 컨투어에 포함된 두 개의 컨투어의 교점 및 적어도 하나의 컨투어와 적어도 하나의 화살표의 접점 사이의 거리가 멀수록 높은 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 획득된 병변 정보에 기초하여 적어도 하나의 컨투어의 위치 및 형태를 결정하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 프로세서는 메모리에 포함된 명령어에 따라, 병변 정보에 기초하여 의료 영상 내의 각 픽셀이 적어도 하나의 병변의 영역에 포함될 확률을 획득하고, 적어도 하나의 병변의 영역에 포함될 확률에 기초하여 적어도 하나의 컨투어의 두께를 결정하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법은, 의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득하는 단계, 획득된 병변 정보를 기초로, 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어의 형태 및 위치를 결정하는 단계, 의료 영상 내에서의 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하는 단계 및 결정된 적어도 하나의 컨투어의 형태 및 위치 및 결정된 적어도 하나의 텍스트 영역의 위치에 기초하여, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역에 포함된 텍스트를 의료 영상에 표시하는 단계를 포함한다.
본 개시의 일 실시예에 따른 적어도 하나의 텍스트 영역의 위치를 결정하는 단계는, 적어도 하나의 컨투어와 적어도 하나의 텍스트 영역 사이의 거리 또는 적어도 하나의 컨투어와 적어도 하나의 텍스트 영역 사이의 중첩 여부 중 적어도 하나에 기초하여, 적어도 하나의 텍스트 영역의 위치를 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 획득하는 단계는, 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하는 단계를 포함한다. 적어도 하나의 컨투어의 형태 및 위치를 결정하는 단계는, 복수의 병변 중 의료 영상에 표시할 일부의 병변을 결정하는 단계 및 결정된 일부의 병변에 대한 적어도 하나의 컨투어의 형태 및 위치를 결정하는 단계를 포함한다. 적어도 하나의 텍스트 영역의 위치를 결정하는 단계는, 결정된 일부의 병변에 대한 병변 정보를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 일부의 병변을 결정하는 단계는, 복수의 병변 중 병변 영역이 중복되는 병변들을 확인하는 단계 및 중복되는 병변들 사이의 중복된 영역의 크기, 중복되는 병변들 각각의 병변 확률, 중복되는 병변들 사이의 관련성 또는 중복되는 병변들 중 일부가 하나의 의료 영상에서 존재할 확률 중 적어도 하나를 기초로, 복수의 병변 중 일부의 병변을 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 방법은 적어도 하나의 컨투어를 가리키는 적어도 하나의 화살표를 생성하는 단계를 더 포함한다. 표시하는 단계는, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역 사이를 연결하도록, 생성된 적어도 하나의 화살표를 의료 영상에 표시하는 단계를 포함한다.
본 개시의 일 실시예에 따른 획득하는 단계는, 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하는 단계를 포함한다. 화살표를 생성하는 단계는, 복수의 병변 각각에 대한 화살표를 생성하는 단계를 포함한다. 생성된 화살표를 의료 영상에 표시하는 단계는, 생성된 복수의 병변 각각에 대한 화살표가 서로 교차되지 않도록, 복수의 병변 각각에 대한 화살표를 의료 영상에 표시하는 단계를 포함한다.
본 개시의 일 실시예에 따른 획득하는 단계는, 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하는 단계를 포함한다. 화살표를 생성하는 단계는, 복수의 병변 각각에 대한 화살표를 생성하는 단계를 포함한다. 생성된 화살표를 의료 영상에 표시하는 단계는, 생성된 복수의 병변 각각에 대한 화살표가 복수의 병변 각각에 대응하는 컨투어와 서로 교차되지 않도록, 복수의 병변 각각에 대한 화살표를 의료 영상에 표시하는 단계를 포함한다.
본 개시의 일 실시예에 따른 생성된 화살표를 의료 영상에 표시하는 단계는, 생성된 화살표가, 적어도 하나의 컨투어에 접하는 적어도 하나의 접점 영역을 결정하는 단계 및 생성된 적어도 하나의 화살표를 적어도 하나의 접점 영역에 연결되도록 표시하는 단계를 포함한다.
본 개시의 일 실시예에 따른 적어도 하나의 접점 영역을 결정하는 단계는, 적어도 하나의 컨투어에 접하는 복수의 접점 영역 중에서, 복수의 접점 영역 사이의 거리를 기초로, 적어도 하나의 접점 영역을 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 적어도 하나의 텍스트 영역은 복수의 텍스트 영역을 포함하고, 적어도 하나의 텍스트 영역의 위치를 결정하는 단계는, 복수의 텍스트 영역 사이의 거리를 기초로 복수의 텍스트 영역의 각각의 위치를 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 전자 장치는, 하나 이상의 인스트럭션(instructions)을 저장하는 메모리 및 저장된 하나 이상의 인스트럭션을 실행함으로써, 의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득하고, 획득된 병변 정보를 기초로,적어도 하나의 병변에 대응하는 컨투어의 형태 및 위치를 결정하고, 의료 영상 내에서의 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하고, 결정된 적어도 하나의 컨투어의 형태 및 위치 및 결정된 적어도 하나의 텍스트 영역에 기초하여, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역에 포함된 텍스트를 의료 영상에 표시하도록 구성된 프로세서를 포함한다.
본 개시의 일 실시예에 따른 프로세서는, 적어도 하나의 컨투어와 적어도 하나의 텍스트 영역 사이의 거리 또는 적어도 하나의 컨투어와 적어도 하나의 텍스트 영역 사이의 중첩 여부 중 적어도 하나에 기초하여, 적어도 하나의 텍스트 영역의 위치를 결정하도록 더 구성된다.
본 개시의 일 실시예에 따른 프로세서는, 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하고, 복수의 병변 중 의료 영상에 표시할 일부의 병변을 결정하고, 결정된 일부의 병변에 대한 적어도 하나의 컨투어의 형태 및 위치를 결정하고, 결정된 일부의 병변에 대한 병변 정보를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하도록 더 구성된다.
본 개시의 일 실시예에 따른 프로세서는, 복수의 병변 중 병변 영역이 중복되는 병변들을 확인하고, 중복되는 병변들 사이의 중복된 영역의 크기, 중복되는 병변들 각각의 병변 확률, 중복되는 병변들 사이의 관련성 또는 중복되는 병변들 중 일부가 하나의 의료 영상에서 존재할 확률 중 적어도 하나를 기초로, 복수의 병변 중 일부 병변을 결정하도록 더 구성된다.
본 개시의 일 실시예에 따른 프로세서는, 적어도 하나의 컨투어를 가리키는 적어도 하나의 화살표를 생성하고, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역 사이를 연결하도록, 생성된 적어도 하나의 화살표를 의료 영상에 표시하도록 더 구성된다.
본 개시의 일 실시예에 따른 프로세서는, 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하고, 복수의 병변 각각에 대한 화살표를 생성하고, 생성된 복수의 병변 각각에 대한 화살표가 서로 교차되지 않도록, 복수의 병변 각각에 대한 화살표를 의료 영상에 표시하도록 더 구성된다.
본 개시의 일 실시예에 따른 프로세서는, 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하고, 복수의 병변 각각에 대한 화살표를 생성하고, 생성된 복수의 병변 각각에 대한 화살표가 복수의 병변 각각에 대응하는 컨투어와 서로 교차되지 않도록, 복수의 병변 각각에 대한 화살표를 의료 영상에 표시하도록 더 구성된다.
본 개시의 일 실시예에 따른 프로세서는, 생성된 화살표가, 적어도 하나의 컨투어에 접하는 적어도 하나의 접점 영역을 결정하고, 생성된 화살표를 적어도 하나의 접점 영역에 연결되도록 표시하도록 더 구성된다.
본 개시의 일 실시예에 따른 프로세서는, 적어도 하나의 컨투어에 접하는 복수의 접점 영역 중에서, 복수의 접점 영역 사이의 거리를 기초로, 적어도 하나의 접점 영역을 결정하도록 더 구성된다.
본 개시의 일 실시예에 따른 적어도 하나의 텍스트 영역은 복수의 텍스트 영역을 포함하고, 프로세서는, 복수의 텍스트 영역 사이의 거리를 기초로 복수의 텍스트 영역의 각각의 위치를 결정하도록 더 구성된다.
또한, 상술한 바와 같은 의료 영상 장치의 동작 방법을 구현하기 위한 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
도 1은 본 개시의 일 실시예에 따른 의료 영상 장치를 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 의료 영상을 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 수도 코드를 나타낸다.
도 5는 본 개시의 일 실시예에 따라 의료 영상 장치가 표시하는 의료 영상을 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따라 의료 영상 장치가 표시하는 의료 영상을 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따라 의료 영상 장치가 표시하는 의료 영상을 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따라 의료 영상 장치가 표시하는 의료 영상을 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 나타낸 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
도 12은 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따라 스코어를 획득하는 방법을 설명하기 위한 도면이다.
도 18은 본 개시의 일 실시예에 따라 스코어를 획득하는 방법을 설명하기 위한 도면이다.
도 19는 본 개시의 일 실시예에 따른 의료 영상을 나타낸다.
도 20은 본 개시의 일 실시예에 따른 의료 영상을 나타낸다.
도 21은 본 개시의 일 실시예에 따른 전자 장치의 내부 구성을 나타내는 블록도이다.
도 22는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법을 나타내는 흐름도이다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 "부"는 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서"는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서"는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서"는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
용어 "메모리"는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 개시의 일 실시예에 따른 의료 영상 장치를 나타낸 도면이다.
의료 영상 장치(100)는 제어부(110), 데이터베이스(120) 및 출력부(130)를 포함할 수 있다. 제어부(110)는 프로세서 및 메모리를 포함할 수 있다. 프로세서는 메모리에 저장된 명령어들을 수행할 수 있다.
데이터베이스(120)는 다양한 데이터를 저장하고 있을 수 있다. 예를 들어, 데이터베이스(120)는 의료 영상 또는 의료인의 분석 결과 및 의료 분석 장치의 분석 결과 중 적어도 하나를 저장할 수 있다. 또한, 데이터베이스(120)는 의료 영상을 분석하는 의료 영상 분석 모델을 포함할 수도 있다. 의료 영상 분석 모델은 룰베이스 모델 또는 기계학습모델일 수 있다.
출력부(130)는 영상 출력부 및 소리 출력부 중 적어도 하나를 포함할 수 있다. 출력부(130)는 제어부(110)에 의하여 제어될 수 있다. 출력부(130)는 의료 영상 및 분석결과 중 적어도 하나를 출력할 수 있다.
이하, 의료 영상 장치(100)의 동작에 대하여 이하에서 보다 자세히 설명한다.
도 2는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 나타내는 흐름도이다.
의료 영상 장치(100)는 의료 영상에 포함되는 적어도 하나의 병변에 대한 병변 정보를 획득하는 단계(210)를 수행할 수 있다. 의료 영상은 환자의 신체의 일부가 찍힌 영상일 수 있다. 의료 영상은 다양한 의료 영상 촬영 장치로 촬영된 영상일 수 있다. 예를 들면, 의료 영상은 CT, MRI, X-RAY, Mammography 또는 초음파 영상 중 하나일 수 있다. 의료 영상은 데이터베이스(120)로부터 수신될 수 있다. 또한 의료 영상은 외부 장치로부터 수신될 수 있다. 예를 들어 의료 영상은 의료 영상 장치(100)가 아닌 다른 장치인 외부의 의료 영상 촬영 장치로부터 수신될 수 있다.
병변 정보는 의료 영상에 포함된 병변에 대한 정보일 수 있다. 병변 정보는 의료 영상 분석 장치가 자동으로 분석하여 검출한 병변에 대한 정보일 수 있다. 하지만 이에 한정되는 것은 아니며, 병변 정보는 의료인에 의한 분석결과일 수 있다.
의료 영상 장치(100)는 병변 정보를 외부의 장치로부터 수신하거나, 의료 영상 장치(100)의 데이터베이스(120)로부터 수신할 수 있다. 또한 의료 영상 장치(100)는 자체적인 분석툴을 이용하여 의료 영상을 분석하여 병변 정보를 획득할 수 있다. 자체적인 분석툴은 병변을 검출하기 위한 룰베이스모델 또는 기계학습모델일 수 있다. 예를 들면, 자체적인 분석툴은 기계학습을 기초로 학습된 의료 영상 분석 모델을 포함할 수 있다.
병변 정보는 병변의 종류에 대한 정보, 병변의 위치 정보, 병변이 의료 영상에서 존재할 확률 정보, 병변의 형태 정보, 병변의 크기 및 병변의 영역 정보 중 적어도 하나를 포함할 수 있다.
병변의 종류에 대한 정보는 병변의 이름 또는 병변의 분류 정보 중 적어도 하나를 포함할 수 있다. 병변의 종류에 대한 정보는 의료인이 진단을 내린 정보일 수 있고, 자체적인 분석툴을 기초로 진단을 내린 정보일 수도 있다. 의료 영상 분석 장치는 상술한 바와 같이, 룰베이스 또는 기계학습모델에 기초하여 의료 영상으로부터 병변의 종류에 대한 정보를 획득할 수 있다.
병변의 위치 정보는 의료 영상에서 병변이 존재할 확률이 가장 높은 적어도 하나의 지점을 나타낼 수 있다. 병변의 위치 정보는 적어도 하나의 좌표값으로 표현될 수 있다. 병변의 위치 정보는 의료 영상 내에서 병변이 위치한 픽셀의 좌표값일 수 있다. 병변이 의료 영상의 일부 영역을 차지하는 경우, 병변의 위치 정보는 복수의 좌표값으로 표현될 수 있다. 또한 병변의 위치 정보는 하나의 병변 지점의 좌표값 및 병변 지점으로부터의 반경 정보를 포함할 수 있다. 하지만 이에 한정되는 것은 아니며 다양한 방식으로 병변의 위치 정보가 표현될 수 있다.
병변이 의료 영상에서 존재할 확률 정보는 의료 영상을 기초로, 의료 영상에 대응하는 환자의 신체 일부에서 병변이 존재할 확률을 나타낸다. 의료 영상 분석 장치는 룰베이스 또는 기계학습모델을 이용하여 의료 영상에 존재하는 병변을 검출할 수 있다. 또한 의료 영상 분석 장치는 룰베이스 또는 기계학습모델에 기초하여 의료 영상에 해당 병변이 존재할 확률 역시 예측할 수 있다. 병변이 의료 영상에서 존재할 확률 정보는 의료 영상에 포함된 각 픽셀에 대응하는 확률값을 포함할 수 있다. 병변이 의료 영상에서 존재할 확률 정보는 의료 영상의 특정 영역에 대응하는 확률값을 포함할 수 있다. 여기서 특정 영역은 의료 영상에 포함되는 영역으로써 의료 영상보다 작거나 같은 영상일 수 있다. 의료 영상의 특정 영역에 대응하는 확률값은 의료 영상 분석 장치에 의하여 획득되거나, 의료인에 의하여 수신될 수 있다.
또한 의료 영상 장치(100)는 특정 영역에 포함되는 픽셀에 대응되는 확률값에 기초하여 특정영역에 대응하는 확률값을 결정할 수 있다. 예를 들어 의료 영상 장치(100)는 특정 영역에 포함되는 픽셀들의 확률값의 최대값, 평균값, 중앙값 또는 최소값을 이용하여 특정 영역에 대응되는 대표 확률값을 획득할 수 있다. 의료인은 확률 정보에 기초하여 진단함으로써, 오진의 확률을 낮출 수 있다.
병변의 형태 정보는 병변의 형태에 관련된 정보를 나타낼 수 있다. 병변의 형태 정보는 병변의 윤곽선의 형태와 관련된 정보일 수 있다. 병변의 형태 정보는 원형, 타원형 또는 비정형의 형태를 가질 수 있다. 병변의 형태 정보는 의료인의 진단에 의하여 결정될 수 있다. 또한 의료 영상 분석 장치는 룰베이스 또는 기계학습모델에 기초하여 병변 형태 정보를 획득할 수 있다.
병변의 크기 정보는 병변의 크기에 대한 정보로써, 의료 영상에서 병변 영역에 포함된 픽셀의 개수일 수 있다. 또한 병변의 크기 정보는 의료 영상에서 병변의 가로 길이 또는 세로 길이일 수 있다. 또한 병변의 크기 정보는 의료 영상에서 병변 영역의 넓이일 수 있다. 병변의 크기 정보는 병변 영역에 포함된 픽셀의 개수를 나타낼 수 있다. 또한 병변의 크기 정보는 반지름을 나타낼 수 있다. 즉, 병변의 중심지점과 반지름에 기초한 원의 내부 영역이 병변 영역을 나타낼 수 있다.
병변의 영역 정보는 의료 영상에서 병변이 존재할 확률이 높은 영역은 나타낼 수 있다. 의료 영상 장치(100)는 의료인으로부터 병변의 영역 정보를 수신할 수 있다. 또한 의료 영상 장치(100)는 룰베이스 또는 기계학습모델에 기초하여 병변의 영역 정보를 자동으로 획득할 수 있다. 의료 영상 장치(100)는 의료 영상의 각 픽셀에 대하여 병변이 존재할 확률을 계산할 수 있다. 또는 의료 영상 장치(100)는 픽셀 그룹에 대하여 병변이 존재할 확률을 계산할 수 있다. 예를 들어 픽셀 그룹은 복수의 픽셀이 포함될 수 있다. 픽셀 그룹은 의료 영상 내의 일정 영역을 나타낼 수 있다. 의료 영상 장치(100)는 픽셀 그룹에 대하여 병변이 존재할 확률을 계산할 수도 있다. 의료 영상 장치(100)는 픽셀에 병변이 존재할 확률이 임계값 이상인 경우, 해당 픽셀을 병변의 영역에 포함된 것으로 결정할 수 있다. 즉 병변 영역에 포함된 픽셀들에 병변이 존재할 확률은 임계값 이상일 수 있다. 임계값은 미리 결정된 정보일 수 있다.
의료 영상 장치(100)는 획득된 병변 정보에 기초하여, 의료 영상에서 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어를 생성하는 단계(220)를 수행할 수 있다.
컨투어는 병변의 위치 또는 형태 중 하나를 나타낼 수 있다. 의료 영상 장치(100)는 하나의 의료 영상에 대하여 적어도 하나의 병변을 표시할 수 있다. 복수의 병변은 서로 다른 위치 및 형태를 가질 수 있다. 의료 영상 장치(100)는 적어도 하나의 병변의 위치 및 형태를 병변 정보에 기초하여 획득할 수 있다. 의료 영상 장치(100)는 병변마다의 위치 및 형태를 반영하여 컨투어를 생성할 수 있다. 즉, 의료 영상 장치(100)는 획득된 병변 정보에 기초하여 적어도 하나의 컨투어의 위치 및 형태를 결정할 수 있다. 즉, 의료 영상 장치(100)의 병변 정보에 포함된 병변의 위치에 기초하여 컨투어의 위치를 결정할 수 있다. 또한 의료 영상 장치(100)는 병변 정보에 포함된 병변의 형태에 기초하여 컨투어의 형태를 결정할 수 있다.
컨투어의 위치는 병변 정보에 포함된 병변 위치 정보에 대응될 수 있다. 의료 영상 장치(100)는 병변 정보에 기초하여 컨투어의 형태를 결정할 수 있다. 의료 영상 장치(100)는 다음과 같은 과정에 의하여 컨투어를 결정할 수 있다.
보다 구체적으로, 의료 영상 장치(100)는 병변 정보에 포함된 병변 영역의 윤곽선에 기초하여 컨투어를 결정할 수 있다. 이미 설명한 바와 같이 의료 영상 장치(100)는 픽셀에 병변이 존재할 확률이 임계값 이상인 경우, 해당 픽셀을 병변의 영역에 포함된 것으로 결정할 수 있다. 즉 병변 영역 안의 픽셀들에 병변이 존재할 확률은 임계값 이상일 수 있다. 의료 영상 장치(100)는 병변 정보에 포함된 병변 영역의 윤곽선을 컨투어로 결정할 수 있다. 컨투어는 병변 영역을 둘러쌀 수 있다.
또한, 의료 영상 장치(100)는 병변 영역의 윤곽선을 A배 확장하여 병변을 포함하는 컨투어를 획득할 수 있다. A는 1보다 큰 실수 일 수 있다. 즉, 컨투어는 병변 영역보다 크거나 같을 수 있다. 병변 영역의 윤곽선을 A배 확장한다는 것은 병변 영역의 가로 길이가 A배되고 세로 길이가 A배됨을 의미할 수 있다. 따라서 컨투어 내부의 넓이는 병변 영역의 넓이의 A^2배로 될 수 있다.
또한 의료 영상 장치(100)는 병변 정보에 포함된 병변 영역을 포함하는 다각형, 타원형 또는 원형을 컨투어로 결정할 수 있다. 본 개시에 따르면 의료인은 의료 영상 중 일부인 컨투어 주위를 집중적으로 관찰할 수 있고 최종적으로 컨투어의 내부에 병변이 존재하는 여부를 쉽게 결정할 수 있다.
컨투어의 형태는 컨투어의 선의 두께를 더 포함할 수 있다. 의료 영상 장치(100)는 컨투어의 선의 두께를 병변 정보에 기초하여 획득할 수 있다. 예를 들어, 의료 영상 장치(100)는 병변 정보에 기초하여 의료 영상 내의 각 픽셀이 적어도 하나의 병변의 영역에 포함될 확률을 획득할 수 있다. 또한 의료 영상 장치(100)는 컨투어 내부에 포함된 픽셀이 적어도 하나의 병변의 영역에 포함될 확률에 기초하여 적어도 하나의 컨투어의 두께를 결정할 수 있다. 예를 들어 컨투어의 두께는 확률이 클수록 두꺼워질 수 있다.
의료 영상 장치(100)는 의료 영상에 포함된 각 픽셀이 병변에 포함될 확률을 획득할 수 있다. 또한 의료 영상 장치(100)는 병변에 포함될 확률이 임계값과 동일한 픽셀들의 모임을 컨투어로 결정할 수 있다. 병변에 포함될 확률은 불연속적이므로 임계값과 동일한 값이 없을 수 있다. 이 때, 인접한 두 픽셀 중 하나에 대응되는 확률이 임계값보다 크고, 다른 하나에 대응되는 확률이 임계값보다 작은 경우, 인접한 두 픽셀 중 하나를 컨투어에 포함시킬 수 있다. 컨투어 내부의 픽셀이 병변 영역에 포함될 확률은 임계값보다 클 수 있다. 여기서 임계값은 미리 정해진 값일 수 있다.
또한 의료 영상 장치(100)는 병변에 포함될 확률이 임계범위에 포함된 픽셀들의 모임을 컨투어로 결정할 수 있다. 임계범위는 매우 좁아서 픽셀들의 모임은 라인과 같이 보일 수 있다. 컨투어 내부의 픽셀이 병변 영역에 포함될 확률은 임계범위의 최소값보다 클 수 있다. 여기서 임계범위는 미리 정해진 범위일 수 있다.
이제까지 의료 영상 장치(100)가 하나의 병변에 하나의 컨투어를 생성하는 구성에 대하여 설명하였다. 의료 영상 장치(100)는 의료 영상에 복수의 병변들이 존재하는 경우, 복수의 병변에 대응하는 복수의 컨투어를 생성할 수 있다. 이에 대해서는 도 3 과 함께 설명한다.
도 3은 본 개시의 일 실시예에 따른 의료 영상을 나타낸 도면이다.
또한 의료 영상 장치(100)는 의료 영상에 포함된 하나의 병변에 대하여 적어도 하나의 컨투어를 생성할 수 있다. 의료 영상 장치(100)는 하나의 병변에 대하여 등고선과 같은 적어도 하나의 컨투어를 생성할 수 있다. 등고선에 포함된 복수의 라인들 중 하나의 라인의 내부의 픽셀이 병변 영역에 포함될 확률은 임계값보다 클 수 있다.
도 3을 참조하면 의료영상은 하나의 병변에 대한 제 1 등고선(311) 및 제 2 등고선(312)을 포함할 수 있다. 제 1 등고선(311)의 안쪽 영역에 포함된 픽셀이 병변 영역에 포함될 확률은 제 1 임계값 이상일 수 있다. 제 2 등고선(312)의 안쪽 영역에 포함된 픽셀이 병변 영역에 포함될 확률은 제 2 임계값 이상일 수 있다. 제 2 등고선(312)의 안쪽 영역 및 제 1 등고선(311)의 바깥쪽 영역에 포함된 픽셀이 병변 영역에 포함될 확률은 제 1 임계값보다는 낮고 제 2 임계값보다는 크거나 같을 수 있다. 여기서 제 1 임계값 및 제 2 임계값은 미리 결정된 값일 수 있다. 제 1 임계값은 제 2 임계값보다 클 수 있다.
의료 영상 장치(100)는 등고선 내부의 픽셀이 병변 영역에 포함될 확률이 높을수록, 등고선을 두껍게 생성할 수 있다. 예를 들어, 제 1 등고선(311)의 안쪽 영역에 포함된 픽셀이 병변 영역에 포함될 확률은 높을 수 있다. 하지만 제 1 등고선(311) 내지 제 2 등고선(312) 사이에 포함된 픽셀이 병변 영역에 포함될 확률은 상대적으로 낮을 수 있다. 따라서 의료 영상 장치(100)는 제 1 등고선(311)을 제 2 등고선(312)보다 두껍게 표시할 수 있다.
의료 영상 장치(100)는 등고선 내부의 픽셀이 병변 영역에 포함될 확률에 따라 등고선의 색을 다르게 생성할 수 있다. 예를 들어, 제 1 등고선(311)의 안쪽 영역에 포함된 픽셀이 병변 영역에 포함될 확률은 높을 수 있다. 하지만 제 1 등고선(311) 내지 제 2 등고선(312) 사이에 포함된 픽셀이 병변 영역에 포함될 확률은 상대적으로 낮을 수 있다. 따라서 의료 영상 장치(100)는 제 1 등고선(311)을 빨간색으로 제 2 등고선(312)을 주황색으로 표시할 수 있다.
의료 영상 장치(100)는 등고선 내부의 픽셀이 병변 영역에 포함될 확률에 기초하여 등고선 사이의 영역을 다른 색으로 표시할 수 있다. 예를 들어, 제 1 등고선(311)의 안쪽 영역에 포함된 픽셀이 병변 영역에 포함될 확률은 높을 수 있다. 하지만 제 1 등고선(311) 내지 제 2 등고선(312) 사이에 포함된 픽셀이 병변 영역에 포함될 확률은 상대적으로 낮을 수 있다. 따라서 의료 영상 장치(100)는 제 1 등고선(311)의 내부를 빨간색으로 채우고 제 2 등고선(312)과 제 1 등고선(311) 사이의 영역을 주황색으로 표시할 수 있다. 의료 영상 장치(100)는 투명도를 조절하여, 원본 의료 영상이 칠해진 색에 의하여 가려지지 않도록 할 수 있다.
등고선에 포함된 복수의 라인들 중 하나의 라인에 포함된 픽셀이 병변 영역에 포함될 확률은 특정 임계범위에 포함될 수 있다. 특정 임계범위는 미리 결정된 범위일 수 있다. 도 3을 참조하면 제 1 등고선(311)에 포함된 픽셀이 병변 영역에 포함될 확률은 제 1 임계범위에 포함될 수 있다. 또한 제 2 등고선(312)에 포함된 픽셀이 병변 영역에 포함될 확률은 제 2 임계범위에 포함될 수 있다. 제 1 임계범위의 최소값은 제 2 임계범위의 최대값보다 클 수 있다.
또한, 의료 영상 장치(100)는 병변 정보에 포함된 병변 영역의 윤곽선을 확장하여 복수의 컨투어를 생성할 수 있다. 예를 들어 제 1 등고선(311)은 병변 영역의 윤곽선일 수 있다. 의료 영상 장치(100)는 제 1 등고선(311)을 확장하여 제 2 등고선(312)을 획득할 수 있다. 제 2 등고선(312)의 두께는 제 1 등고선(311)보다 얇을 수 있다.
의료 영상 장치(100)는 의료 영상에 생성된 적어도 하나의 컨투어를 출력하는 단계(230)를 수행할 수 있다. 출력부(130)는 의료 영상 및 적어도 하나의 컨투어를 출력할 수 있다.
의료 영상 장치(100)는 적어도 하나의 컨투어를 생성하기 위하여 아래와 같은 단계를 수행할 수 있다.
의료 영상 장치(100)는 획득된 병변 정보에 기초하여, 의료 영상에 포함되는 복수의 병변 간에 중복되는 병변 영역과 관련된 정보 또는 복수의 병변 간의 관련성과 관련된 정보 중 적어도 하나에 기초하여 컨투어를 생성하는 단계를 수행할 수 있다.
의료 영상에는 복수의 병변이 검출될 수 있다. 병변 정보는 복수의 병변마다 획득될 수 있다. 이미 설명한 바와 같이 병변 정보는 병변 영역 정보를 포함할 수 있다.
의료 영상 장치(100)는 병변 정보에 기초하여 복수의 병변 간에 중복되는 병변 영역과 관련된 정보를 획득할 수 있다. 또한 의료 영상 장치(100)는 복수의 병변 간의 관련성과 관련된 정보를 획득할 수 있다.
복수의 병변 간의 관련성과 관련된 정보는 의학적으로 복수의 병변 간에 관련성이 있는지 여부를 나타내는 정보이다. 예를 들어 관련성과 관련된 정보는 복수의 병변이 동일 환자에게 동일 시점에 발현될 수 있는지를 나타내는 공존성 여부에 대한 정보를 포함할 수 있다. 예를 들어 제 1 병변은 제 2 병변과 동시에 나타날 수 없는 경우 공존성이 없는 것이고, 제 1 병변이 제 2 병변과 동시에 나타날 수 있는 경우 공존성이 있는 것이다.
또한 관련성과 관련된 정보는 복수의 병변이 동시에 발현될 가능성이 높은 지 여부를 나타내는 유사성 여부에 대한 정보를 포함할 수 있다. 복수의 병변은 구분되는 이름을 가지고 있으나 실질적으로 유사한 경우가 있다. 예를 들어 의학적으로 제 1 병변이 발현된 경우 제 2 병변 역시 발현되는 경우, 유사성이 있는 것이다. 제 1 병변이 발현된 경우 제 2 병변 역시 발현됨은, 제 2 병변이 발현된 경우 제 1 병변이 발현됨을 의미하는 것은 아닐 수 있다. 하지만 이에 한정되는 것은 아니며, 제 1 병변이 발현된 경우 제 2 병변 역시 발현됨은, 제 2 병변이 발현된 경우 제 1 병변이 발현됨을 의미할 수 있다.
또한 제 1 병변의 발현과 제 2 병변은 독립적이서 제 1 병변의 발현이 제 2 병변의 발현에 아무런 영향을 미치지 않는 경우, 제 1 병변과 제 2 병변은 유사성이 없는 것이다. 또한 제 2 병변의 발현이 제 1 병변의 발현에 아무런 영향을 미치지 않는 경우, 제 1 병변과 제 2 병변은 유사성이 없는 것이다.
의료 영상 장치(100)는 룰베이스 또는 기계학습모델에 기초하여 관련성과 관련된 정보를 획득할 수 있다. 의료 영상 장치(100)는 데이터베이스(120)에 기초하여 관련성과 관련된 정보를 획득할 수 있다. 의료 영상 장치(100)는 제 1 병변에 대한 제 1 병변 정보를 획득할 수 있다. 또한 의료 영상 장치(100)는 제 2 병변에 대한 제 2 병변 정보를 획득할 수 있다. 의료 영상 장치(100)는 제 1 병변의 코드, 명칭, 종류 중 적어도 하나를 포함하는 제 1 병변 식별자를 제 1 병변 정보로부터 획득할 수 있다. 또한 의료 영상 장치(100)는 제 2 병변 코드, 명칭, 종류 중 적어도 하나를 포함하는 제 2 병변 식별자를 제 2 병변 정보로부터 획득할 수 있다. 의료 영상 장치(100)는 제 1 병변 식별자 및 제 2 병변 식별자에 기초하여 데이터베이스로부터 제 1 병변 및 제 2 병변의 관련성과 관련된 정보를 획득할 수 있다. 예를 들어, 데이터베이스는 제 1 식별자 및 제 2 병변 식별자에 따른 관련성과 관련된 정보가 미리 저장되어 있을 수 있다. 의료 영상 장치(100)는 제 1 식별자 및 제 2 식별자에 대응되는 관련성과 관련된 정보를 데이터베이스로부터 도출할 수 있다.
의료 영상 장치(100)는 데이터베이스(120)가 아닌 곳에서 관련성과 관련된 정보를 획득할 수 있다. 의료 영상 장치(100)는 제 1 병변 정보 및 제 2 병변 정보를 기계학습모델에 적용하여 관련성과 관련된 정보를 획득할 수 있다. 기계학습모델은 제 1 병변 및 제 2 병변 사이의 관련성을 기계학습한 모델일 수 있다. 의료 영상 장치(100)는 의료인으로부터 관련성과 관련된 정보를 획득할 수 있다. 또한, 의료 영상 장치(100)는 병변 정보로부터 관련성과 관련된 정보를 획득할 수 있다.
제 1 병변과 관련된 제 1 병변 정보에는 제 1 병변과 유사성이 있는 병변들에 대한 정보 및 제 1 병변과 공존성이 있는 병변들에 대한 정보를 포함하고 있을 수 있다. 의료 영상 장치(100)는 제 1 병변 정보에 기초하여 제 2 병변이 제 1 병변과 유사성이 있는지 여부 및 공존성이 있는지 여부를 결정할 수 있다.
의료 영상 장치(100)는 의료인으로부터의 입력신호에 기초하여 관련성과 관련된 정보를 획득할 수 있다. 또한 의료 영상 장치(100)는 외부의 장치로부터 관련성과 관련된 정보를 획득할 수 있다.
의료 영상 장치(100)는, 적어도 하나의 컨투어를 생성하기 위하여, 복수의 병변에 포함되는 제 1 병변 정보 및 제 2 병변 정보에 기초하여, 제 1 병변의 영역과 제 2 병변의 영역이 중복되는 영역의 크기를 결정하는 단계를 수행할 수 있다.
상술한 바와 같이 의료 영상 장치(100)는 제 1 병변에 대한 제 1 병변 정보 및 제 2 병변에 대한 제 2 병변 정보를 획득할 수 있다. 의료 영상 장치(100)는 제 1 병변 정보로부터 의료 영상 내에서 제 1 병변의 영역 정보 및 제 2 병변 정보로부터 의료 영상 내에서 제 2 병변의 영역 정보를 획득할 수 있다. 또한 의료 영상 장치(100)는 제 1 병변 영역 및 제 2 병변 영역이 중복되는 영역의 크기를 결정할 수 있다. 중복되는 영역의 크기는 중복되는 영역의 픽셀의 개수, 중복되는 영역의 넓이, 중복되는 영역의 가로길이 또는 중복되는 영역의 세로길이 중 적어도 하나로 나타낼 수 있다.
여기서 제 1 병변의 영역 및 제 2 병변의 영역은 단순히 제 1 병변의 영역 및 제 2 병변의 영역을 의미할 수도 있지만 이에 한정되는 것은 아니다. 제 1 병변의 영역은 제 1 병변에 대응하는 제 1 컨투어의 내부 영역을 의미할 수도 있다. 또한 제 2 병변의 영역은 제 2 병변에 대응하는 제 2 컨투어의 내부 영역을 의미할 수도 있다.
의료 영상 장치(100)는 제 2 병변 정보에 기초하여 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보를 결정하는 단계를 수행할 수 있다. 이미 설명한 바와 같이 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보는 의료 영상에 포함된 각 픽셀값에 대응하는 확률값 또는 의료 영상에 포함된 특정 영역에 대응하는 확률값일 수 있다. 여기서 특정 영역은 생성된 컨투어에 대응될 수 있다.
또한 의료 영상 장치(100)는 중복되는 영역의 크기가 제 1 임계값보다 크고, 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보가 제 2 임계값보다 작은 경우, 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하는 단계를 수행할 수 있다. 제 1 임계값 및 제 2 임계값은 미리 정해진 값일 수 있다. 제 2 임계값은 제 1 병변이 의료 영상에서 존재할 확률에 관련된 정보일 수 있으나 이에 한정되는 것은 아니다.
컨투어는 제 1 병변 영역보다 크거나 같을 수 있다. 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하는 방법은 이미 설명한 바 있으므로 중복되는 설명은 생략한다.
의료 영상 장치(100)는 중복되는 영역의 크기가 제 1 임계값보다 크고, 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보가 제 2 임계값보다 작은 경우, 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성할 뿐, 제 2 병변을 둘러싸는 적어도 하나의 컨투어는 생성하지 않을 수 있다. 왜냐하면 중복되는 영역의 크기가 제 1 임계값보다 크므로 제 1 병변 및 제 2 병변이 상당 부분 중복되고, 제 2 병변이 의료 영상에서 존재할 확률에 관련된 정보가 제 2 임계값보다 작으므로 의료 영상에서 제 2 병변의 중요도가 상대적으로 낮을 수 있기 때문이다.
의료 영상 장치(100)는, 적어도 하나의 컨투어를 생성하기 위하여, 제 1 병변 및 제 2 병변 사이에 질병학적으로 유사성이 있는지 여부를 결정하는 단계를 수행할 수 있다. 유사성이 있는지 여부는 관련성과 관련된 정보에 포함될 수 있다. 유사성 여부에 대한 정보는 이미 설명한 바 있으므로 중복되는 설명은 생략한다. 또한, 의료 영상 장치(100)는 유사성이 있는지 여부를 데이터베이스에 기초하여 룰베이스로 결정하거나, 기계학습모델로부터 획득하거나, 의료인으로부터 수신하거나, 병변 정보로부터 획득할 수 있다. 관련성과 관련된 정보를 획득하는 과정에 대해서는 이미 상술하였으므로 중복되는 설명은 생략한다.
의료 영상 장치(100)는 제 1 병변 및 제 2 병변이 동일 영역에 공존성이 있는지 여부를 결정하는 단계를 수행할 수 있다. 공존성 여부에 대한 정보에 대해서는 이미 설명하였으므로 중복되는 설명은 생략한다. 또한 의료 영상 장치(100)는 공존성이 있는지 여부를 데이터베이스에 기초하여 룰베이스로 결정하거나, 기계학습모델로부터 획득하거나, 의료인으로부터 수신하거나, 병변 정보로부터 획득할 수 있다. 관련성과 관련된 정보를 획득하는 과정에 대해서는 이미 상술하였으므로 중복되는 설명은 생략한다.
의료 영상 장치(100)는 유사성이 있는지 여부가 제 1 병변 및 제 2 병변이 유사함을 나타내거나, 공존성이 있는지 여부가 제 1 병변 및 제 2 병변이 서로 공존할 수 없음을 나타내는 경우, 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하고, 제 2 병변을 둘러싸는 적어도 하나의 컨투어를 생성하지 않는 단계를 수행할 수 있다.
의료 영상 장치(100)는 유사성이 있는지 여부가 제 1 병변 및 제 2 병변이 유사함을 나타내는 경우, 제 1 병변만을 둘러싸는 적어도 하나의 컨투어를 생성할 수 있다. 유사성이 있다는 것은 제 1 병변이 발현된 경우, 제 2 병변이 발현될 수 있음을 의미하기 때문이다. 의료 영상 장치(100)는 유사성이 있는지 여부가 제 1 병변 및 제 2 병변이 유사하지 않음을 나타내는 경우, 제 1 병변에 대응하는 적어도 하나의 컨투어 및 제 2 병변에 대응하는 적어도 하나의 컨투어를 모두 생성할 수 있다.
또한 의료 영상 장치(100)는 공존성이 있는지 여부가 제 1 병변 및 제 2 병변이 서로 공존할 수 없음을 나타내는 경우, 제 1 병변 또는 제 2 병변 중 하나만을 둘러싸는 적어도 하나의 컨투어를 생성할 수 있다. 제 1 병변 또는 제 2 병변 중 어느 병변에 대한 컨투어를 생성할 것인지 결정하기 위하여, 의료 영상 장치(100)는 제 1 병변 및 제 2 병변이 의료 영상에 존재할 확률을 비교할 수 있다. 또한 제 1 병변이 의료 영상에 존재할 확률이 제 2 병변보다 높은 경우, 의료 영상 장치(100)는 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성할 수 있다. 의료 영상 장치(100)는 제 2 병변을 둘러싸는 적어도 하나의 컨투어를 생성하지 않을 수 있다. 반대로 제 1 병변이 의료 영상에 존재할 확률이 제 2 병변보다 낮은 경우, 의료 영상 장치(100)는 제 2 병변을 둘러싸는 적어도 하나의 컨투어를 생성할 수 있다. 의료 영상 장치(100)는 제 1 병변을 둘러싸는 적어도 하나의 컨투어를 생성하지 않을 수 있다.
의료 영상 장치(100)는 복수의 병변 정보에 기초하여, 의료 영상에서 존재할 확률이 높은 순으로 복수의 병변 정보를 정렬하는 단계를 더 수행할 수 있다. 의료 영상 장치(100)는 하나의 의료 영상 내에 존재할 확률이 높은 순으로 복수의 병변 정보를 정렬해 둠으로써, 두 개의 병변 간에 공존성이 없는 경우, 존재할 확률이 낮은 병변에 대응하는 컨투어를 출력하지 않을 수 있다.
또한 의료 영상 장치(100)는 공존성이 있는지 여부가 제 1 병변 및 제 2 병변이 서로 공존할 수 있음을 나타내는 경우, 제 1 병변에 대응하는 적어도 하나의 컨투어 및 제 2 병변에 대응하는 적어도 하나의 컨투어를 모두 생성할 수 있다.
도 4는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법의 수도 코드를 나타낸다.
라인(410)에서 C는 검출된 복수의 병변에 대응하는 컨투어들의 집합을 나타낼 수 있다. C는 총 M개의 원소를 포함할 수 있다. 즉, C= {c1, c2, ... , cM} 일 수 있다.
의료 영상 장치(100)는 인덱스(i)가 1 부터 M-1까지 증가하면서 for문을 수행할 수 있다. 라인(420)에서, R(i)는 집합 C에 있는 컨투어 원소들을 의료 영상에 존재할 확률이 높은 순으로 배열하는 함수이다. 즉, R(1)은 의료 영상에 존재할 가장 높은 확률의 병변에 대한 적어도 하나의 컨투어를 출력할 수 있다. 또한 R(M-1)은 의료 영상에 존재할 가장 낮은 확률의 병변에 대한 적어도 하나의 컨투어를 출력할 수 있다. 의료 영상 장치(100)는 R(i)에 의하여 i번째로 높은 확률의 병변에 대응하는 컨투어를 cp에 할당할 수 있다. 의료 영상 장치(100)는 R(i)에 의하여 i가 증가함에 따라 의료 영상에서 낮은 확률로 존재하는 병변에 대한 컨투어를 cp에 할당할 수 있다.
라인(430)에서, D(cp)는 컨투어인 cp에 대응되는 병변 정보를 출력하는 함수이다. 의료 영상 장치(100)는 D(cp)에 의하여 cp에 대응되는 병변 정보를 dp에 할당할 수 있다.
의료 영상 장치(100)는 인덱스(j)가 2 부터 M까지 증가하면서 for문을 수행할 수 있다. 도 4에서 인덱스(j)는 2부터 증가하지만 이에 한정되는 것은 아니다. 인덱스(j)는 i+1로부터 M까지 증가될 수 있다.
라인(440)에서, R(j)는 집합 C에 있는 컨투어 원소들을 의료 영상에 존재할 확률이 높은 순으로 배열하는 함수이다. 의료 영상 장치(100)는 R(j)에 의하여 j번째로 높은 확률의 병변에 대응하는 컨투어를 cq에 할당할 수 있다.
라인(450)에서, D(cq)는 컨투어인 cq에 대응되는 병변 정보를 출력하는 함수이다. 의료 영상 장치(100)는 D(cq)에 의하여 cq에 대응되는 병변 정보를 dq에 할당할 수 있다.
라인(460)에서, IoU(cp, cq)는 컨투어 cp와 컨투어 cq의 영역이 중복되는 영역의 크기를 나타낼 수 있다. 또한 S(cq)는 컨투어인 cq 내부의 픽셀이 병변 영역에 포함될 확률을 나타낼 수 있다.
라인(460)에서 의료 영상 장치(100)는 컨투어 cp와 컨투어 cq의 영역이 중복되는 영역의 크기가 임계값(MTdq)보다 크고, 컨투어 cq 내부의 픽셀이 병변 영역에 포함될 확률이 임계값(STdq)보다 작은 경우, 라인(470)을 수행할 수 있다.
라인(470)에서 Sim(dp, dq)는 병변 정보 dp 및 병변 정보 dq의 유사성 여부에 대한 정보를 출력할 수 있다. Sim(dp, dq)이 1인 경우 병변 정보 dp 및 병변 정보 dq 사이에 유사성이 있음을 나타낼 수 있다. 또한 Sim(dp, dq)이 0인 경우 병변 정보 dp 및 병변 정보 dq 사이에 유사성이 없음을 나타낼 수 있다.
CoOcc(dp, dq)는 병변 정보 dp 및 병변 정보 dq의 공존성 여부에 대한 정보를 출력할 수 있다. CoOcc(dp, dq)이 1인 경우 병변 정보 dp 및 병변 정보 dq 사이에 공존성이 있음을 나타낼 수 있다. 또한 CoOcc(dp, dq)이 0인 경우 병변 정보 dp 및 병변 정보 dq 사이에 공존성이 없음을 나타낼 수 있다.
라인(470)에서 의료 영상 장치(100)는 병변 정보 dp와 병변 정보 dq사이에 유사성이 있으며, 병변 정보 dp 및 병변 정보 dq 사이에 공존성이 없는 경우, 라인(480)을 수행할 수 있다.
의료 영상 장치(100)는 위의 조건을 만족하는 경우, 집합 C로부터 컨투어 cq를 제거할 수 있다. 즉, 의료 영상 장치(100)는 컨투어 cp와 컨투어 cq의 영역이 중복되는 영역의 크기가 임계값(MTdq)보다 크고, 컨투어 cq 내부의 픽셀이 병변 영역에 포함될 확률이 임계값(STdq)보다 작으며, 병변 정보 dp와 병변 정보 dq사이에 유사성이 있으며, 병변 정보 dp 및 병변 정보 dq 사이에 공존성이 없는 경우, 집합 C로부터 컨투어 cq를 제거할 수 있다. 의료 영상 장치(100)는 집합 C에 포함되어 있는 컨투어를 출력부(130)에 출력할 수 있다. 즉, 의료 영상 장치(100)는 컨투어 cq를 출력하지 않을 수 있다.
도 5 내지 도 8은 본 개시의 일 실시예에 따라 의료 영상 장치가 표시하는 의료 영상을 나타내는 도면이다.
의료 영상 장치(100)는 컨투어 근처에 화살표 또는 텍스트를 표시할 수 있다. 텍스트는 컨투어와 관련된 내용을 포함 수 있다. 도 5 내지 도 8은 컨투어 근처에 위치하는 화살표 또는 텍스트의 배치의 예시이다. 도 5 내지 도 8를 참조하면, 의료 영상 장치(100)는 사용자가 컨투어가 나타내는 의미를 명확하게 파악할 수 있도록 화살표 및 텍스트를 배치할 수 있다.
도 5를 참조하면 의료 영상 장치(100)는 의료 영상과 함께 컨투어를 출력할 수 있다. 또한 의료 영상 장치(100)는 컨투어 근처에 화살표 및 텍스트를 표시할 수 있다. 화살표는 컨투어와 텍스트 사이를 이을 수 있다. 또한 텍스트는 컨투어에 포함되는 병변에 대해 설명할 수 있다. 의료 영상 장치(100)는 병변 정보에 기초하여 텍스트를 획득할 수 있다.
의료 영상(510)은 화살표 및 텍스트가 잘못 표시된 예를 도시한다. 박스(511)를 참조하면 복수의 텍스트가 중복되어 표시되어 있다. 또한 박스(511)를 참조하면 복수의 화살표의 적어도 일부가 교차될 수 있다. 따라서 의료인은 텍스트의 내용을 확인하지 못할 수 있다.
의료 영상(520)은 본 개시에 따른 의료 영상 장치(100)가 정상적으로 표시한 의료 영상을 나타낸다. 박스(521)를 참조하면 의료 영상(520)에 포함된 화살표는 서로 교차되지 않는다. 또한 텍스트도 중복되지 않는다. 따라서 의료인은 컨투어가 나타내는 의미를 명확하게 파악할 수 있다.
도 6을 참조하면, 의료 영상(610)은 화살표 및 텍스트가 잘못 표시된 예를 도시한다. 박스(611)를 참조하면 화살표가 컨투어를 가로지르고 있다. 화살표가 컨투어를 가로지르는 경우, 화살표의 길이가 길고, 화살표가 가리키는 컨투어와 텍스트 사이의 거리가 멀 수 있다. 따라서 의료인은 텍스트가 어떤 컨투어에 대한 설명인지 확인이 어려울 수 있다.
의료 영상(620)은 본 개시에 따른 의료 영상 장치(100)가 정상적으로 표시한 의료 영상을 나타낸다. 박스(621)를 참조하면 의료 영상(620)에 포함된 화살표는 컨투어를 가로지르지 않는다. 따라서 의료인은 컨투어가 나타내는 의미를 명확하게 파악할 수 있다.
도 7을 참조하면, 의료 영상(710)은 화살표 및 텍스트가 잘못 표시된 예를 도시한다. 박스(711)를 참조하면 화살표 및 텍스트가 컨투어 위에 표시되어 있다. 화살표 및 텍스트가 컨투어 위에 표시되는 경우, 텍스트의 가독성이 낮을 수 있다. 따라서 의료인은 텍스트의 내용을 확인하지 못할 수 있다.
의료 영상(720)은 본 개시에 따른 의료 영상 장치(100)가 정상적으로 표시한 의료 영상을 나타낸다. 박스(721)를 참조하면 의료 영상(720)에 포함된 화살표 및 텍스트는 컨투어 위에 표시되지 않는다. 따라서 의료인은 컨투어가 나타내는 의미를 명확하게 파악할 수 있다.
도 8을 참조하면, 의료 영상(810)은 화살표 및 텍스트가 잘못 표시된 예를 도시한다. 박스(811)를 참조하면 화살표가 두 개의 컨투어의 교차점 위에 표시되어 있다. 화살표가 두 개의 컨투어의 교차점에 표시되는 경우, 화살표가 어떤 컨투어를 가리키는지 파악하기 힘들 수 있다. 따라서 의료인은 컨투어에 대응되는 텍스트를 확인하지 못할 수 있다.
의료 영상(820)은 본 개시에 따른 의료 영상 장치(100)가 정상적으로 표시한 의료 영상을 나타낸다. 박스(821)를 참조하면 의료 영상(820)에 포함된 화살표는 두 개의 컨투어의 교차점에 표시되지 않는다. 따라서 의료인은 컨투어에 대응되는 텍스트를 명확하게 파악할 수 있다.
도 9는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 나타낸 흐름도이다. 또한 도 10 내지 13은 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
의료 영상 장치(100)는, 적어도 하나의 컨투어를 출력하기 위하여, 적어도 하나의 컨투어 중 제 1 컨투어를 가리키는 복수의 제 1 후보 화살표에 대한 제 1 후보 화살표 정보를 결정하는 단계(910)를 수행할 수 있다.
후보 화살표 정보는 화살표의 시작점에 대한 위치 정보, 화살표의 끝점에 대한 위치 정보, 화살표의 방향에 대한 정보 및 화살표의 길이에 대한 정보 중 적어도 하나를 포함할 수 있다.
도 10의 좌상단 그림을 참조하면, 의료 영상 장치(100)는 적어도 하나의 컨투어 중 제 1 컨투어(1010)를 가리키는 복수의 제 1 후보 화살표(1021, 1022, 1023)를 획득할 수 있다. 복수의 제 1 후보 화살표(1021, 1022, 1023)는 제 1 컨투어(1010)에 대하여 거의 수직일 수 있다. 복수의 제 1 후보 화살표(1021, 1022, 1023)는 시작점 및 끝점을 포함할 수 있다. 본 개시에서 화살표의 시작점은 화살표 상에서 컨투어와 가장 근접한 점을 의미할 수 있다. 본 개시에서 끝점은 화살표 상에서 시작점의 반대편을 의미할 수 있다. 화살표의 시작점은 화살표의 머리 부분일 수 있으나 이에 한정되는 것은 아니며 화살표의 끝점이 화살표의 머리 부분일 수 있다.
복수의 제 1 후보 화살표(1021, 1022, 1023)의 시작점의 위치는 컨투어(1010) 상에 랜덤하게 결정될 수 있다. 또한, 복수의 제 1 후보 화살표(1021, 1022, 1023)의 개수는 미리 정해진 개수 일 수 있다. 도 10에서 복수의 제 1 후보 화살표 모두에 도면 부호를 부여하지는 않았으나, 복수의 제 1 후보 화살표(1021, 1022, 1023)의 개수는 10개일 수 있다. 복수의 제 1 후보 화살표(1021, 1022, 1023)의 길이는 미리 정해질 수 있다. 또한 복수의 제 1 후보 화살표(1021, 1022, 1023)의 길이는 미리 정해진 범위 내에서 랜덤하게 결정될 수 있다.
도 11을 참조하면, 의료 영상 장치(100)는 적어도 하나의 컨투어 중 제 1 컨투어(1110)를 가리키는 복수의 제 1 후보 화살표(1121, 1122, 1123)를 획득할 수 있다. 복수의 제 1 후보 화살표(1121, 1122, 1123)의 끝점에는 텍스트 박스(1131, 1132, 1133)가 위치할 수 있다. 텍스트 박스(1131, 1132, 1133)에는 텍스트가 표시될 수 있다. 복수의 제 1 후보 화살표(1121, 1122, 1123)와 텍스트 박스(1131, 1132, 1133)는 일대일 대응될 수 있다.
복수의 제 1 후보 화살표(1121, 1122, 1123)와 텍스트 박스(1131, 1132, 1133) 간의 위치는 미리 결정된 방식에 의할 수 있다. 텍스트 박스(1131, 1132, 1133)의 위치는 복수의 제 1 후보 화살표(1121, 1122, 1123)의 방향에 기초하여 설정될 수 있다. 또한, 의료 영상 장치(100)는 텍스트 박스의 모서리 또는 변에 복수의 제 1 후보 화살표(1121, 1122, 1123) 중 하나가 위치하도록 텍스트 박스의 위치를 설정할 수 있다. 예를 들어 제 1 후보 화살표(1121)의 시작점이 끝점의 왼쪽 위에 있을 경우, 텍스트 박스(1131)의 좌상 꼭지점이 제 1 후보 화살표(1121)의 끝점과 근접할 수 있다. 또한 제 1 후보 화살표(1122)의 시작점이 끝점의 왼쪽에 있을 경우, 텍스트 박스(1132)의 좌변이 제 1 후보 화살표(1122)의 끝점과 근접할 수 있다. 도 11은 화살표와 텍스트의 관계를 설명하고 있으므로 추가적인 설명은 생략한다.
도 11에 나타난 후보 화살표와 텍스트 박스의 위치 관계는 하나의 실시예로써, 이외에도 다양한 후보 화살표와 텍스트 박스의 위치 관계가 있을 수 있다.
후보 화살표(1160)의 머리는 끝점에 위치할 수 있다. 즉 후보 화살표(1160)의 시작점은 컨투어(1150)에 근접하거나 접하고, 후보 화살표(1160)의 끝점은 텍스트 영역(1170, 예를 들어, 박스 형태의 텍스트 영역 등)의 모서리 또는 변에 근접하거나 접할 수 있다.
도 9를 다시 참조하면, 의료 영상 장치(100)는 제 1 컨투어(1010)의 외곽에 화살표-텍스트 영역(1030)을 결정하는 단계(920)를 수행할 수 있다.
도 10의 우상단 그림을 참조하면, 화살표-텍스트 영역(1030)은 화살표의 끝점 및 텍스트 박스의 일부가 포함되는 영역일 수 있다. 화살표-텍스트 영역(1030)에서 화살표의 끝점 및 텍스트 박스가 인접할 수 있다.
도 12를 참조하면, 의료 영상 장치(100)는 컨투어(1210)를 생성할 수 있다. 의료 영상 장치(100)는 컨투어(1210)를 확장하여 제 1 확장 컨투어(1221)를 생성할 수 있다. 또한 의료 영상 장치(100)는 컨투어(1210)를 확장하여 제 2 확장 컨투어(1222)를 생성할 수 있다. 제 2 확장 컨투어(1222)는 제 1 확장 컨투어(1221)를 포함할 수 있다. 의료 영상 장치(100)가 제 1 확장 컨투어(1221) 및 제 2 확장 컨투어(1222)를 획득하기 위하여 미리 정해진 배수로 컨투어(1210)를 이용할 수 있다. 의료 영상 장치(100)는 제 1 확장 컨투어(1221)에서 제 2 확장 컨투어(1222) 사이를 화살표-텍스트 영역(1230)으로 결정할 수 있다. 화살표-텍스트 영역(1230)은 제 1 컨투어(1210)와 접하지 않고, 제 1 컨투어(1210)를 둘러싸는 링형일 수 있다.
의료 영상 장치(100)는 단계(910)에서 생성된 복수의 제 1 후보 화살표의 끝점이 화살표-텍스트 영역(1030)에 포함되지 않는 경우, 복수의 제 1 후보 화살표의 끝점을 화살표-텍스트 영역(1030)에 포함되도록 복수의 제 1 후보 화살표의 시작점 또는 끝점을 조절할 수 있다.
도 9를 다시 참조하면, 의료 영상 장치(100)는 화살표-텍스트 영역에서, 복수의 제 1 후보 화살표에 대응되고 제 1 컨투어에 대한 병변 정보를 표시하는 텍스트 박스의 일 사이드(side)와 제 1 후보 화살표 정보에 포함되는 복수의 제 1 후보 화살표의 일단이 만나는 접점 영역을 결정하는 단계(930)를 수행할 수 있다. 여기서 일 사이드(side)는 텍스트 박스의 모서리 또는 변을 나타낼 수 있다. 또한 일단은 후보 화살표의 시작점 또는 끝점일 수 있다.
도 10의 좌하단 그림을 참조하면, 의료 영상 장치(100)는 텍스트 박스에 들어갈 텍스트를 병변 정보에 기초하여 결정할 수 있다. 또한 의료 영상 장치(100)는 텍스트의 폰트 및 내용에 기초하여 텍스트 박스의 크기를 결정할 수 있다. 의료 영상 장치(100)는 복수의 제 1 후보 화살표(1041, 1042, 1043)의 끝점에 텍스트 박스를 배치할 수 있다.
텍스트의 내용은 병변의 종류에 대한 정보, 병변이 의료 영상에서 존재할 확률 정보, 병변의 형태 정보, 병변의 크기 및 의료 영상의 단위 영역에 병변이 존재할 확률 중 적어도 하나를 포함할 수 있다.
의료 영상 장치(100)는 텍스트 박스에 대한 정보를 결정할 수 있다. 텍스트 박스에 대한 정보는 텍스트 박스의 크기, 텍스트 박스의 높이, 텍스트 박스의 폭 또는 텍스트 박스의 위치 정보 등을 포함할 수 있다.
의료 영상 장치(100) 화살표에 대한 정보에 기초하여 텍스트 박스의 위치를 결정할 수 있다. 예를 들어, 의료 영상 장치(100)는 화살표의 끝점으로부터 소정의 거리 내에 텍스트 박스의 하나의 모서리 또는 하나의 변이 위치하도록 할 수 있다.
의료 영상 장치(100)는 복수의 제 1 후보 화살표(1041, 1042, 1043)에 대응되는 텍스트 박스가 의료 영상 내에 위치할 수 있는지 결정할 수 있다. 또한, 의료 영상 장치(100)는 화살표-텍스트 영역(1070) 중 텍스트 박스가 의료 영상 내에 위치할 수 있도록 하는 영역을 접점 영역으로써 결정할 수 있다. 예를 들어 제 1 후보 화살표(1041)에 대응되는 텍스트 박스의 일부 영역은 의료 영상(1050) 바깥에 위치할 수 있다. 의료 영상 장치(100)는 화살표-텍스트 영역(1070)에서, 제 1 후보 화살표(1041)가 존재하는 영역을 제거하여 접점 영역을 결정할 수 있다.
또한, 의료 영상 장치(100)는 복수의 제 1 후보 화살표(1041, 1042, 1043)에 대응되는 텍스트 박스가 오브젝트와 중복되는지 여부를 결정할 수 있다. 또한, 의료 영상 장치(100)는 텍스트 박스가 오브젝트와 중복되지 않도록 하는 영역을 접점 영역으로써 결정할 수 있다. 여기서 오브젝트는 컨투어, 다른 텍스트 박스 또는 다른 화살표 중 적어도 하나를 포함할 수 있다. 예를 들어 제 1 후보 화살표(1042)에 대응되는 텍스트 박스의 일부 영역은 다른 컨투어(1060)와 중복될 수 있다. 의료 영상 장치(100)는 화살표-텍스트 영역(1070)에서, 제 1 후보 화살표(1042)가 존재하는 영역을 제거하여 접점 영역을 결정할 수 있다.
의료 영상 장치(100)는 제 1 후보 화살표(1043)에 대응되는 텍스트 박스가 의료 영상 내에 위치하고, 오브젝트와 중복되지 않는 경우, 제 1 후보 화살표(1040)의 끝점이 포함되는 영역을 이용하여 접점 영역을 획득할 수 있다.
도 10의 우하단 그림을 참조하면, 위와 같은 과정을 통하여 의료 영상 장치(100)는 화살표-텍스트 영역(1070) 중 일부를 접점 영역(1080)으로 획득할 수 있다. 의료 영상 장치(100)는 접점 영역에 끝점이 포함되는 복수의 후보 화살표를 선택할 수 있다. 또한 선택된 후보 화살표를 이용하여 적어도 하나의 화살표 세트를 생성할 수 있다.
다시 도 9를 참조하면 의료 영상 장치(100)는 결정된 접점 영역에 기초하여 제 1 컨투어에 대한 텍스트 박스 및 화살표의 표시 가능한 위치에 대한 적어도 하나의 화살표 세트를 생성하는 단계(940)를 수행할 수 있다.
도 13을 참조하면, 의료 영상 내에는 복수의 컨투어(1310, 1320, 1330)를 포함할 수 있다. 의료 영상 장치(100)는 단계(910) 내지 단계(930)에 기초하여 복수의 컨투어(1310, 1320, 1330) 각각에 대하여 접점 영역을 결정할 수 있다. 또한 의료 영상 장치(100)는 복수의 컨투어(1310, 1320, 1330) 각각에 대하여 복수의 후보 화살표를 결정할 수 있다. 의료 영상 장치(100)는 접점 영역에 끝점이 포함되는 복수의 후보 화살표를 선택할 수 있다. 또한, 의료 영상 장치(100)는 접점 영역에 끝점이 포함되지 않는 후보 화살표를 제거할 수 있다.
의료 영상 장치(100)는 접점 영역에 적어도 일부가 포함된 복수의 후보 화살표 중에서 컨투어 당 하나의 후보 화살표를 선택하여 화살표 세트를 생성할 수 있다. 즉, 의료 영상 장치(100)는 하나의 컨투어에 대응하는 복수의 후보 화살표 중에서 하나를 선택하여 화살표 세트를 생성할 수 있다.
예를 들어 도 13의 SET 1을 참조하면, 의료 영상 장치(100)는 제 1 컨투어(1310)에 대한 복수의 후보 화살표 중에서 제 1-1 화살표(1311)를 선택할 수 있다. 또한 SET 1을 참조하면, 의료 영상 장치(100)는 제 2 컨투어(1320)에 대한 복수의 후보 화살표 중에서 제 2-1 화살표(1321)를 선택할 수 있다. 또한 SET 1을 참조하면, 의료 영상 장치(100)는 제 3 컨투어(1330)에 대한 복수의 후보 화살표 중에서 제 3-1 화살표(1331)를 선택할 수 있다. 제 1-1 화살표(1311), 제 2-1 화살표(1321) 및 제 3-1 화살표(1331)는 SET 1에 포함될 수 있다.
도 13의 SET 2를 참조하면, 의료 영상 장치(100)는 제 1 컨투어(1310)에 대한 복수의 후보 화살표 중에서 제 1-2 화살표(1312)를 선택할 수 있다. 또한 SET 2를 참조하면, 의료 영상 장치(100)는 제 2 컨투어(1320)에 대한 복수의 후보 화살표 중에서 제 2-2 화살표(1322)를 선택할 수 있다. 또한 SET 2를 참조하면 의료 영상 장치(100)는 제 3 컨투어(1330)에 대한 복수의 후보 화살표 중에서 제 3-2 화살표(1332)를 선택할 수 있다. 제 1-2 화살표(1312), 제 2-2 화살표(1322) 및 제 3-2 화살표(1332)는 SET 2에 포함될 수 있다.
의료 영상 장치(100)는 미리 정해진 개수만큼 세트를 생성할 수 있다. 의료 영상 장치(100)는 복수의 후보 화살표 중 세트에 포함될 화살표를 랜덤하게 선택할 수 있다. 의료 영상 장치(100)는 미리 정해진 방식에 의하여 화살표의 끝점에 텍스트 박스를 위치시킬 수 있다. 의료 영상 장치(100)는 화살표 정보를 화살표 세트에 포함시킬 수 있다. 즉 의료 영상 장치(100)는 복수의 컨투어 각각에 대응되는 화살표 정보를 화살표 세트에 포함하여 저장하고 있을 수 있다.
적어도 하나의 화살표 세트는 화살표 정보 또는 텍스트 박스에 대한 정보 중 적어도 하나를 포함할 수 있다. 이미 설명한 바와 같이 텍스트 박스에 대한 정보는 텍스트 박스의 크기, 텍스트 박스의 높이, 텍스트 박스의 폭 또는 텍스트 박스의 위치 정보 등을 포함할 수 있다.
도 9를 다시 참조하면 의료 영상 장치(100)는 적어도 하나의 화살표 세트 각각에 대하여 스코어를 획득하는 단계(950)를 수행할 수 있다. 스코어는 의료인이 의료 영상, 컨투어, 화살표 및 텍스트 중 적어도 하나를 편안하게 검토할 수 있는 정도를 나타낸다. 스코어가 높을 수록 의료인이 의료 영상, 컨투어, 화살표 및 텍스트 중 적어도 하나를 편안하게 검토할 수 있음을 나타낸다. 스코어를 획득하는 단계에 대해서는 도 17 및 18과 함께 보다 자세히 설명한다.
의료 영상 장치(100)는 획득된 스코어에 기초하여, 적어도 하나의 화살표 세트 중 하나의 화살표 세트를 선택하는 단계(960)를 수행할 수 있다. 의료 영상 장치(100)는 스코어가 가장 높은 화살표 세트를 선택할 수 있다. 예를 들어 도 13에서 SET 1 및 SET 2 중 SET 1의 스코어가 가장 높은 경우, 의료 영상 장치(100)는 SET 1를 선택할 수 있다. 또한, 의료 영상 장치(100)는 스코어가 가장 높은 화살표 세트일지라도 화살표 세트 내의 화살표가 서로 교차하는 경우 해상 화살표 세트를 선택하지 않을 수 있다.
의료 영상 장치(100)는 화살표 세트 중 제 1 컨투어에 대응하는 제 1 화살표 및 제 2 컨투어에 대응하는 제 2 화살표가 교차하는 경우, 해당 화살표 세트를 선택하지 않을 수 있다. 또는, 의료 영상 장치(100)는 화살표 세트 중 제 1 컨투어에 대응하는 제 1 화살표 및 제 2 컨투어에 대응하는 제 2 화살표가 교차하는 경우 적어도 하나의 화살표 세트에서 제거할 수 있다.
도 9를 다시 참조하면 의료 영상 장치(100)는 선택된 하나의 화살표 세트에 기초하여, 적어도 하나의 컨투어와 함께, 화살표 및 텍스트 박스 내의 텍스트를 출력하는 단계(950)를 수행할 수 있다. 의료 영상 장치(100)는 선택된 화살표 세트에 포함된 복수의 화살표 정보에 기초하여 화살표를 출력할 수 있다. 또한 의료 영상 장치(100)는 병변 정보에 기초하여 텍스트의 내용을 결정할 수 있다. 또한 의료 영상 장치(100)는 미리 정해진 방법에 기초하여 화살표에 인접하게 텍스트 박스를 배치할 수 있다. 또한 의료 영상 장치(100)는 텍스트 박스에 텍스트를 표시할 수 있다. 텍스트 박스는 표시되지 않을 수 있다.
예를 들어 도 13에서 의료 영상 장치(100)가 SET 1을 선택한 경우, 의료 영상 장치(100)는 SET 1과 같이 의료 영상(1300), 복수의 컨투어(1310, 1320, 1330), 복수의 화살표(1311, 1321, 1331) 및 텍스트를 출력할 수 있다.
도 14는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
의료 영상 장치(100)는 제 1 후보 화살표 정보를 결정하기 위하여 아래와 같은 과정을 수행할 수 있다. 아래의 단계들은 도 9의 단계(910) 내지 단계(940) 중 하나의 단계와 함께 수행될 수 있다.
의료 영상 장치(100)는 제 1 컨투어에 대한 제 1 텍스트 박스가 제 2 컨투어에 대한 제 2 텍스트 박스 또는 제 2 컨투어와 중첩되는 경우, 제 1 텍스트 박스가 제 2 텍스트 박스 또는 제 2 컨투어와 중첩되지 않도록, 제 1 후보 화살표 정보에 포함된 후보 화살표의 시작점 또는 끝점을 이동시켜서 수정된 제 1 후보 화살표 정보를 획득하는 단계를 수행할 수 있다.
의료 영상(1410)을 참조하면, 의료 영상 장치(100)는 제 1 컨투어에 대한 제 1 텍스트 박스(1411)가 제 2 컨투어에 대한 제 2 텍스트 박스(1412)와 중첩됨을 결정할 수 있다. 의료 영상 장치(100)는 제 1 텍스트 박스(1411)가 제 2 텍스트 박스(1412)와 중첩되지 않도록 제 1 후보 화살표 정보에 포함된 후보 화살표(1413)의 시작점 또는 끝점을 이동시켜서 수정된 제 1 후보 화살표 정보를 획득할 수 있다. 예를 들어 의료 영상 장치(100)는 제 1 텍스트 박스(1411) 및 제 2 텍스트 박스(1412)가 중첩되는 만큼 후보 화살표(1413)를 이동시킬 수 있다.
의료 영상(1420)은 수정된 제 1 후보 화살표 정보에 기초한 후보 화살표(1423)를 나타낸다. 의료 영상 장치(100)는 후보 화살표(1423)에 기초하여 수정된 제 1 텍스트 박스(1421)를 획득할 수 있다. 수정된 제 1 텍스트 박스(1421)는 제 2 텍스트 박스(1422)와 중첩되지 않을 수 있다.
의료 영상(1430)을 참조하면, 의료 영상 장치(100)는 제 1 컨투어에 대한 제 1 텍스트 박스(1431)가 제 2 컨투어(1432)와 중첩됨을 결정할 수 있다. 의료 영상 장치(100)는 제 1 텍스트 박스(1431)가 제 2 컨투어(1432)와 중첩되지 않도록 제 1 후보 화살표 정보에 포함된 후보 화살표(1433)의 시작점 또는 끝점을 이동시켜서 수정된 제 1 후보 화살표 정보를 획득할 수 있다.
의료 영상(1440)은 수정된 제 1 후보 화살표 정보에 기초한 후보 화살표(1443)를 나타낸다. 의료 영상 장치(100)는 후보 화살표(1443)에 기초하여 수정된 제 1 텍스트 박스(1441)를 획득할 수 있다. 수정된 제 1 텍스트 박스(1441)는 제 2 컨투어(1442)와 중첩되지 않을 수 있다.
의료 영상 장치(100)는 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 단계를 수행할 수 있다. 이 단계는 도 9의 단계(940)와 함께 수행될 수 있다.
도 15는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
의료 영상 장치(100)는 제 1 후보 화살표 정보를 결정하기 위하여 아래와 같은 과정을 수행할 수 있다. 아래의 단계들은 도 9의 단계(910) 내지 단계(940) 중 하나의 단계와 함께 수행될 수 있다.
의료 영상 장치(100)는 적어도 하나의 컨투어 중 제 1 컨투어(1521)를 가리키는 복수의 제 1 후보 화살표에 대한 제 1 후보 화살표 정보를 결정하는 단계를 수행할 수 있다. 복수의 제 1 후보 화살표는 제 1 후보 화살표(1522)를 포함할 수 있다. 또한, 의료 영상 장치(100)는 적어도 하나의 컨투어 중 제 2 컨투어(1531)를 가리키는 복수의 제 2 후보 화살표에 대한 제 2 후보 화살표 정보를 결정하는 단계를 수행할 수 있다. 복수의 제 2 후보 화살표는 제 2 후보 화살표(1532)를 포함할 수 있다.
의료 영상 장치(100)는 복수의 제 1 후보 화살표 중 제 1 후보 화살표(1522)와 복수의 제 2 후보 화살표 중 제 2 후보 화살표(1532)가 교차되는지 여부를 결정할 수 있다. 또한, 의료 영상(1510)과 같이 제 1 후보 화살표(1522)와 제 2 후보 화살표(1532)가 교차되는 경우, 의료 영상 장치(100)는 복수의 제 1 후보 화살표 중 제 1 후보 화살표(1522)와 복수의 제 2 후보 화살표 중 제 2 후보 화살표(1532)가 교차되지 않도록, 제 1 후보 화살표(1522)의 시작점 또는 끝점을 이동시켜서, 수정된 제 1 후보 화살표 정보를 획득하는 단계를 수행할 수 있다.
의료 영상(1550)과 같이 의료 영상 장치(100)는 제 1 컨투어(1561)에 대응하는 제 1 후보 화살표(1522)의 시작점 및 끝점을 이동시켜서 수정된 제 1 후보 화살표(1562)를 획득할 수 있다. 의료 영상 장치(100)는 수정된 제 1 후보 화살표(1562)에 기초하여 수정된 제 1 후보 화살표 정보를 획득할 수 있다.
의료 영상 장치(100)는 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 단계를 수행할 수 있다. 이 단계는 도 9의 단계(940)와 함께 수행될 수 있다.
도 16은 본 개시의 일 실시예에 따른 의료 영상 장치의 동작을 설명하기 위한 도면이다.
의료 영상 장치(100)는 제 1 후보 화살표 정보를 결정하기 위하여 아래와 같은 과정을 수행할 수 있다. 아래의 단계들은 도 9의 단계(910) 내지 단계(940) 중 하나의 단계와 함께 수행될 수 있다.
의료 영상(1610)을 참조하면 의료 영상 장치(100)는 제 1 컨투어(1621) 및 적어도 하나의 컨투어 중 제 2 컨투어(1631)의 교점(1640)을 획득하는 단계를 수행할 수 있다. 의료 영상 장치(100)는 복수의 제 1 후보 화살표 중 하나인 제 1 후보 화살표(1622) 및 제 1 컨투어(1621)가 만나는 제 1 접점(1623)을 획득하는 단계를 수행할 수 있다.
의료 영상 장치(100)는 제 1 접점(1623)이 교점(1640)으로부터 임계값 이상 떨어져 있는지 여부를 결정할 수 있다. 여기서 임계값은 미리 결정된 값일 수 있다. 제 1 접점(1623) 및 교점(1640)의 거리가 임계값보다 작은 경우, 의료 영상 장치(100)는 제 1 접점(1623)이 교점(1640)으로부터 임계값 이상 떨어지도록, 복수의 제 1 후보 화살표 중 하나인 제 1 후보 화살표(1622)의 시작점 또는 끝점의 위치를 수정할 수 있다. 의료 영상 장치(100)는 제 1 후보 화살표(1622)의 시작점 또는 끝점의 위치를 수정하여 수정된 제 1 후보 화살표 정보를 획득하는 단계를 수행할 수 있다. 의료 영상 장치(100)는 제 1 후보 화살표(1622)의 시작점을 제 1 컨투어를 따라 이동시키면서, 제 1 접점(1623)이 교점(1640)으로부터 임계값 이상 떨어지도록 만들 수 있다. 또한 의료 영상 장치(100)는 제 1 후보 화살표(1622)의 끝점을 이동시켜서 화살표가 컨투어에 수직이도록 만들 수 있다.
의료 영상(1650)은 수정된 제 1 후보 화살표(1662)를 나타낸다. 제 2 접점은 수정된 제 1 후보 화살표(1662) 및 제 1 컨투어(1661)의 접점일 수 있다. 또한 교점(1680)은 제 1 컨투어(1661) 및 제 2 컨투어(1671)가 교차하는 점일 수 있다. 제 2 접점(1663)은 교점(1680)과 임계값 이상 떨어질 수 있다.
의료 영상 장치(100)는 수정된 제 1 후보 화살표 정보에 기초하여 적어도 하나의 화살표 세트를 생성하는 단계를 수행할 수 있다. 이 단계는 도 9의 단계(940)와 함께 수행될 수 있다.
도 17 및 18은 본 개시의 일 실시예에 따라 스코어를 획득하는 방법을 설명하기 위한 도면이다.
도 9에서 설명한 바와 같이 의료 영상 장치(100)는 스코어를 획득하는 단계(950)를 수행할 수 있다. 의료 영상 장치(100)는 미리 결정된 방법에 의하여 스코어를 계산할 수 있다. 의료 영상 장치(100)는 텍스트 박스 간의 거리에 기초하여 스코어를 계산할 수 있다.
도 17을 참조하면, 의료 영상 장치(100)는 적어도 하나의 컨투어(1710, 1720, 1730)에 대응되는 적어도 하나의 텍스트 박스(1711, 1721, 1731) 간의 거리가 멀수록 스코어를 높게 결정할 수 있다.
예를 들어, 의료 영상 장치(100)는 텍스트 박스 간의 가장 가까운 거리를 결정할 수 있다. 의료 영상 장치(100)는 제 1 텍스트 박스(1711) 및 제 2 텍스트 박스(1721)의 제 1 거리(1741)를 결정할 수 있다. 의료 영상 장치(100)는 제 2 텍스트 박스(1721) 및 제 3 텍스트 박스(1731)의 제 2 거리(1742)를 결정할 수 있다. 의료 영상 장치(100)는 제 1 텍스트 박스(1711) 및 제 3 텍스트 박스(1731)의 제 3 거리(1743)를 결정할 수 있다. 의료 영상 장치(100)는 제 1 거리(1741), 제 2 거리(1742) 및 제 3 거리(1743)에 기초하여 스코어를 결정할 수 있다. 의료 영상 장치(100)는 제 1 거리(1741), 제 2 거리(1742) 및 제 3 거리(1743)의 합이 클수록 스코어를 높게 결정할 수 있다.
또한, 의료 영상 장치(100)는 적어도 하나의 컨투어(1710, 1720, 1730)에 대응되는 적어도 하나의 화살표(1712, 1722, 1732)의 길이가 짧을 수록 스코어를 높게 결정할 수 있다. 의료 영상 장치(100)는 적어도 하나의 컨투어에 각각 대응되는 적어도 하나의 후보 화살표 정보에 기초하여 적어도 하나의 화살표의 길이를 결정할 수 있다. 이미 설명한 바와 같이 후보 화살표 정보는 시작점의 위치, 끝점의 위치 또는 화살표의 길이를 포함할 수 있다. 의료 영상 장치(100)는 후보 화살표 정보로부터 화살표의 길이를 획득할 수 있다.
보다 구체적으로, 의료 영상 장치(100)는 제 1 컨투어(1710)에 대응되는 제 1 후보 화살표 정보, 제 2 컨투어(1720)에 대응되는 제 2 후보 화살표 정보 및 제 3 컨투어(1730)에 대응되는 제 3 화살표 정보에 기초하여 제 1 화살표(1712)의 길이, 제 2 화살표(1722)의 길이, 제 3 화살표(1732)의 길이를 획득할 수 있다. 의료 영상 장치(100)는 제 1 화살표(1712)의 길이, 제 2 화살표(1722)의 길이, 제 3 화살표(1732)의 길이의 합이 작을 수록 스코어를 높게 결정할 수 있다.
도 18을 참조하면, 의료 영상 장치(100)는 적어도 하나의 컨투어(1810, 1820)에 포함된 두 개의 컨투어(1810, 1820)의 교점(1851, 1852) 및 적어도 하나의 컨투어(1810, 1820)와 적어도 하나의 화살표(1811, 1821)의 접점(1812, 1822) 사이의 거리에 기초하여 스코어를 결정할 수 있다. 보다 구체적으로 의료 영상 장치(100)는 적어도 하나의 컨투어(1810, 1820)에 포함된 두 개의 컨투어(1810, 1820)의 교점(1851, 1852) 및 적어도 하나의 컨투어(1810, 1820)와 적어도 하나의 화살표(1811, 1821)의 접점(1812, 1822) 사이의 거리가 멀수록 스코어를 높게 결정할 수 있다.
의료 영상 장치(100)는, 화살표 정보에 기초하여, 적어도 하나의 컨투어에 포함된 제 1 컨투어(1810)에 대응되는 제 1 화살표(1811)를 획득할 수 있다. 또한 의료 영상 장치(100)는, 화살표 정보에 기초하여, 적어도 하나의 컨투어에 포함된 제 2 컨투어(1820)에 대응되는 제 2 화살표(1821)를 획득할 수 있다.
의료 영상 장치(100)는 제 1 컨투어(1810)와 제 2 컨투어(1820)의 제 1 교점(1851) 및 제 2 교점(1852)을 획득할 수 있다.
또한 의료 영상 장치(100)는 제 1 컨투어(1810)와 제 1 화살표(1811)가 가장 근접하는 지점을 제 1 접점(1812)으로써 결정할 수 있다. 제 1 접점(1812)은 제 1 화살표(1811)의 시작점일 수 있다. 또한 제 1 접점(1812)은 제 1 컨투어(1810) 중 제 1 화살표(1811)와 가장 근접한 지점일 수 있다.
또한 의료 영상 장치(100)는 제 2 컨투어(1820)와 제 1 화살표(1821)가 가장 근접하는 지점을 제 2 접점(1822)으로써 결정할 수 있다. 제 2 접점(1822)은 제 2 화살표(1821)의 시작점일 수 있다. 또한 제 2 접점(1822)은 제 2 컨투어(1820) 중 제 2 화살표(1821)와 가장 근접한 지점일 수 있다.
의료 영상 장치(100)는 제 1 교점(1851)과 제 1 접점(1812)의 거리(1831), 제 1 교점(1851)과 제 2 접점(1822)의 거리(1841), 제 2 교점(1852)과 제 1 접점(1812)의 거리(1832) 및 제 2 교점(1852)과 제 2 접점(1822)의 거리(1842)에 기초하여 스코어를 결정할 수 있다. 의료 영상 장치(100)는 제 1 교점(1851)과 제 1 접점(1812)의 거리(1831), 제 1 교점(1851)과 제 2 접점(1822)의 거리(1841), 제 2 교점(1852)과 제 1 접점(1812)의 거리(1832) 및 제 2 교점(1852)과 제 2 접점(1822)의 거리(1842)의 합이 클수록 스코어를 높게 결정할 수 있다.
도 19는 본 개시의 일 실시예에 따른 의료 영상을 나타낸다.
도 2와 유사하게 의료 영상 장치(100)는 의료 영상(1900)에 포함되는 적어도 하나의 병변에 대한 병변 정보를 획득하는 단계(210)를 수행할 수 있다. 또한, 의료 영상 장치(100)는 획득된 병변 정보에 기초하여, 의료 영상에서 적어도 하나의 병변에 대응하는 히트맵(1920)을 생성하는 단계를 수행할 수 있다.
히트맵(1920)은 병변 정보에 포함된 병변 영역 상에 표시될 수 있다. 또한 히트맵(1920)은 병변 정보에 포함된 병변 영역보다 크게 표시될 수 있다.
의료 영상 장치(100)는 의료 영상(1900)의 픽셀이 병변 영역에 포함될 확률에 기초하여 색 및 투명도를 달리하여 히트맵(1920)을 생성할 수 있다. 예를 들어 픽셀이 병변 영역에 포함될 확률이 높을 수록 빨간색 계통으로 표현되고, 픽셀이 병변 영역에 포함될 확률이 낮을 수록 파란색 계통으로 표현될 수 있다. 또한 픽셀이 병변 영역에 포함될 확률이 높을 수록 불투명하게 표현되고, 픽셀이 병변 영역에 포함될 확률이 낮을 수록 투명하게 표현될 수 있다.
의료 영상 장치(100)는 의료 영상(1900) 상의 픽셀이 병변 영역에 포함될 확률의 최대값을 획득할 수 있다. 또한 의료 영상 장치(100)는 의료 영상(1900) 상의 픽셀이 병변 영역에 포함될 확률의 최대값을 획득할 수 있다. 또한 의료 영상 장치(100)는 확률의 최대값이 임계값보다 낮은 지 여부를 결정할 수 있다. 여기서 임계값은 미리 결정된 값일 수 있다. 픽셀이 병변 영역에 포함될 확률이 낮을 경우, 히트맵(1920)은 투명도가 높거나, 눈에 띄지 않는 색으로 표현되어 의료인이 확인하기 어려울 수 있다. 예를 들어 도 19와 같이 픽셀이 병변 영역에 포함될 확률이 27%로 낮은 경우, 의료인이 히트맵을 확인하기 어려울 수 있다. 의료 영상 장치(100)는 확률의 최대값이 임계값보다 낮은 지 여부를 결정함으로써, 의료인이 히트맵(1920)을 보기에 편한지 여부를 결정할 수 있다.
의료 영상 장치(100)는 확률의 최대값이 임계값보다 낮은 경우, 히트맵(1920)의 적어도 일부를 둘러싸는 컨투어(1910)를 생성하는 단계를 수행할 수 있다. 컨투어(1910)는 히트맵(1920)보다 작거나 같을 수 있다. 하지만 이에 한정되는 것은 아니며 컨투어(1910)는 히트맵(1920)보다 클 수 있다. 의료 영상 장치(100)는 의료인이 히트맵(1920)을 보기 어려운 경우에 컨투어를 생성할 수 있다. 의료 영상 장치(100)는 의료인이 히트맵(1920)을 보기 어려운 경우에 컨투어만 표시하거나, 컨투어 및 히트맵을 동시에 표시함으로써, 의료인은 디스플레이에 표시된 병변 정보를 쉽게 확인할 수 있다.
이상에서는 의료 영상(1900) 상의 픽셀별로 병변 영역에 포함될 확률을 획득하는 구성을 설명하였다. 하지만 이에 한정되는 것은 아니다. 의료 영상 장치(100)는 적어도 하나의 픽셀을 포함하는 단위 영역 별로 병변 영역에 포함될 확률을 획득할 수 있다. 의료 영상 장치(100)가 단위 영역을 이용하는 경우에도 위와 동일하게 설명될 수 있으므로 중복되는 설명은 생략한다.
도 20은 본 개시의 일 실시예에 따른 의료 영상을 나타낸다.
도 2와 유사하게 의료 영상 장치(100)는 의료 영상(2000)에 포함되는 적어도 하나의 병변에 대한 병변 정보를 획득하는 단계(210)를 수행할 수 있다. 또한, 의료 영상 장치(100)는 획득된 병변 정보에 기초하여, 의료 영상에서 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어를 생성하는 단계(220)를 수행할 수 있다. 또한 도 9와 유사하게 의료 영상 장치(100)는 화살표 및 텍스트를 생성할 수 있다. 다만 특정 경우 의료 영상 장치(100)는 화살표를 생성하지 않을 수 있다.
의료 영상 장치(100)는 병변 영역 또는 컨투어의 내부 영역이 임계값보다 큰지 여부를 결정할 수 있다. 의료 영상 장치(100)는 병변 영역 또는 컨투어의 내부 영역이 임계값보다 큰 경우 해당 컨투어에 대한 화살표를 생성하지 않을 수 있다.
또는 의료 영상 장치(100)는 의료 영상에 대한 병변 영역 또는 컨투어의 내부 영역의 비율이 임계값보다 큰지 여부를 결정할 수 있다. 의료 영상 장치(100)는 의료 영상(2000)에 대한 병변 영역 또는 컨투어의 내부 영역의 비율이 임계값보다 큰 경우, 해당 컨투어에 대한 화살표를 생성하지 않을 수 있다.
또한 의료 영상 장치(100)는 병변 정보에 포함된 병변 종류가 의료 영상 상에 크게 표시될 수밖에 없는 경우, 화살표를 생성하지 않을 수 있다. 이러한 병변의 예로는 Mediastinal Widening(MW) 또는 cardiomegaly(Cm)가 있을 수 있다.
의료 영상 장치(100)는 화살표가 생성되지 않은 경우, 의료 영상(2000)의 일부에 병변 정보와 관련된 텍스트를 표시할 수 있다. 예를 들어 의료 영상(2000)의 하단 또는 모퉁이에 병변 정보와 관련된 텍스트를 표시할 수 있다.
도 20을 참조하면, 컨투어(2020)는 상대적으로 작은 영역이므로 화살표 및 텍스트를 표시할 수 있다. 하지만 컨투어(2010)는 상대적으로 큰 영역이므로 화살표를 표시하지 않고, 텍스트(2011)를 표시할 수 있다. 의료 영상 장치(100)는 컨투어(2010)에 대한 텍스트(2011)를 의료 영상(2000)의 일부 영역 또는 일부 위치에 표시할 수 있다. 예를 들면, 의료 영상 장치(100)는 컨투어(2010)에 대한 텍스트(2011)를 의료 영상(2000)의 모퉁이 또는 하단에 표시할 수 있다.
컨투어(2010)와 텍스트(2011) 사이에 연관성이 있음을 나타내기 위하여, 의료 영상 장치(100)는 컨투어(2010)의 선의 모양을 텍스트(2011) 앞에 표시할 수 있다. 또한 의료 영상 장치(100)는 컨투어(2010)의 색과 텍스트(2011)의 색을 동일하게 설정할 수 있다.
도 21은 본 개시의 일 실시예에 따른 전자 장치(2100)의 내부 구성을 나타내는 블록도이다. 전자 장치(2100)는 메모리(2110), 프로세서(2120), 통신 모듈(2130) 및 입출력 인터페이스(2140)를 포함할 수 있다. 예를 들어, 전자 장치(2100)는 상술된 의료 영상 장치(100)를 포함할 수 있다. 도 21에 도시된 바와 같이, 전자 장치(2100)는 통신 모듈(2130)을 이용하여 네트워크를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다.
메모리(2110)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(2110)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 전자 장치(2100)에 포함될 수 있다. 또한, 메모리(2110)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 전자 장치(2100)에 설치되어 구동되는 병변 정보 획득, 컨투어의 형태 및 위치 결정, 텍스트 영역의 위치 결정 등을 위한 코드)가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(2110)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 이러한 전자 장치(2100)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(2130)을 통해 메모리(2110)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(2130)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 컨투어의 형태 및 위치 결정, 텍스트 영역의 위치 결정, 화살표 생성, 화살표 위치 결정 등을 위한 프로그램 등)에 기반하여 메모리(2110)에 로딩될 수 있다.
프로세서(2120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(2110) 또는 통신 모듈(2130)에 의해 사용자 단말(미도시) 또는 다른 외부 시스템으로 제공될 수 있다. 예를 들어, 프로세서(2120)는 의료 영상을 수신하고, 의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득할 수 있다. 또한, 프로세서(2120)는 획득된 병변 정보를 기초로, 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어의 형태 및 위치를 결정하고, 의료 영상 내에서의 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정할 수 있다. 이 경우, 프로세서(2120)는 결정된 컨투어의 형태 및 위치, 텍스트 영역의 위치 등을 입출력 인터페이스(2140), 사용자 단말(미도시) 및/또는 다른 외부 시스템으로 제공할 수 있다.
통신 모듈(2130)은 네트워크를 통해 사용자 단말(미도시)과 전자 장치(2100)가 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 전자 장치(2100)가 외부 시스템(일례로, 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 전자 장치(2100)의 프로세서(2120)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(2130)과 네트워크를 거쳐 사용자 단말 및/또는 외부 시스템의 통신 모듈을 통해 사용자 단말 및/또는 외부 시스템으로 전송될 수 있다. 예를 들어, 사용자 단말 및/또는 외부 시스템은 전자 장치(2100)로부터 수신된 의료 영상, 컨투어의 형태 및 위치, 텍스트의 내용, 텍스트 영역의 위치 등을 전달받을 수 있다.
또한, 전자 장치(2100)의 입출력 인터페이스(2140)는 전자 장치(2100)와 연결되거나 전자 장치(2100)가 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입출력 인터페이스(2140)는 의료 영상을 표시하도록 구성된 디스플레이와의 인터페이스를 위한 수단을 포함할 수 있다. 도 21에서는 입출력 인터페이스(2140)가 프로세서(2120)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(2140)가 프로세서(2120)에 포함되도록 구성될 수 있다. 전자 장치(2100)는 도 21의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다.
전자 장치(2100)의 프로세서(2120)는 복수의 사용자 단말 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 일 실시예에 따르면, 프로세서(2120)는 의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득하고, 획득된 병변 정보를 기초로, 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어의 형태 및 위치를 결정할 수 있다. 또한, 프로세서(2120)는 의료 영상 내에서의 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하고, 결정된 적어도 하나의 컨투어의 형태 및 위치 및 결정된 적어도 하나의 텍스트 영역의 위치에 기초하여, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역에 포함된 텍스트를 의료 영상에 표시할 수 있다.
도 22는 본 개시의 일 실시예에 따른 의료 영상 장치의 동작 방법(2200)을 나타내는 흐름도이다. 일 실시예에 따르면, 의료 영상 장치의 동작 방법(2200)은 프로세서(예를 들어, 의료 영상 장치(전자 장치)의 적어도 하나의 프로세서 등)에 의해 수행될 수 있다. 도시된 바와 같이, 의료 영상 장치의 동작 방법(2200)은 프로세서가 의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득함으로써 개시될 수 있다(S2210). 추가적으로 또는 대안적으로, 프로세서는 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득할 수도 있다.
프로세서는 획득된 병변 정보를 기초로, 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어의 형태 및 위치를 결정할 수 있다(S2220). 예를 들어, 프로세서는 복수의 병변 중 의료 영상에 표시할 일부의 병변을 결정하고, 결정된 일부의 병변에 대한 적어도 하나의 컨투어의 형태 및 위치를 결정할 수 있다. 또한, 프로세서는 의료 영상 내에서의 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정할 수 있다(S2230). 예를 들어, 프로세서는 적어도 하나의 컨투어와 적어도 하나의 텍스트 영역 사이의 거리 또는 적어도 하나의 컨투어와 적어도 하나의 텍스트 영역 사이의 중첩 여부 중 적어도 하나에 기초하여, 적어도 하나의 텍스트 영역의 위치를 결정할 수 있다. 또한, 프로세서는 결정된 일부의 병변에 대한 병변 정보를 포함하는 적어도 하나의 텍스트의 위치를 결정할 수 있다. 또한, 적어도 하나의 텍스트 영역은 복수의 텍스트 영역을 포함할 수 있으며, 이 경우, 프로세서는 복수의 텍스트 영역 사이의 거리를 기초로 복수의 텍스트 영역의 각각의 위치를 결정할 수 있다.
프로세서는 결정된 적어도 하나의 컨투어의 형태 및 위치 및 결정된 적어도 하나의 텍스트 영역의 위치에 기초하여, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역에 포함된 텍스트를 의료 영상에 표시할 수 있다(S2240). 또한, 프로세서는 적어도 하나의 컨투어를 가리키는 적어도 하나의 화살표를 생성하고, 적어도 하나의 컨투어 및 적어도 하나의 텍스트 영역 사이를 연결하도록 생성된 적어도 하나의 화살표를 의료 영상에 표시할 수 있다. 이 경우, 프로세서는 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하고, 복수의 병변 각각에 대한 화살표를 생성할 수 있다. 그리고 나서, 프로세서는 생성된 복수의 병변 각각에 대한 화살표가 서로 교차되지 않도록, 복수의 병변 각각에 대한 화살표를 의료 영상에 표시할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 생성된 복수의 병변 각각에 대한 화살표가 복수의 병변 각각에 대응하는 컨투어와 서로 교차되지 않도록, 복수의 병변 각각에 대한 화살표를 의료 영상에 표시할 수도 있다. 추가적으로 또는 대안적으로, 적어도 하나의 컨투어에 접하는 적어도 하나의 접점 영역을 결정하고, 생성된 적어도 하나의 화살표를 적어도 하나의 접점 영역에 연결되도록 표시할 수 있다. 예를 들어, 적어도 하나의 접점 영역은 적어도 하나의 컨투어에 접하는 복수의 접점 영역을 포함할 수 있으며, 이 경우, 프로세서는 복수의 접점 영역 사이의 거리를 기초로 적어도 하나의 접점 영역을 결정할 수 있다.
일 실시예에 따르면, 프로세서는 복수의 병변 중 의료 영상에 표시할 일부의 병변을 결정할 수 있다. 이 경우, 프로세서는 복수의 병변 중 병변 영역이 중복되는 병변들을 확인하고, 중복되는 병변들 사이의 중복된 영역의 크기, 중복되는 병변들 각각의 병변 확률, 중복되는 병변들 사이의 관련성 또는 중복되는 병변들 중 일부가 하나의 의료 영상에서 존재할 확률 중 적어도 하나를 기초로, 복수의 병변 중 일부 병변을 결정할 수 있다. 이러한 실시예에 따르면, 의료인은 의료 영상 중 일부인 컨투어 주위를 집중적으로 관찰할 수 있고 최종적으로 컨투어의 내부에 병변이 존재하는지 여부를 손쉽게 결정할 수 있다.
이제까지 다양한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

Claims (20)

  1. 의료 영상 장치의 동작 방법에 있어서,
    의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득하는 단계;
    상기 획득된 병변 정보를 기초로, 상기 적어도 하나의 병변에 대응하는 적어도 하나의 컨투어의 형태 및 위치를 결정하는 단계;
    상기 의료 영상 내에서의 상기 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하는 단계; 및
    상기 결정된 적어도 하나의 컨투어의 형태 및 위치 및 상기 결정된 적어도 하나의 텍스트 영역의 위치에 기초하여, 상기 적어도 하나의 컨투어 및 상기 적어도 하나의 텍스트 영역에 포함된 텍스트를 상기 의료 영상에 표시하는 단계
    를 포함하는, 의료 영상 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 텍스트 영역의 위치를 결정하는 단계는,
    상기 적어도 하나의 컨투어와 상기 적어도 하나의 텍스트 영역 사이의 거리 또는 상기 적어도 하나의 컨투어와 상기 적어도 하나의 텍스트 영역 사이의 중첩 여부 중 적어도 하나에 기초하여, 상기 적어도 하나의 텍스트 영역의 위치를 결정하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  3. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하는 단계를 포함하고,
    상기 적어도 하나의 컨투어의 형태 및 위치를 결정하는 단계는,
    상기 복수의 병변 중 상기 의료 영상에 표시할 일부의 병변을 결정하는 단계; 및
    상기 결정된 일부의 병변에 대한 적어도 하나의 컨투어의 형태 및 위치를 결정하는 단계를 포함하고,
    상기 적어도 하나의 텍스트 영역의 위치를 결정하는 단계는, 상기 결정된 일부의 병변에 대한 병변 정보를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 일부의 병변을 결정하는 단계는,
    상기 복수의 병변 중 병변 영역이 중복되는 병변들을 확인하는 단계; 및
    상기 중복되는 병변들 사이의 중복된 영역의 크기, 상기 중복되는 병변들 각각의 병변 확률, 상기 중복되는 병변들 사이의 관련성 또는 상기 중복되는 병변들 중 일부가 하나의 의료 영상에서 존재할 확률 중 적어도 하나를 기초로, 상기 복수의 병변 중 일부 병변을 결정하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 컨투어를 가리키는 적어도 하나의 화살표를 생성하는 단계를 더 포함하고,
    상기 표시하는 단계는,
    상기 적어도 하나의 컨투어 및 상기 적어도 하나의 텍스트 영역 사이를 연결하도록, 상기 생성된 적어도 하나의 화살표를 상기 의료 영상에 표시하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 획득하는 단계는,
    상기 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하는 단계를 포함하고,
    상기 적어도 하나의 화살표를 생성하는 단계는,
    상기 복수의 병변 각각에 대한 화살표를 생성하는 단계를 포함하고,
    상기 생성된 화살표를 상기 의료 영상에 표시하는 단계는,
    상기 생성된 복수의 병변 각각에 대한 화살표가 서로 교차되지 않도록, 상기 복수의 병변 각각에 대한 화살표를 상기 의료 영상에 표시하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  7. 제5항에 있어서,
    상기 획득하는 단계는,
    상기 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하는 단계를 포함하고,
    상기 화살표를 생성하는 단계는,
    상기 복수의 병변 각각에 대한 화살표를 생성하는 단계를 포함하고,
    상기 생성된 화살표를 상기 의료 영상에 표시하는 단계는,
    상기 생성된 복수의 병변 각각에 대한 화살표가 상기 복수의 병변 각각에 대응하는 컨투어와 서로 교차되지 않도록, 상기 복수의 병변 각각에 대한 화살표를 상기 의료 영상에 표시하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  8. 제5항에 있어서,
    상기 생성된 화살표를 상기 의료 영상에 표시하는 단계는,
    상기 생성된 화살표가, 상기 적어도 하나의 컨투어에 접하는 적어도 하나의 접점 영역을 결정하는 단계; 및
    상기 생성된 화살표를 상기 적어도 하나의 접점 영역에 연결되도록 표시하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 적어도 하나의 접점 영역을 결정하는 단계는,
    상기 적어도 하나의 컨투어에 접하는 복수의 접점 영역 중에서, 상기 복수의 접점 영역 사이의 거리를 기초로, 상기 적어도 하나의 접점 영역을 결정하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 텍스트 영역은 복수의 텍스트 영역을 포함하고,
    적어도 하나의 텍스트 영역의 위치를 결정하는 단계는,
    상기 복수의 텍스트 영역 사이의 거리를 기초로 상기 복수의 텍스트 영역의 각각의 위치를 결정하는 단계를 포함하는,
    의료 영상 장치의 동작 방법.
  11. 전자 장치에 있어서,
    하나 이상의 인스트럭션(instructions)을 저장하는 메모리; 및
    상기 저장된 하나 이상의 인스트럭션을 실행함으로써,
    의료 영상에서 검출된 적어도 하나의 병변에 대한 병변 정보를 획득하고,
    상기 획득된 병변 정보를 기초로, 상기 적어도 하나의 병변에 대응하는 컨투어의 형태 및 위치를 결정하고
    상기 의료 영상 내에서의 상기 적어도 하나의 병변에 대한 병변 정보를 나타내는 텍스트를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하고,
    상기 결정된 적어도 하나의 컨투어의 형태 및 위치 및 상기 결정된 적어도 하나의 텍스트 영역에 기초하여, 상기 적어도 하나의 컨투어 및 상기 적어도 하나의 텍스트 영역에 포함된 텍스트를 상기 의료 영상에 표시하도록 구성된 프로세서를 포함하는,
    전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 컨투어와 상기 적어도 하나의 텍스트 영역 사이의 거리 또는 상기 적어도 하나의 컨투어와 상기 적어도 하나의 텍스트 영역 사이의 중첩 여부 중 적어도 하나에 기초하여, 상기 적어도 하나의 텍스트 영역의 위치를 결정하도록 더 구성된,
    전자 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하고,
    상기 복수의 병변 중 상기 의료 영상에 표시할 일부의 병변을 결정하고,
    상기 결정된 일부의 병변에 대한 적어도 하나의 컨투어의 형태 및 위치를 결정하고,
    상기 결정된 일부의 병변에 대한 병변 정보를 포함하는 적어도 하나의 텍스트 영역의 위치를 결정하도록 더 구성된,
    전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 복수의 병변 중 병변 영역이 중복되는 병변들을 확인하고,
    상기 중복되는 병변들 사이의 중복된 영역의 크기, 상기 중복되는 병변들 각각의 병변 확률, 상기 중복되는 병변들 사이의 관련성 또는 상기 중복되는 병변들 중 일부가 하나의 의료 영상에서 존재할 확률 중 적어도 하나를 기초로, 상기 복수의 병변 중 일부 병변을 결정하도록 더 구성된,
    전자 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 컨투어를 가리키는 적어도 하나의 화살표를 생성하고,
    상기 적어도 하나의 컨투어 및 상기 적어도 하나의 텍스트 영역 사이를 연결하도록, 상기 생성된 적어도 하나의 화살표를 상기 의료 영상에 표시하도록 더 구성된,
    전자 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하고,
    상기 복수의 병변 각각에 대한 화살표를 생성하고,
    상기 생성된 복수의 병변 각각에 대한 화살표가 서로 교차되지 않도록, 상기 복수의 병변 각각에 대한 화살표를 상기 의료 영상에 표시하도록 더 구성된,
    전자 장치.
  17. 제15항에 있어서,
    상기 프로세서는,
    의료 영상에서 검출된 복수의 병변에 대한 병변 정보를 획득하고,
    상기 복수의 병변 각각에 대한 화살표를 생성하고,
    상기 생성된 복수의 병변 각각에 대한 화살표가 상기 복수의 병변 각각에 대응하는 컨투어와 서로 교차되지 않도록, 상기 복수의 병변 각각에 대한 화살표를 상기 의료 영상에 표시하도록 더 구성된,
    전자 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 생성된 화살표가, 상기 적어도 하나의 컨투어에 접하는 적어도 하나의 접점 영역을 결정하고,
    상기 생성된 화살표를 상기 적어도 하나의 접점 영역에 연결되도록 표시하도록 더 구성된,
    전자 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 컨투어에 접하는 복수의 접점 영역 중에서, 상기 복수의 접점 영역 사이의 거리를 기초로, 상기 적어도 하나의 접점 영역을 결정하도록 더 구성된,
    전자 장치.
  20. 제11항에 있어서,
    상기 적어도 하나의 텍스트 영역은 복수의 텍스트 영역을 포함하고,
    상기 프로세서는,
    상기 복수의 텍스트 영역 사이의 거리를 기초로 상기 복수의 텍스트 영역의 각각의 위치를 결정하도록 더 구성된,
    전자 장치.
PCT/KR2021/002426 2020-02-28 2021-02-25 의료 영상 장치 및 의료 영상 처리 방법 WO2021172921A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180017059.XA CN115176317A (zh) 2020-02-28 2021-02-25 医疗影像装置的操作方法及医疗影像电子装置
JP2022552179A JP2023515609A (ja) 2020-02-28 2021-02-25 医療映像装置及び医療映像処理方法
EP21759916.6A EP4095866A4 (en) 2020-02-28 2021-02-25 MEDICAL IMAGING APPARATUS AND METHOD FOR PROCESSING MEDICAL IMAGES
US17/895,315 US20220415013A1 (en) 2020-02-28 2022-08-25 Medical imaging device and medical image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0025445 2020-02-28
KR1020200025445A KR102216697B1 (ko) 2020-02-28 2020-02-28 의료 영상 장치 및 의료 영상 처리 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/895,315 Continuation US20220415013A1 (en) 2020-02-28 2022-08-25 Medical imaging device and medical image processing method

Publications (1)

Publication Number Publication Date
WO2021172921A1 true WO2021172921A1 (ko) 2021-09-02

Family

ID=74731405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002426 WO2021172921A1 (ko) 2020-02-28 2021-02-25 의료 영상 장치 및 의료 영상 처리 방법

Country Status (6)

Country Link
US (1) US20220415013A1 (ko)
EP (1) EP4095866A4 (ko)
JP (1) JP2023515609A (ko)
KR (2) KR102216697B1 (ko)
CN (1) CN115176317A (ko)
WO (1) WO2021172921A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102216697B1 (ko) * 2020-02-28 2021-02-17 주식회사 루닛 의료 영상 장치 및 의료 영상 처리 방법
WO2024121886A1 (ja) * 2022-12-05 2024-06-13 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011172918A (ja) * 2010-01-27 2011-09-08 Toshiba Corp 超音波診断装置、医用画像診断装置、超音波画像処理装置、医用画像処理装置、超音波診断システム及び医用画像診断システム
US20130343626A1 (en) * 2008-12-22 2013-12-26 The Medipattern Corporation Method and system of automated detection of lesions in medical images
KR20140070081A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
JP2017505204A (ja) * 2014-02-12 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 病変サイズ傾向をモニタリングするシステムおよびその動作方法
KR102216697B1 (ko) * 2020-02-28 2021-02-17 주식회사 루닛 의료 영상 장치 및 의료 영상 처리 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5426105B2 (ja) * 2008-03-27 2014-02-26 富士フイルム株式会社 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポートシステムの作動方法
JP6334927B2 (ja) * 2014-01-23 2018-05-30 三菱電機株式会社 付加情報表示装置および付加情報表示プログラム
JP6827706B2 (ja) * 2015-09-09 2021-02-10 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
JP6646395B2 (ja) * 2015-09-28 2020-02-14 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130343626A1 (en) * 2008-12-22 2013-12-26 The Medipattern Corporation Method and system of automated detection of lesions in medical images
JP2011172918A (ja) * 2010-01-27 2011-09-08 Toshiba Corp 超音波診断装置、医用画像診断装置、超音波画像処理装置、医用画像処理装置、超音波診断システム及び医用画像診断システム
KR20140070081A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
JP2017505204A (ja) * 2014-02-12 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 病変サイズ傾向をモニタリングするシステムおよびその動作方法
KR102216697B1 (ko) * 2020-02-28 2021-02-17 주식회사 루닛 의료 영상 장치 및 의료 영상 처리 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4095866A4 *

Also Published As

Publication number Publication date
JP2023515609A (ja) 2023-04-13
EP4095866A1 (en) 2022-11-30
EP4095866A4 (en) 2024-03-06
KR102216697B1 (ko) 2021-02-17
CN115176317A (zh) 2022-10-11
US20220415013A1 (en) 2022-12-29
KR20210110183A (ko) 2021-09-07

Similar Documents

Publication Publication Date Title
WO2021172921A1 (ko) 의료 영상 장치 및 의료 영상 처리 방법
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
WO2016085234A1 (en) Method and device for amending handwritten characters
WO2016017956A1 (en) Wearable device and method of operating the same
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
WO2012124844A1 (en) Method and electronic device for gesture-based key input
WO2021215730A1 (ko) 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2016036044A1 (en) Image data processing method and electronic device supporting the same
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2014038824A1 (en) Method for changing object position and electronic device thereof
WO2014058086A1 (en) Image processing device and image processing method
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2015084034A1 (ko) 이미지들을 표시하기 위한 방법 및 장치
WO2016080653A1 (en) Method and apparatus for image processing
WO2015178716A1 (en) Search method and device
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법
WO2012124837A1 (en) An apparatus and a method for gesture recognition
WO2021029582A1 (en) Co-reference understanding electronic apparatus and controlling method thereof
WO2019074185A1 (en) ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF
EP3659073A1 (en) Electronic apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21759916

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022552179

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021759916

Country of ref document: EP

Effective date: 20220825

NENP Non-entry into the national phase

Ref country code: DE