WO2019168372A1 - 의료 영상 처리 장치 및 그 동작 방법 - Google Patents

의료 영상 처리 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2019168372A1
WO2019168372A1 PCT/KR2019/002423 KR2019002423W WO2019168372A1 WO 2019168372 A1 WO2019168372 A1 WO 2019168372A1 KR 2019002423 W KR2019002423 W KR 2019002423W WO 2019168372 A1 WO2019168372 A1 WO 2019168372A1
Authority
WO
WIPO (PCT)
Prior art keywords
stencil
real
medical image
time medical
image
Prior art date
Application number
PCT/KR2019/002423
Other languages
English (en)
French (fr)
Inventor
아닐 패트와르드한케다르
라오 쿠다벨리스리니바스
수레쉬라훌
티와리아브히세크
체크하니슈브함
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Publication of WO2019168372A1 publication Critical patent/WO2019168372A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings

Definitions

  • the present disclosure relates to an apparatus for processing a medical image and a method of operating the same.
  • the present disclosure relates to a medical imaging device for obtaining a stencil guide image for optimized clinical applications and a method of operation thereof.
  • automated quantification of parameters may be performed to prevent subjectivity of the user.
  • Artificial Intelligence can be used to perform automated quantification.
  • Automated solutions that perform automated quantification using AI may require high quality medical imaging data. For example, certain parameters to be quantified may require clearly displaying the patient's anatomy in a field-of-view, and some of the parameters to be quantified may be appropriate only from the perspective specified in the clinical guide. Therefore, in order to extract parameters to be quantified for patients in the clinical process, an optimization process of the medical image is required.
  • An object of the present disclosure is to provide a medical imaging apparatus for obtaining a stencil guide image for an optimized clinical application and a method of operating the same.
  • the present disclosure also overlays a reference stencil on a real-time medical image obtained through the medical imaging apparatus, thereby determining a figure of merit, and feedbacking the figure of merit to the user.
  • the present disclosure also aims to provide a method for extracting specific quantification parameters from a real-time medical image based on the determined performance index.
  • the present disclosure also overlays a reference stencil on a real-time medical image obtained through the medical imaging apparatus, thereby determining a figure of merit, and feedbacking the figure of merit to the user.
  • the present disclosure also aims to provide a method for extracting specific quantification parameters from a real-time medical image based on the determined performance index.
  • FIG. 1 is a block diagram illustrating a configuration of a medical imaging apparatus of the present disclosure.
  • FIG. 2 is a flow diagram illustrating a method of processing a stencil image for an optimized clinical application of a medical imaging device of the present disclosure.
  • FIG. 3 is a diagram illustrating an exemplary image of a reference stencil of the present disclosure.
  • FIG. 4 is a diagram illustrating a stencil palette and a user interface (UI) for receiving a user input corresponding to the stencil palette according to an embodiment of the present disclosure.
  • UI user interface
  • 5A and 5B illustrate an embodiment in which a medical imaging apparatus of the present disclosure overlays a stencil on a real-time medical image and displays a UI indicating a figure of merit.
  • FIG. 6A illustrates an embodiment in which the medical imaging apparatus of the present disclosure acquires a stencil from a real-time medical image 600 of an object.
  • FIG. 6B illustrates an image of a selected stencil among a plurality of pre-stored stencils
  • FIG. 6C illustrates an embodiment in which a stencil is overlaid on a real time medical image of an object.
  • FIG. 7 is a block diagram illustrating a configuration of an ultrasound imaging apparatus.
  • 8A to 8C are diagrams illustrating an ultrasound imaging apparatus.
  • photographing an object through a medical imaging apparatus acquiring a live medical image of the object, within the real-time medical image Overlaying a stencil as a reference image on the anatomical structure of the object on the real-time medical image, and a degree of match between the real-time medical image and the stencil It provides a medical image processing method comprising the step of determining the figure of merit (figure of merit) based on.
  • the stencil may be obtained by using a pre-sized stencil designed based on information related to an object, and a medical image photographing method performed on any one of a plurality of objects including the object.
  • the method may be acquired through any one of a method of obtaining through the image and a method drawn by a user using the medical imaging apparatus.
  • a plurality of stencils are stored in the data storage, and the method includes at least one parameter to be quantified from a real time medical image, a type of medical imaging apparatus used to obtain the real time medical image, and the The method may further include selecting the stencil among the plurality of pre-stored stencils based on at least one type of medical imaging apparatus used to acquire the stencil.
  • the size or position of the stencil may be adjusted based on at least one of a variation in gender.
  • the method may further include adjusting the size or position of the stencil based on a user input using the medical imaging apparatus.
  • overlaying the stencil on the real-time medical image may include analyzing the real-time medical image and overlaying the stencil at a desired position on the real-time medical image, at least one extracted from the real-time medical image.
  • the method may be performed by any one of a method of overlaying the stencil based on a parameter, and a method of directly overlaying the stencil on the real-time medical image based on a received user input.
  • the method may include normalized cross correlation, divergence based on statistical modeling of the real-time medical image and the stencil, mutual information, between the real-time medical image and the stencil.
  • the method may further include determining a degree of agreement between the real-time medical image and the stencil based on at least one of the quantized distance and the similarity between the real-time medical image and the stencil.
  • a display unit a memory for storing at least one instruction for controlling the operation of the medical imaging apparatus, and at least one stored in the memory
  • a processor configured to perform an operation according to a command of the processor, wherein the processor photographs an object, obtains a live image of the object, and relates to an anatomical structure of the object in the real-time medical image.
  • the processor may be configured to acquire a method using a pre-sized stencil designed based on information related to an object, and to perform a medical image photographing method performed on any one of a plurality of objects including the object.
  • the stencil may be obtained using any one of a method of obtaining through the image and a method of drawing by the user using the medical imaging apparatus.
  • the medical imaging apparatus may further include a storage configured to store a plurality of stencils for a plurality of objects, and the processor may be used to obtain at least one parameter to be quantified from the real-time medical image, the real-time medical image.
  • the stencil may be selected from among the plurality of pre-stored stencils based on at least one of a type of a medical imaging apparatus and a type of medical imaging apparatus used to acquire the stencil.
  • the processor may include at least one parameter to be extracted from the real-time medical image, a source of the stencil, information related to the object, observation from the real-time medical image, and an object different from the object.
  • the size or position of the stencil may be adjusted based on at least one of a variation in age and gender of the liver.
  • the medical image processing apparatus may further include a user input unit configured to receive a user input for adjusting any one of a size or a position of the stencil, and the processor may further include a user input unit based on the user input received through the user input unit. You can adjust either the size or the position.
  • the processor may analyze a real-time medical image and overlay the stencil at a desired position on the real-time medical image, overlay the stencil based on at least one parameter to be extracted from the real-time medical image, and
  • the stencil may be overlaid on the real-time medical image by using any one of methods of directly overlaying the stencil on the real-time medical image based on the received user input.
  • the processor may include normalized cross correlation, divergence based on statistical modeling of the real-time medical image and the stencil, mutual information, between the real-time medical image and the stencil.
  • the degree of correspondence between the real-time medical image and the stencil may be determined based on at least one of the quantized distance and the similarity between the real-time medical image and the stencil.
  • an embodiment of the present disclosure provides a computer program product including a computer-readable storage medium, wherein the storage medium photographs an object through a medical imaging apparatus, Acquiring a live image relating to the object; overlaying a stencil as a reference image on the anatomical structure of the object in the real time medical image on the real time medical image; And determining a figure of merit based on a degree of match between the real-time medical image and the stencil.
  • the term 'module' or 'unit' may be implemented in one or a combination of two or more of software, hardware, or firmware, and a plurality of 'module' or 'unit' It is also possible that one element or module includes a plurality of elements.
  • the term 'medical imaging device' refers to a medical imaging modality for acquiring a medical image from an object, and includes an ultrasound imaging device, a CT scanner, an ECG scanner, and an electroencephalogram. EEG scanner, MRI scan apparatus, etc. may be included.
  • the medical imaging apparatus is not limited to the above-described example.
  • an 'object' is an object to be photographed, and may include a person, an animal, or a part thereof.
  • the subject may comprise part of the body (organ or organ; organ) or phantom or the like.
  • 'user' may be a doctor, a clinician, a nurse, a clinical pathologist, a medical imaging expert, or the like, and may be a technician who repairs a medical device, but is not limited thereto.
  • FIG. 1 is a block diagram illustrating a configuration of a medical imaging apparatus 100 of the present disclosure.
  • the medical imaging apparatus 100 may include a controller 110, a display 120, a storage 130, and a user input 140.
  • the medical imaging apparatus 100 may capture an object, acquire a real time medical image of the object, and display the real time medical image.
  • the medical imaging apparatus 100 may be, for example, an ultrasound imaging apparatus, a CT scanner, an ECG scanner, an EEG scanner, and an MRI scan apparatus. It can be either.
  • the medical imaging apparatus is not limited to the above-described example.
  • the medical imaging apparatus 100 when the medical imaging apparatus 100 is an ultrasound imaging apparatus, the medical imaging apparatus 100 may acquire a real-time ultrasound image and display the same on the display 120.
  • the controller 110 may control overall operations of the display 120, the storage 130, and the user input 140, and a signal flow between internal components of the medical imaging apparatus 100.
  • the controller 110 may include a memory 114 for storing at least one of a program, an algorithm, and data for performing a function of the medical imaging apparatus 100, and a processor for processing a program, algorithm, or data stored in the memory 114 ( It may be configured as a hardware unit including a processor (112).
  • the controller 110 may be configured as a processor 112 including at least one of a central processing unit, a microprocessor, and a graphic processing unit.
  • the processor 112 may photograph the object, acquire a live medical image of the object, and overlay a stencil on the obtained real medical image.
  • the stencil may serve as a reference for the real-time medical image of the object acquired by the processor 112.
  • the stencil may be a reference image regarding the anatomical structure of the subject in the real time medical image.
  • Stencils can be, for example, images, graphics, animations, outlines, shapes, and the like.
  • the stencil may be obtained from an object being captured by the medical imaging apparatus 100 and stored in the data storage device.
  • the stencil may be stored in the storage 130, but is not limited thereto.
  • the stencil may be stored in an external data storage device, such as a database, file server, or cloud.
  • the stencil may be provided to authorized persons, such as users, service personnel, technicians, physicians, clinicians, and the like.
  • the processor 112 may automatically select a stencil previously stored in the storage 130 or an external data storage device.
  • the processor 112 is necessary for the type of the medical imaging apparatus 100, object information (eg, sex, age, weight, height, etc. of the patient), a body part of the object to be photographed, and the acquired real-time medical image.
  • the stencil may be selected based on at least one of data, information, and specific quantification parameters to be measured in the acquired real-time medical image.
  • the stencils selected by the processor 112 may be pre-sized stencils that are pre-sized based on the age, gender, etc. of the object currently being photographed.
  • the stencil may be manually selected through input from an authorized person.
  • the user input unit 140 may receive a user input for selecting any one of pre-stored stencils from a user such as a sonographer, a technician, a doctor, a clinician, an operator, and the like.
  • the processor 112 may select one of the stencils stored in the storage 130 or the external data storage device based on the user input received through the user input unit 140.
  • the stencil may be drawn by the user.
  • the stencil and the real-time medical image may be obtained through the same medical imaging apparatus 100, but may also be obtained through different medical imaging apparatuses 100.
  • the stencil may be an ultrasound imaging device or other type of medical image modality (eg, CT scanner, ECG scanner). It may be obtained by performing imaging through an EEG scanner, an MRI scan apparatus, or the like.
  • the processor 112 may apply relative deformation to the stencil based on specific features detected in the real-time medical image. For example, when the age and gender of the object acquired through the real-time medical image are different from the subject obtained the stencil, it is necessary to adjust the size or position of the stencil.
  • the processor 112 may adapt the stencil to a predefined size based on age, gender, observation from a real-time medical image, and the like of different objects.
  • the processor 112 may determine the stencil based on at least one parameter of the source of stencil, object information (eg, patient's age, gender, etc.), and observation of a real-time medical image. The size or position can be adjusted automatically.
  • the stencil may be manually adjusted by scaling according to a user input input through the user input unit 140.
  • the processor 112 may overlay the stencil on a real-time medical image.
  • the processor 112 allows the user to overlay the stencil at a suitable location on the real time medical image.
  • the processor 112 analyzes a live medical image, determines a location for placing a stencil, and analyzes the stencil in a real-time medical image using image analysis, video analysis, or the like, using known image processing methods. It can automatically overlay on the determined position.
  • the processor 112 may overlay the stencil on the real time medical image based on a parameter to be extracted from the real time medical image.
  • the present invention is not limited thereto, and the processor 112 may overlay the stencil on the real-time medical image based on the user input received through the user input unit 140.
  • the stencil may be considered a contour or binary mask.
  • the processor 112 may determine a figure of merit by overlaying the stencil on the acquired real-time medical image.
  • the performance index may indicate a degree of match between the real-time medical image and the stencil.
  • the processor 112 may determine the degree of matching based on the degree of alignment between the real-time medical image and the stencil.
  • the processor 112 may determine a difference based on at least one of statistical modeling, mutual information, and normalized cross-correlation of real-time medical images and stencils. divergence) can be used to determine the figure of merit.
  • the processor 112 may determine the degree of matching based on the similarity between the real-time medical image and the stencil.
  • the processor 112 may determine a parameter that can be quantified from a real-time medical image based on the performance index, and provide a user with feedback regarding the determined parameter.
  • the parameter may include, but is not limited to, at least one of a volume, an area, a major axis, a minor axis, and a diameter of one or more objects visualized in the real-time medical image.
  • the processor 112 may propose a method that may be used by the user to quantify the parameter.
  • the processor 112 may quantify the parameter using either a manual measurement method or an automatic measurement method using artificial intelligence (AI).
  • AI artificial intelligence
  • the display 120 may display a real time medical image.
  • the display unit 120 may include, for example, a CRT display, an LCD display, a PDP display, an OLED display, an FED display, an LED display, a VFD display, a digital light processing (DLP) display, a flat panel display, a 3D display, And a physical device including at least one of a transparent display, but is not limited thereto.
  • the display 120 may be configured as a touch screen including a touch interface.
  • the display unit 120 may be a component integrated with the user input unit 140 configured as a touch panel.
  • the display 120 may display the stencil and the stencil overlaid on the real-time medical image. However, the present disclosure is not limited thereto, and the display 120 may display at least one of a performance index determined by the processor 112, quantified parameters, and a method of quantifying the parameter. In one embodiment, the display 120 may display the performance index using at least one of letters, numbers, symbols, and images.
  • the storage unit 130 may store different objects or a plurality of stencils of the same object.
  • the storage unit 130 may be, for example, volatile memory (for example, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.), nonvolatile memory (for example, one time programmable ROM). ), PROM (Programmable ROM), EPROM (Erasable and Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM, etc.), a hard disk drive (HDD), or a solid state drive (SSD). It may include.
  • volatile memory for example, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.
  • nonvolatile memory for example, one time programmable ROM.
  • PROM Programmable ROM
  • EPROM Erasable and Programmable ROM
  • EEPROM Electrical Erasable and Programmable ROM
  • Mask ROM Mask ROM
  • Flash ROM Flash
  • the user input unit 140 may receive a user input for adjusting any one of the size or position of the stencil.
  • the user input unit 140 may be configured as a control panel including hardware elements such as a key pad, a mouse, a trackball, a touch pad, and a jog switch, but is not limited thereto.
  • the user input unit 140 may be configured as a touch screen that receives a touch input and displays a graphical user interface (GUI).
  • GUI graphical user interface
  • the medical imaging apparatus 100 may apply a stencil to determine a parameter that can be quantified using a real-time medical image. This overcomes the requirement for extensive imaging data for automatic quantification of parameters.
  • the medical imaging apparatus 100 may include fewer or more components.
  • the name of each component is used for the purpose of description only, and does not limit the scope of the present disclosure.
  • FIG. 2 is a flow diagram illustrating a method of processing a stencil image for an optimized clinical application of a medical imaging device of the present disclosure.
  • the steps of the flowchart shown in FIG. 2 may be performed in the order presented, in a different order or simultaneously.
  • some operations shown in FIG. 2 may be omitted.
  • step S210 the medical imaging apparatus acquires a live medical image of the object.
  • step S210 may be performed by capturing at least one real-time medical image of ultrasound imaging, magnetic resonance imaging, computed tomography, electrocardiogram, and electroencephalogram.
  • ultrasound imaging magnetic resonance imaging
  • computed tomography computed tomography
  • electrocardiogram electrocardiogram
  • electroencephalogram electroencephalogram
  • the medical imaging apparatus overlays a stencil as a reference image of the anatomical structure of the object in the real-time medical image on the real-time medical image.
  • the stencil may be at least one of an image, graphics, animation, outline, shape, and the like, but is not limited thereto.
  • the stencil may be obtained from the subject through a medical imaging device.
  • the stencil may be an image obtained by photographing organs of a plurality of different objects, for example, a plurality of patients.
  • the stencil may be a pre-sized image designed based on information such as sex, age, weight, height, etc. of the subject.
  • the stencil may be drawn by a user obtaining a real-time medical image by performing medical imaging on the object.
  • the stencil may be stored in a storage unit of a medical imaging apparatus or an external data storage device such as a database, a file server, or a cloud. Stencils may be provided to authorized users, such as service personnel technicians, doctors, clinicians, and the like.
  • the medical image modality from which the real-time medical image and the stencil are obtained may be the same or different.
  • the stencil may be obtained through ultrasound imaging or another kind of medical imaging method.
  • selecting the stencil may be further performed before step S220 is performed.
  • the stencil may be stored in a storage unit in the medical imaging apparatus or in an external data storage device.
  • the stencil may be selected manually or automatically by the user.
  • the stencil may include the type of medical imaging device, information related to the subject (eg, gender, age, weight, height, etc.), body part of the photographed subject, data / information required from the acquired real-time medical image, and It may be selected based on at least one of the parameters to be quantified from the real-time medical image (eg, volume, area, major axis, short axis, diameter of the anatomical structure of the object appearing in the real-time medical image).
  • the stencil may be automatically overlaid on the real time medical image by the medical imaging device.
  • the medical imaging device overlays the stencil on the real-time medical image based on a parameter (eg, volume, area, major axis, short axis, diameter, etc. of the object in the real-time medical image) to be quantified from the real-time medical image. can do.
  • a parameter eg, volume, area, major axis, short axis, diameter, etc. of the object in the real-time medical image
  • the stencil may be overlaid on the desired location in the real time medical image.
  • the medical imaging apparatus may automatically overlay the stencil on the real-time medical image by analyzing the real-time medical image using a known image processing technique such as image analysis, video analysis, etc., and determining a position for placing the stencil.
  • Overlaying the stencil on the real-time medical image may include adjusting the stencil.
  • step S220 may include adjusting a stencil.
  • the medical imaging device may adjust the size or position of the stencil based on specific features to be detected and / or quantified from the real-time medical image.
  • the medical imaging device may adjust the stencil by applying relative deformation to the stencil based on specific parameters to be detected and / or quantified from the acquired real-time medical image. Stencils for other subjects, ie, other patients, may be adjusted to a predefined size based on age, gender, observation of real-time medical images, and the like.
  • the medical imaging device may automatically adjust the stencil based on at least one parameter of the source of the stencil, patient information, and observation from a real-time medical image.
  • the medical imaging apparatus may manually adjust the stencil by scaling the stencil based on user input.
  • the medical imaging device may generate a real-time medical image of the stencil without adjustment for the stencil. It can be overlayed directly onto it.
  • the medical imaging apparatus determines a figure of merit based on a degree of match between the real-time medical image and the stencil.
  • the figure of merit may correspond to the degree of agreement between the real-time medical image and the stencil of the subject.
  • the medical imaging device may determine the performance index by overlaying the stencil on a real time medical image.
  • the stencil may be considered as an outline or binary mask overlaid on the real time medical image.
  • the figure of merit may refer to the degree of agreement between the real-time medical image and the stencil.
  • the medical imaging device comprises normalized cross correlation, divergence based on statistical modeling of real time medical images and stencils, mutual information, quantitative distance between real time medical images and stencils, and real time medical care.
  • the match may be determined based on at least one of the similarities between the image and the stencil.
  • the degree of matching between the real time medical image and the stencil may be based on the alignment of the real time medical image and the stencil.
  • Step S230 may include determining a parameter to be quantified from the real-time medical image based on the performance index.
  • the parameters to be quantified include, but are not limited to, the volume, area, major axis, minor axis, diameter, etc. of one or more objects visualized in the real-time medical image.
  • the method shown in FIG. 2 may further include quantifying the parameters manually or using artificial intelligence (AI), based on the figure of merit.
  • AI artificial intelligence
  • FIG 3 is an illustration of an exemplary image of a reference stencil 300 of the present disclosure.
  • the reference stencil 300 may be at least one of an image, an outline, a graphic, an animation, and a shape of an anatomical structure included in a real-time medical image of an object.
  • the medical imaging apparatus may overlay the reference stencil 300 on a real-time medical image about the object and determine a performance index based on a degree of agreement between the reference stencil and the real-time medical image.
  • FIG. 4 is a diagram illustrating a stencil palette 410 and a user interface 420 for receiving a user input corresponding to the stencil palette 410 according to one embodiment of the present disclosure.
  • the stencil palette 410 includes a plurality of stencils 1 to 4, and a user may select one of the stencils 1 to 4 included in the stencil palette 410. have.
  • the user interface 420 may receive a user input corresponding to each of the plurality of stencils 1 to 4.
  • 5A and 5B illustrate an embodiment in which a medical imaging apparatus of the present disclosure overlays a stencil on a real-time medical image and displays a UI indicating a figure of merit.
  • the display unit 500 which is a component of the medical imaging apparatus, may display a real-time medical image 510, a stencil 520, and a performance index UI 530 of an object.
  • the display 500 overlays the stencil 520 on the real-time medical image 510 of the object, and displays the performance index determined according to the degree of matching between the real-time medical image 510 and the stencil 520.
  • Indicative figure of merit UI 530 may be displayed.
  • the figure of merit UI 530 may indicate the value of the figure of merit as the number of shaded bar graphs. However, it is not limited to this.
  • the display 500 may display a real-time medical image 512, a stencil 522, and a performance index UI 532 of an object.
  • the display 500 overlays the stencil 522 on the real-time medical image 512 of the object, and displays a performance index determined according to the degree of matching between the real-time medical image 512 and the stencil 522.
  • Indicative performance index UI 532 may be displayed.
  • the degree of correspondence between the real-time medical image 510 and the stencil 520 in the embodiment illustrated in FIG. 5A may correspond to the real-time medical image 512 of the embodiment illustrated in FIG. 5B. It may be less than the degree of agreement between the stencils (522). That is, the performance index in the embodiment shown in FIG. 5B may be higher than the performance index in the embodiment shown in FIG. 5A.
  • the figure of merit UIs 530 and 532 are shown as the number of bar graphs, but this is merely illustrative and is not limited to the bar graph UI.
  • the display 500 may display a UI that represents the value of the performance index using at least one of letters, numbers, symbols, and images.
  • FIG. 6A illustrates an embodiment in which the medical imaging apparatus of the present disclosure acquires a stencil from a real-time medical image 600 of an object.
  • the real-time medical image 600 may be a real-time ultrasound image obtained by ultrasound imaging a shoulder portion of an object.
  • the real-time medical image 600 may include contours about subcutaneous fat, deltoid, and supraspinatus tendon of the shoulder region.
  • a user using the medical imaging apparatus may obtain a clinical evaluation of rotator cuff injury from the real-time medical image 600.
  • FIG. 6B illustrates an image of a selected stencil 610 among a plurality of pre-stored stencils
  • FIG. 6C illustrates an embodiment in which a stencil is overlaid on a real-time medical image of an object.
  • the stencil 610 may be stored in the storage unit 130 (see FIG. 1) of the medical imaging apparatus or in an external data storage device such as a database, a file server, and a cloud. In one embodiment, the stencil 610 may be automatically selected by the medical imaging device or manually by the user. Description of the selection of the stencil 610 has been described in Figures 1 and 2, overlapping description will be omitted.
  • the stencil 610 shown in FIG. 6B is an example stencil image of the shoulder area for overlaying on a real-time medical image 600 (see FIG. 6A) of the shoulder area shown in FIG. 6A, and the subcutaneous fat of the shoulder area. ), Deltoids, and humoral heads.
  • the stencil 610 may be at least one of an image, a graphic, an animation, an outline, a shape, etc. obtained from an ultrasound image, but is not limited thereto.
  • the stencil 610 may be a contour image of a shoulder region obtained through a medical image modality other than an ultrasound imaging device, for example, magnetic resonance imaging or computed tomography.
  • the medical imaging apparatus may overlay the stencil 610 illustrated in FIG. 6B on the real-time medical image 600, that is, the real-time ultrasound image of the shoulder region.
  • the medical imaging apparatus may determine the degree of matching between the stencil 610 and the real time medical image 600 through the stencil 610 overlaid on the real time medical image 600, and determine a performance index based on the determined degree of matching.
  • the medical imaging device may determine a parameter to be quantified for the diagnostic requirement based on the performance index.
  • 1 through 6C may be used to provide an image acquisition guide having a nominal change compared to a conventional medical imaging apparatus.
  • the above embodiments can simplify the workflow of image-based quantification.
  • the embodiments are used to ensure that an appropriate medical image is obtained, which can be optimal for obtaining parameters for quantification.
  • FIG. 7 is a block diagram illustrating a configuration of the ultrasound imaging apparatus 1000 when the medical imaging apparatus of the present disclosure is the ultrasound imaging apparatus 1000.
  • the ultrasound imaging apparatus 1000 may include a probe 200, an ultrasound transceiver 1100, a controller 1200, an image processor 1300, a display unit 1400, a storage unit 1500, a communication unit 1600, and an input unit ( 1700).
  • the ultrasound imaging apparatus 1000 may be implemented not only in a cart type but also in a portable type.
  • Examples of the portable ultrasound imaging apparatus may include a smart phone, a laptop computer, a PDA, a tablet PC, and the like including a probe and an application, but are not limited thereto.
  • the probe 200 may include a plurality of transducers.
  • the plurality of transducers may transmit an ultrasonic signal to the object 10 according to a transmission signal applied from the transmitter 1130.
  • the plurality of transducers may receive the ultrasonic signal reflected from the object 10 to form a received signal.
  • the probe 200 may be integrally implemented with the ultrasound imaging apparatus 1000 or may be implemented as a separate type that is connected to the ultrasound imaging apparatus 1000 by wire or wireless.
  • the ultrasound imaging apparatus 1000 may include one or a plurality of probes 200 according to an implementation form.
  • the controller 1200 controls the transmitter 1130 to form a transmission signal to be applied to each of the plurality of transducers in consideration of positions and focus points of the plurality of transducers included in the probe 200.
  • the controller 1200 converts the received signal received from the probe 200 into analog and digital, and considers the positions and focal points of the plurality of transducers, and adds the digitally converted received signal to generate the ultrasonic data. To control.
  • the image processor 1300 generates an ultrasound image by using the ultrasound data generated by the ultrasound receiver 1150.
  • the display 1400 may display the generated ultrasound image and various information processed by the ultrasound imaging apparatus 1000.
  • the ultrasound imaging apparatus 1000 may include one or a plurality of display units 1400 according to an implementation form.
  • the display unit 1400 may be implemented as a touch screen in combination with the touch panel.
  • the controller 1200 may control overall operations of the ultrasound imaging apparatus 1000 and signal flow between internal components of the ultrasound imaging apparatus 1000.
  • the controller 1200 may include a memory that stores a program or data for performing a function of the ultrasound imaging apparatus 1000, and a processor that processes the program or data.
  • the controller 1200 may receive a control signal from the input unit 1700 or an external device to control the operation of the ultrasound imaging apparatus 1000.
  • the ultrasound imaging apparatus 1000 may include a communication unit 1600, and may be connected to an external device (eg, a server, a medical device, or a portable device (smartphone, tablet PC, wearable device, etc.)) through the communication unit 1600.
  • an external device eg, a server, a medical device, or a portable device (smartphone, tablet PC, wearable device, etc.)
  • a portable device smarttphone, tablet PC, wearable device, etc.
  • the communicator 1600 may include one or more components that enable communication with an external device, and may include, for example, at least one of a short range communication module, a wired communication module, and a wireless communication module.
  • the communication unit 1600 may transmit and receive control signals and data with an external device.
  • the storage unit 1500 may store various data or programs for driving and controlling the ultrasound imaging apparatus 1000, input / output ultrasound data, and acquired ultrasound images.
  • the input unit 1700 may receive a user input for controlling the ultrasound imaging apparatus 1000.
  • the user's input may include a button, a keypad, a mouse, a trackball, a jog switch, a knob, a touch input, a touch pad or a touch screen input, a voice input, a motion input, a biometric information input ( For example, iris recognition, fingerprint recognition, etc.) may be included, but is not limited thereto.
  • FIGS. 8A to 8C An example of the ultrasound imaging apparatus 1000 according to an embodiment is described below with reference to FIGS. 8A to 8C.
  • FIGS. 8A to 8C are diagrams illustrating an ultrasound imaging apparatus, according to an exemplary embodiment.
  • the ultrasound imaging apparatus 1000a and 1000b may include a main display unit 1210 and a sub display unit 1220.
  • One of the main display unit 1210 and the sub display unit 1220 may be implemented as a touch screen.
  • the main display unit 1210 and the sub display unit 1220 may display various types of information processed by the ultrasound image or the ultrasound imaging apparatus 1000a and 1000b.
  • the main display unit 1210 and the sub display unit 1220 are implemented as a touch screen, and by providing a GUI, it is possible to receive data for controlling the ultrasound imaging apparatus (1000a, 1000b) from the user.
  • the main display unit 1210 may display an ultrasound image
  • the sub display unit 1220 may display a control panel for controlling the display of the ultrasound image in a GUI form.
  • the sub display unit 1220 may receive data for controlling the display of an image through a control panel displayed in a GUI form.
  • the ultrasound imaging apparatus 1000a or 1000b may control the display of the ultrasound image displayed on the main display unit 1210 using the input control data.
  • the ultrasound imaging apparatus 1000b may further include a control panel 1650 in addition to the main display unit 1210 and the sub display unit 1220.
  • the control panel 1650 may include a button, a trackball, a jog switch, a knob, and the like, and may receive data for controlling the ultrasound imaging apparatus 1000b from a user.
  • the control panel 1650 may include a Time Gain Compensation (TGG) button 1710, a Freeze button 1720, and the like.
  • TGG Time Gain Compensation
  • the TGC button 1710 is a button for setting the TGC value for each depth of the ultrasound image.
  • the ultrasound imaging apparatus 1000b may maintain a state in which the frame image of the corresponding time point is displayed.
  • buttons, trackballs, jog switches, knobs, and the like included in the control panel 1650 may be provided as a GUI to the main display unit 1210 or the sub display unit 1220.
  • the ultrasound imaging apparatus 1000c may be implemented as a portable type.
  • Examples of the portable ultrasound imaging apparatus 1000c may include a smart phone, a laptop computer, a PDA, a tablet PC, and the like including a probe and an application, but are not limited thereto.
  • the ultrasound imaging apparatus 1000c may include a probe 200 and a main body 1400, and the probe 200 may be connected to one side of the main body 1400 by wire or wirelessly.
  • the body 1400 may include a touch screen 1450.
  • the touch screen 1450 may display an ultrasound image, various information processed by the ultrasound imaging apparatus, a GUI, and the like.
  • Embodiments included in the present disclosure may be implemented as an S / W program including instructions stored in a computer-readable storage media.
  • the computer is a device capable of calling stored instructions from a storage medium and operating according to the disclosed embodiments according to the called instructions, and may include a medical imaging apparatus according to the disclosed embodiments.
  • the computer readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish that the data is stored semi-permanently or temporarily on the storage medium.
  • the medical imaging apparatus and the method of operating the same according to the disclosed embodiments may be provided in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product may include a S / W program and a computer readable storage medium storing the S / W program.
  • a computer program product may include a manufacturer of a medical imaging device or a product (eg, a downloadable app) in the form of a software program distributed electronically through an electronic market (eg, Google Play Store, App Store). Can be.
  • an electronic market eg, Google Play Store, App Store.
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server that temporarily stores a SW program.
  • the computer program product may include a storage medium of a server or a storage medium of a device in a system consisting of a server and a device (eg, a medical imaging device).
  • a third device eg, a smartphone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the S / W program itself transmitted from the server to the device or the third device, or transmitted from the third device to the terminal.
  • one of the server, the device and the third device may execute a computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the device, and the third device may execute a computer program product to distribute and perform the method in accordance with the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server, etc.
  • a server may execute a computer program product stored on the server to control a device in communication with the server to perform the method according to the disclosed embodiments.
  • the third device may execute a computer program product to control the device in communication with the third device to perform the method according to the disclosed embodiments.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third apparatus may execute the provided computer program product in a preloaded state to perform the method according to the disclosed embodiments.
  • the disclosed embodiments may be implemented in the form of a computer readable recording medium storing instructions and data executable by a computer.
  • the instruction may be stored in the form of program code, and when executed by a processor, may generate a predetermined program module to perform a predetermined operation.
  • the instructions may, when executed by a processor, perform certain operations of the disclosed embodiments.
  • the disclosed embodiments may be implemented by, for example, at least one of a Very High Speed Integrated Circuit Hardware Description Language (VHDL), another programming language or VHDL, or other software module running on at least one hardware device.
  • Hardware devices can be any type of portable device that can be programmed.
  • the apparatus may include, for example, the following means.
  • the apparatus may comprise, for example, an ASIC or a combination of hardware and software, eg, ASIC and FPGA, or at least one memory having at least one microprocessor and software module.
  • the method embodiments described herein may be implemented in part in hardware and in part in software.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

최적화된 임상 애플리케이션을 위하여 스텐실 가이드 이미지를 획득하는 의료 영상 장치 및 그 동작 방법을 제공한다. 일 실시예에서, 의료 영상 장치는 대상체에 관한 실시간 의료 영상 상에 스텐실을 오버레이(overlay)하고, 스텐실과 실시간 의료 영상 간의 일치 정도에 기초하여 성능 지수(figure of merit)를 결정하고, 성능 지수를 사용자에게 피드백으로 제공할 수 있다.

Description

의료 영상 처리 장치 및 그 동작 방법
본 개시는 의료 영상을 처리하는 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시는 최적화된 임상 애플리케이션을 위해 스텐실 가이드 이미지를 획득하는 의료 영상 장치 및 그 동작 방법에 관한 것이다.
최근에는 초음파 영상 장치와 같이 저비용 실시간 의료 영상 장치(low-cost real-time medical imaging modalities)들이 널리 보급되고 있다. 이와 같은 의료 영상 장치는 고품질의 의료 영상을 촬영하기 위한 가이드(guidance)를 필요로 하는 사용자에 의해 점점 더 많이 사용되고 있다. 의료 영상 장치를 통해 제공되는 가이드는 의료 데이터를 획득하는 사용자가 사용 방법을 제대로 이해할 수 있어야 한다. 또한, 가이드는 방해되지 않아야 한다(non-instrusive). 의료 영상 장치를 통해 획득된 환자에 관한 의료 영상의 품질은 필요한 정량화 파라미터를 추출하기 위하여 최적화될 필요가 있다.
의료 영상 장치를 통한 진단에서, 사용자의 주관을 방지하기 위하여 파라미터의 자동화된 정량화가 수행될 수 있다. 인공 지능(Artificial Intelligence, AI)를 사용하여 자동화된 정량화를 수행할 수 있다. AI를 사용하여 자동화된 정량화를 수행하는 자동화된 솔루션은 고품질의 의료 영상 데이터가 필요할 수 있다. 예를 들어, 정량화 될 특정 파라미터들은 환자의 해부학적 구조를 시야(field-of-view) 내에 명확하게 표시하는 것을 요구할 수 있고, 정량화 될 파라미터들 중 일부는 임상 가이드에 명시된 관점에서만 적절할 수 있다. 따라서, 임상 과정에서 환자에 관하여 정량화될 파라미터를 추출하기 위해서는 의료 영상의 최적화 과정이 필요하다.
본 개시는 최적화된 임상 애플리케이션을 위하여 스텐실 가이드 이미지를 획득하는 의료 영상 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
본 개시는 또한, 의료 영상 장치를 통해 획득한 실시간 의료 영상 상에 기준 스텐실(reference stencil)을 오버레이(overlay)하고, 이를 통해 성능 지수(figure of merit)를 결정하고, 성능 지수를 사용자에게 피드백(feedback)으로 제공하는 의료 영상 장치 및 그 동작 방법을 목적으로 한다. 본 개시는 또한, 결정된 성능 지수를 기초로 실시간 의료 영상으로부터 특정 정량화 파라미터를 추출하는 방법을 제공하는 것을 목적으로 한다.
본 개시는 또한, 의료 영상 장치를 통해 획득한 실시간 의료 영상 상에 기준 스텐실(reference stencil)을 오버레이(overlay)하고, 이를 통해 성능 지수(figure of merit)를 결정하고, 성능 지수를 사용자에게 피드백(feedback)으로 제공하는 의료 영상 장치 및 그 동작 방법을 목적으로 한다. 본 개시는 또한, 결정된 성능 지수를 기초로 실시간 의료 영상으로부터 특정 정량화 파라미터를 추출하는 방법을 제공하는 것을 목적으로 한다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 의료 영상 장치의 구성을 도시한 블록도이다.
도 2는 본 개시의 의료 영상 장치가 최적화된 임상 애플리케이션을 위하여 스텐실 이미지를 처리하는 방법을 도시한 흐름도이다.
도 3는 본 개시의 기준 스텐실(reference stencil)의 예시적인 이미지를 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 스텐실 팔레트(stencil palette) 및 스텐실 팔레트에 대응되는 사용자 입력을 수신하는 사용자 인터페이스(User Interface, UI)를 도시한 도면이다.
도 5a 및 도 5b는 본 개시의 의료 영상 장치가 실시간 의료 영상 상에 스텐실을 오버레이하고, 성능 지수(figure of merit)를 나타내는 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 6a는 본 개시의 의료 영상 장치가 대상체에 관한 실시간 의료 영상(600)으로부터 스텐실을 획득하는 실시예를 도시한 도면이다.
도 6b는 기저장된 복수의 스텐실 중 선택된 스텐실에 관한 이미지를 도시하고, 도 6c는 대상체에 관한 실시간 의료 영상 상에 스텐실이 오버레이된 실시예를 도시한 도면이다.
도 7은 초음파 영상 장치의 구성을 도시한 블록도이다.
도 8a 내지 도 8c는 초음파 영상 장치를 나타내는 도면들이다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서 본 개시의 일 실시예는, 의료 영상 장치를 통해 대상체를 촬영하여, 상기 대상체에 관한 실시간 의료 영상(live image)을 획득하는 단계, 상기 실시간 의료 영상 내의 상기 대상체의 해부학적 구조에 관한 기준 이미지(reference image)로서의 스텐실(stencil)을 상기 실시간 의료 영상 상에 오버레이(overlay)하는 단계, 및 상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도(a degree of match)에 기초하여 성능 지수(figure of merit)를 결정하는 단계를 포함하는, 의료 영상 처리 방법을 제공한다.
예를 들어, 상기 스텐실은 대상체와 관련된 정보에 기초하여 설계된 사전 크기 스텐실(pre-sized stencil)에 의해 획득하는 방법, 상기 대상체를 포함하는 복수의 대상체 중 어느 하나에 대하여 수행된 의료 영상 촬영 방법을 통해 획득하는 방법 및 상기 의료 영상 장치를 사용하는 사용자에 의해 그려지는 방법 중 어느 하나의 방법을 통해 획득될 수 있다.
예를 들어, 복수의 스텐실이 데이터 저장부 내에 저장되어 있고, 상기 방법은 실시간 의료 영상으로부터 정량화될 적어도 하나의 파라미터, 상기 실시간 의료 영상을 획득하는데 사용되는 의료 영상 장치의 종류(type), 및 상기 스텐실을 획득하는데 사용되는 의료 영상 장치의 종류 중 적어도 하나에 기초하여 기저장된 상기 복수의 스텐실 중 상기 스텐실을 선택하는 단계를 더 포함할 수 있다.
예를 들어, 상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터, 상기 스텐실의 소스(source), 상기 대상체와 관련된 정보, 상기 실시간 의료 영상으로부터의 관찰(observation), 및 상기 대상체와 다른 대상체 간의 나이 및 성별(gender)의 차이(variation) 중 적어도 하나에 기초하여 상기 스텐실의 크기 또는 위치를 조정(adapting)할 수 있다.
예를 들어, 상기 방법은 의료 영상 장치를 사용하는 사용자의 입력에 기초하여 상기 스텐실의 크기 또는 위치를 조정하는 단계를 더 포함할 수 있다.
예를 들어, 상기 스텐실을 상기 실시간 의료 영상 상에 오버레이하는 단계는, 상기 실시간 의료 영상을 분석하여 상기 스텐실을 상기 실시간 의료 영상상의 원하는 위치에 오버레이하는 방법, 상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터에 기초하여 상기 스텐실을 오버레이하는 방법, 및 수신된 사용자 입력에 기초하여 상기 스텐실을 상기 실시간 의료 영상 상에 직접 오버레이하는 방법 중 어느 하나에 의해 수행될 수 있다.
예를 들어, 상기 방법은 정규화된 교차 상관(normalized cross correlation), 상기 실시간 의료 영상과 상기 스텐실의 통계적 모델링에 기초한 차이(divergence), 상호 정보(mutual information), 상기 실시간 의료 영상과 상기 스텐실 사이의 정량화된 거리, 상기 실시간 의료 영상과 상기 스텐실 간의 유사성(similarity) 중 적어도 하나에 기초하여 상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도를 결정하는 단계를 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서 본 개시의 일 실시예는, 디스플레이부, 상기 의료 영상 장치의 동작을 제어하는 적어도 하나의 명령어(instruction)를 저장하는 메모리, 및 상기 메모리에 저장된 적어도 하나의 명령어에 따라 동작을 수행하는 프로세서를 포함하고, 상기 프로세서는, 대상체를 촬영하여, 상기 대상체에 관한 실시간 의료 영상(live image)을 획득하고, 상기 실시간 의료 영상 내의 상기 대상체의 해부학적 구조에 관한 기준 이미지(reference image)로서의 스텐실(stencil)을 상기 실시간 의료 영상 상에 오버레이(overlay)하고, 상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도(a degree of match)에 기초하여 성능 지수(figure of merit)를 결정하고, 상기 성능 지수를 문자, 숫자, 기호 및 이미지 중 적어도 하나를 이용하여 디스플레이부 상에 디스플레이하는, 의료 영상 처리 장치를 제공한다.
예를 들어, 상기 프로세서는 대상체와 관련된 정보에 기초하여 설계된 사전 크기 스텐실(pre-sized stencil)에 의해 획득하는 방법, 상기 대상체를 포함하는 복수의 대상체 중 어느 하나에 대하여 수행된 의료 영상 촬영 방법을 통해 획득하는 방법 및 상기 의료 영상 장치를 사용하는 사용자에 의해 그려지는 방법 중 어느 하나의 방법을 이용하여 상기 스텐실을 획득할 수 있다.
예를 들어, 상기 의료 영상 장치는 복수의 대상체에 관한 복수의 스텐실을 저장하는 저장부를 더 포함하고, 상기 프로세서는 상기 실시간 의료 영상으로부터 정량화될 적어도 하나의 파라미터, 상기 실시간 의료 영상을 획득하는데 사용되는 의료 영상 장치의 종류(type), 및 상기 스텐실을 획득하는데 사용되는 의료 영상 장치의 종류 중 적어도 하나에 기초하여 기저장된 상기 복수의 스텐실 중 상기 스텐실을 선택할 수 있다.
예를 들어, 상기 프로세서는 상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터, 상기 스텐실의 소스(source), 상기 대상체와 관련된 정보, 상기 실시간 의료 영상으로부터의 관찰(observation), 및 상기 대상체와 다른 대상체 간의 나이 및 성별(gender)의 차이(variation) 중 적어도 하나에 기초하여 상기 스텐실의 크기 또는 위치를 조정(adapting)할 수 있다.
예를 들어, 상기 의료 영상 처리 장치는 스텐실의 크기 또는 위치 중 어느 하나를 조정하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 상기 프로세서는 사용자 입력부를 통해 수신된 사용자 입력에 기초하여 상기 스텐실의 크기 또는 위치를 중 어느 하나를 조정할 수 있다.
예를 들어, 상기 프로세서는 실시간 의료 영상을 분석하여 상기 스텐실을 상기 실시간 의료 영상상의 원하는 위치에 오버레이하는 방법, 상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터에 기초하여 상기 스텐실을 오버레이하는 방법, 및 수신된 사용자 입력에 기초하여 상기 스텐실을 상기 실시간 의료 영상 상에 직접 오버레이하는 방법 중 어느 하나의 방법을 이용하여 상기 스텐실을 상기 실시간 의료 영상 상에 오버레이할 수 있다.
예를 들어, 상기 프로세서는 정규화된 교차 상관(normalized cross correlation), 상기 실시간 의료 영상과 상기 스텐실의 통계적 모델링에 기초한 차이(divergence), 상호 정보(mutual information), 상기 실시간 의료 영상과 상기 스텐실 사이의 정량화된 거리, 상기 실시간 의료 영상과 상기 스텐실 간의 유사성(similarity) 중 적어도 하나에 기초하여 상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도를 결정할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품을 제공하고, 상기 저장 매체는 의료 영상 장치를 통해 대상체를 촬영하여, 상기 대상체에 관한 실시간 의료 영상(live image)을 획득하는 단계, 상기 실시간 의료 영상 내의 상기 대상체의 해부학적 구조에 관한 기준 이미지(reference image)로서의 스텐실(stencil)을 상기 실시간 의료 영상 상에 오버레이(overlay)하는 단계, 및 상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도(a degree of match)에 기초하여 성능 지수(figure of merit)를 결정하는 단계를 수행하는 명령어들을 포함할 수 있다.
이 출원은 2018 년 2 월 28 일에 출원 된 인도 출원 제201841007545호의 내용을 기초로 하고, 선출원의 이익을 향유하며, 그 내용은 본 명세서에 포함된다.
본 명세서의 실시예의 양상(aspects) 및 다른 양상들은 하기의 설명 및 첨부된 도면과 함께 고려될 때 더 잘 인식되고, 이해될 것이다. 그러나, 이하의 설명은 본 개시의 실시예 및 그것의 다수의 특정한 세부 사항을 나타내지만, 예시적인 방법으로 주어지고, 제한적인 것이 아님을 이해하여야 한다. 본 개시의 사상(spirit)을 벗어나지 않으면서 본 실시예의 범위 내에서 많은 변경 및 수정이 이루어질 수 있고, 본 개시는 그러한 모든 변경 및 수정을 포함한다.
본 명세서에 사용된 예는 단지 본 실시예가 실시될 수 있는 방법의 이해를 용이하게 하고 당업자가 본 명세서의 실시예를 실시할 수 있도록 하기 위한 것이다. 따라서, 실시예는 본원의 실시 양태의 범위를 제한하는 것으로 해석되어서는 안 된다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '모듈' 또는 '부'(unit)라는 용어는 소프트웨어, 하드웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합으로 구현될 수 있으며, 실시예들에 따라 복수의 '모듈' 또는 '부'가 하나의 요소(element)로 구현되거나, 하나의 '모듈' 또는 '부'가 복수의 요소들을 포함하는 것도 가능하다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '의료 영상 장치'란 대상체로부터 의료 영상을 획득하는 의료 이미징 모달리티(medical imaging modality)를 의미하고, 초음파 영상 장치, 컴퓨터 단층 촬영 장치(CT scanner), 심전도 촬영 장치(ECG scanner), 뇌전도 촬영 장치(EEG scanner), 자기 공명 영상 촬영(MRI scan apparatus) 등을 포함할 수 있다. 그러나, 의료 영상 장치가 전술한 예시로 한정되는 것은 아니다.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
또한, 명세서 전체에서 '사용자'는 의료 전문가로서 의사, 임상의, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지는 않는다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 본 개시의 의료 영상 장치(100)의 구성을 도시한 블록도이다.
도 1을 참조하면, 의료 영상 장치(100)는 제어부(110), 디스플레이부(120), 저장부(130) 및 사용자 입력부(140)를 포함할 수 있다. 도 1에 도시된 의료 영상 장치(100)는 의료 영상 장치(100)는 대상체를 촬영하여, 대상체에 관한 실시간 의료 영상(live image)을 획득하고, 실시간 의료 영상을 디스플레이할 수 있다. 의료 영상 장치(100)는 예를 들어, 초음파 영상 장치, 컴퓨터 단층 촬영 장치(CT scanner), 심전도 촬영 장치(ECG scanner), 뇌전도 촬영 장치(EEG scanner), 및 자기 공명 영상 촬영(MRI scan apparatus) 어느 하나일 수 있다. 그러나, 의료 영상 장치가 전술한 예시로 한정되는 것은 아니다. 일 실시예에서, 의료 영상 장치(100)가 초음파 영상 장치인 경우, 의료 영상 장치(100)는 실시간 초음파 영상을 획득하여 디스플레이부(120) 상에 디스플레이할 수 있다.
제어부(110)는 디스플레이부(120), 저장부(130), 및 사용자 입력부(140)의 전반적인 동작 및 의료 영상 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(110)는 의료 영상 장치(100)의 기능을 수행하기 위한 프로그램, 알고리즘 및 데이터 중 적어도 하나를 저장하는 메모리(114), 및 메모리(114)에 저장된 프로그램, 알고리즘 또는 데이터를 처리하는 프로세서(Processor)(112)를 포함하는 하드웨어 유닛으로 구성될 수 있다. 예를 들어, 제어부(110)는 중앙 처리 장치(central processing unit), 마이크로 프로세서(microprocessor) 및 그래픽 프로세서(graphic processing unit) 중 적어도 하나를 포함하는 프로세서(112)로 구성될 수 있다.
프로세서(112)는 대상체를 촬영하여, 대상체에 관한 실시간 의료 영상(live image)을 획득하고, 획득된 실시간 의료 영상 상에 스텐실(stencil)을 오버레이(overlay)할 수 있다. 여기서, 스텐실은 프로세서(112)에 의해 획득되는 대상체의 실시간 의료 영상에 관한 기준(reference)으로서 작용할 수 있다.
일 실시예에서, 스텐실은 실시간 의료 영상 내의 대상체의 해부학적 구조에 관한 기준 이미지일 수 있다. 스텐실은 예를 들어, 이미지, 그래픽, 애니메이션, 윤곽선, 모양 등이 될 수 있다. 일 실시예에서, 스텐실은 의료 영상 장치(100)를 통해 촬영되고 있는 대상체로부터 획득되고, 데이터 저장 장치에 저장될 수 있다. 예를 들어, 스텐실은 저장부(130)에 저장될 수 있으나, 이에 한정되지 않는다. 스텐실은 데이터베이스, 파일 서버, 클라우드 등 외부 데이터 저장 장치에 저장될 수도 있다. 일 실시예에서, 스텐실은 권한을 부여받은 사람 예를 들면, 사용자, 서비스 요원, 기술자, 의사, 임상의 등에게 제공될 수 있다.
일 실시예에서, 프로세서(112)는 저장부(130) 또는 외부 데이터 저장 장치에 기저장된 스텐실을 자동으로 선택할 수 있다. 프로세서(112)는 의료 영상 장치(100)의 종류(type), 대상체 정보(예를 들어, 환자의 성별, 나이, 체중, 신장 등), 촬영되는 대상체의 신체 부분, 획득한 실시간 의료 영상에서 필요한 데이터, 정보, 및 획득한 실시간 의료 영상에서 측정할 특정 정량화 파라미터 중 적어도 하나에 기초하여 스텐실을 선택할 수 있다. 프로세서(112)에 의해 선택된 스텐실은 현재 촬영 중인 대상체의 나이, 성별 등에 기초하여 미리 크기가 조정된 스텐실(pre-sized stencils) 일 수 있다.
일 실시예에서, 스텐실은 권한을 부여받은 사람의 입력을 통해 수동으로(manually) 선택될 수 있다. 일 실시예에서, 사용자 입력부(140)는 초음파 그래퍼(sonographer), 기술자, 의사, 임상의, 오퍼레이터 등의 사용자로부터 기저장된 스텐실 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 프로세서(112)는 사용자 입력부(140)를 통해 수신한 사용자 입력에 기초하여 저장부(130) 또는 외부 데이터 저장 장치에 저장된 스텐실 중 어느 하나를 선택할 수 있다. 일 실시예에서, 스텐실은 사용자에 의해 그려질 수도 있다.
일 실시예에서, 스텐실과 실시간 의료 영상은 동일한 의료 영상 장치(100)를 통해 획득될 수 있지만, 서로 다른 의료 영상 장치(100)를 통해 획득될 수도 있다. 예를 들어, 실시간 의료 영상이 초음파 영상 장치를 통해 획득되는 경우, 스텐실은 초음파 영상 장치 또는 다른 유형의 의료 영상 모달리티(예를 들어, 컴퓨터 단층 촬영 장치(CT scanner), 심전도 촬영 장치(ECG scanner), 뇌전도 촬영 장치(EEG scanner), 자기 공명 영상 촬영(MRI scan apparatus 등)를 통한 촬영을 수행하여 획득될 수 있다.
일 실시예에서, 프로세서(112)는 실시간 의료 영상에서 검출된 특정 특징(specific features)에 기초하여 스텐실에 상대적인 변형(relative deformation)을 적용할 수 있다. 예를 들어, 실시간 의료 영상을 통해 획득한 대상체의 나이 및 성별이 스텐실을 획득한 대상체와 다른 경우, 스텐실의 크기 또는 위치를 조정할 필요가 있다. 프로세서(112)는 서로 다른 대상체의 나이, 성별, 실시간 의료 영상으로부터의 관찰(observation) 등에 기초하여 스텐실을 미리 정의된 크기(predefined size)로 조정(adapt)할 수 있다. 일 실시예에서, 프로세서(112)는 스텐실의 소스(source of stencil), 대상체 정보(예를 들어, 환자의 나이, 성별 등), 및 실시간 의료 영상의 관찰 중 적어도 하나의 파라미터에 기초하여 스텐실의 크기 또는 위치를 자동으로 조정할 수 있다.
일 실시예에서 스텐실은, 사용자 입력부(140)를 통해 입력되는 사용자 입력에 따라 스케일링(scaling)함으로써 수동으로 조정될 수도 있다.
일 실시예에서 프로세서(112)는 실시간 의료 영상 상에 스텐실을 오버레이(overlay)할 수 있다. 프로세서(112)는 사용자가 스텐실을 실시간 의료 영상 상의 적당한 위치(suitable location)에 오버레이할 수 있게 한다. 일 실시예에서, 프로세서(112)는 공지된 이미지 프로세싱 방법을 통한 영상 분석 또는 비디오 분석 등을 이용하여 실시산 의료 영상을 분석하고, 스텐실을 배치하기 위한 위치를 결정하고, 스텐실을 실시간 의료 영상 내의 결정된 위치 상에 자동으로 오버레이할 수 있다. 다른 실시예에서, 프로세서(112)는 실시간 의료 영상으로부터 추출될 파라미터에 기초하여 스텐실을 실시간 의료 영상 상에 오버레이할 수 있다. 그러나, 이에 한정되지 않고 프로세서(112)는 사용자 입력부(140)를 통해 수신된 사용자 입력에 기초하여 스텐실을 실시간 의료 영상 상에 오버레이할 수 있다.
일 실시예에서, 스텐실은 윤곽선(contour) 또는 바이너리 마스크(binary mask)로 간주될 수 있다.
프로세서(112)는 스텐실을 획득된 실시간 의료 영상 상에 오버레이함으로써 성능 지수(figure of merit)를 결정할 수 있다. 성능 지수는 실시간 의료 영상과 스텐실 간의 일치 정도(a degree of match)를 나타낼 수 있다. 일 실시예에서, 프로세서(112)는 실시간 의료 영상과 스텐실 간의 정렬(alignment) 정도에 기초하여 일치 정도를 결정할 수 있다. 일 실시예에서, 프로세서(112)는 실시간 의료 영상과 스텐실의 통계적 모델링(statistical modeling), 상호 정보(mutual information), 및 정규화 된 교차 상관(normalized cross-correlation) 중 적어도 하나를 기초로 하는 차이(divergence)를 이용하여 성능 지수를 결정할 수 있다. 일 실시예에서, 프로세서(112)는 실시간 의료 영상과 스텐실 간의 유사성(similarity)에 기초하여 일치 정도를 결정할 수 있다.
프로세서(112)는 성능 지수에 기초하여 실시간 의료 영상으로부터 정량화될 수 있는 파라미터를 결정하고, 결정된 파라미터에 관한 피드백(feedback)을 사용자에게 제공할 수 있다. 여기서, 파라미터는 실시간 의료 영상에서 시각화된 하나 이상의 객체의 볼륨, 면적, 장축(major axis), 단축(minor axis), 및 직경 중 적어도 하나를 포함하지만, 이에 한정되지는 않는다. 일 실시예에서, 프로세서(112)는 파라미터를 정량화하기 위해 사용자에 의해 이용될 수 있는 방법을 제안할 수 있다. 프로세서(112)는 수동 측정 방식 또는 인공 지능(AI)을 이용한 자동 측정 방식 중 어느 하나를 이용하여 파라미터를 정량화할 수 있다.
디스플레이부(120)는 실시간 의료 영상을 디스플레이할 수 있다. 디스플레이부(120)는 예를 들어, CRT 디스플레이, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP(Digital Light Processing) 디스플레이, 평판 디스플레이(Flat Panel Display), 3D 디스플레이, 및 투명 디스플레이 중 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 디스플레이부(120)는 터치 인터페이스를 포함하는 터치스크린으로 구성될 수도 있다. 디스플레이부(120)가 터치스크린으로 구성되는 경우, 디스플레이부(120)는 터치 패널로 구성되는 사용자 입력부(140)와 통합되는 구성 요소일 수 있다.
디스플레이부(120)는 스텐실 및 실시간 의료 영상 상에 오버레이된 스텐실을 디스플레이할 수 있다. 그러나 이에 한정되는 것은 아니고, 디스플레이부(120)는 프로세서(112)에 의해 결정된 성능 지수, 정량화된 파라미터들, 및 파라미터를 정량화하는 방법 중 적어도 하나를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(120)는 성능 지수를 문자, 숫자, 기호 및 이미지 중 적어도 하나를 이용하여 디스플레이할 수 있다.
저장부(130)는 서로 다른 대상체 또는 동일한 대상체에 관한 복수의 스텐실을 저장할 수 있다. 저장부(130)는 예를 들어, 휘발성 메모리(예컨대, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다.
사용자 입력부(140)는 스텐실의 크기 또는 위치 중 어느 하나를 조정하는 사용자 입력을 수신할 수 있다. 사용자 입력부(140)는 키 패드(key pad), 마우스, 트랙볼, 터치 패드, 및 조그 스위치 등 하드웨어적 요소를 포함하는 컨트롤 패널로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 사용자 입력부(140)는 터치 입력을 수신하고, 그래픽 사용자 인터페이스(Graphical User Interface, GUI)를 표시하는 터치스크린으로 구성될 수도 있다.
도 1에 도시된 실시예에서, 의료 영상 장치(100)는 스텐실을 적용(application)함으로써, 실시간 의료 영상을 사용하여 정량화될 수 있는 파라미터를 결정할 수 있게 한다. 이를 통해 파라미터의 자동 정량화에 필요한 광범위한 이미징 데이터를 갖는 요구 사항을 극복할 수 있다.
도 1은 의료 영상 장치(100)의 예시적인 구성을 도시하지만, 다른 실시예가 도시된 바와 같이 한정되는 것은 아니다. 다른 실시예에서, 의료 영상 장치(100)는 더 적은 또는 더 많은 구성 요소를 포함할 수 있다. 또한, 각 구성 요소의 명칭은 설명의 목적으로만 사용되며, 본 개시의 범위(scope)를 한정하는 것은 아니다.
도 2는 본 개시의 의료 영상 장치가 최적화된 임상 애플리케이션을 위하여 스텐실 이미지를 처리하는 방법을 도시한 흐름도이다. 도 2에 도시된 흐름도의 단계들은 제시된 순서대로, 다른 순서로 또는 동시에 수행될 수 있다. 또한, 일부 실시예에서, 도 2에 도시된 일부 동작들은 생략될 수 있다.
단계 S210에서, 의료 영상 장치는 대상체에 관한 실시간 의료 영상(live image)를 획득한다. 일 실시예에서, 단계 S210은 초음파 영상 촬영, 자기 공명 영상 촬영, 컴퓨터 단층 촬영, 심전도 촬영, 및 뇌전도 촬영 중 적어도 하나의 실시간 의료 영상을 촬영함으로써, 수행될 수 있다. 그러나, 전술한 예시로 한정되는 것은 아니다.
단계 S220에서, 의료 영상 장치는 실시간 의료 영상 내의 대상체의 해부학적 구조에 관한 기준 이미지(reference image)로서의 스텐실(stencil)을 실시간 의료 영상 상에 오버레이(overlay)한다. 일 실시예에서, 스텐실은 이미지, 그래픽, 애니메이션, 외곽선, 모양 등 적어도 하나일 수 있지만, 이에 한정되지 않는다.
스텐실은 의료 영상 장치를 통해 대상체로부터 획득될 수 있다. 스텐실은 서로 다른 복수의 대상체, 예를 들어 복수의 환자의 장기(organs)를 촬영하여 획득되는 이미지일 수 있다. 일 실시예에서, 스텐실은 대상체의 성별, 나이, 체중, 신장 등과 같은 정보에 기초하여 설계된 사전 크기 이미지(pre-sized image)일 수 있다. 일 실시예에서, 스텐실은 대상체에 대하여 의료 이미징을 수행함으로써 실시간 의료 영상을 획득하는 사용자에 의해 그려질 수 있다.
스텐실은 의료 영상 장치의 저장부, 또는 데이터베이스, 파일 서버, 또는 클라우드 등과 같은 외부 데이터 저장 장치에 저장될 수 있다. 스텐실은 권한을 부여받은 사용자, 예를 들어, 서비스 담당자 기술자, 의사, 임상의 등에게 제공될 수 있다.
일 실시예에서, 실시간 의료 영상 및 스텐실이 획득되는 의료 영상 모달리티는 동일하거나 또는 상이할 수 있다. 예를 들어, 실시간 의료 영상이 초음파 영상 촬영을 통해 획득되는 경우, 스텐실은 초음파 영상 촬영 또는 다른 종류의 의료 영상 촬영 방법을 통해 획득될 수 있다.
일 실시예에서, 단계 S220이 수행되기 전에 스텐실을 선택하는 단계가 더 수행될 수 있다. 스텐실은 의료 영상 장치 내의 저장부, 또는 외부 데이터 저장 장치에 저장되어 있을 수 있다. 스텐실은 사용자에 의해 수동으로 선택되거나 또는 자동으로 선택될 수 있다. 스텐실은 의료 영상 장치의 종류(type), 대상체와 관련된 정보(예를 들어, 성별, 나이, 체중, 신장 등), 촬영된 대상체의 신체 부분, 획득된 실시간 의료 영상으로부터 요구되는 데이터/정보, 및 실시간 의료 영상으로부터 정량화될 파라미터(예를 들어, 실시간 의료 영상 내에 나타나는 대상체의 해부학적 구조의 볼륨, 면적, 장축, 단축, 직경) 중 적어도 하나에 기초하여 선택될 수 있다.
스텐실은 의료 영상 장치에 의해 실시간 의료 영상 상에 자동으로 오버레이될 수 있다. 일 실시예에서, 의료 영상 장치는 실시간 의료 영상으로부터 정량화될 파마리터(예를 들어, 실시간 의료 영상 내의 대상체의 볼륨, 영역, 장축, 단축, 직경 등)에 기초하여 스텐실을 실시간 의료 영상 상에 오버레이할 수 있다.
또 다른 실시예에서, 스텐실은 실시간 의료 영상 내의 원하는 위치에 오버레이될 수 있다. 의료 영상 장치는 이미지 분석, 비디오 분석 등과 같은 공지된 영상 처리 기술을 이용하여 실시간 의료 영상을 분석하고, 스텐실을 배치하기 위한 위치를 결정함으로써 스텐실을 자동으로 실시간 의료 영상 상에 오버레이할 수 있다.
스텐실을 실시간 의료 영상 상에 오버레이하는 단계는, 스텐실을 조정하는(adapting) 단계를 포함할 수 있다. 일 실시예에서, 제1 대상체와 제2 대상체 간의 연령 차가 크고, 성별이 다른 경우, 상기 단계 S220은 스텐실을 조정하는 단계를 포함할 수 있다. 의료 영상 장치는 실시간 의료 영상으로부터 검출 및/또는 정량화 될 특정 특징(specific features)에 기초하여 스텐실의 크기 또는 위치를 조정할 수 있다. 일 실시예에서, 의료 영상 장치는 획득된 실시간 의료 영상으로부터 검출 및/또는 정량화될 특정 파라미터에 기초하여 스텐실에 상대적 변형(relative deformation)을 적용함으로써 스텐실을 조정할 수 있다. 다른 대상체, 즉 다른 환자들에 관한 스텐실은 나이, 성별, 실시간 의료 영상의 관찰(observation) 등에 기초하여 사전에 정의된 크기(predefined size)로 조정될 수 있다. 일 실시예에서, 의료 영상 장치는 스텐실의 소스, 환자 정보, 및 실시간 의료 영상으로부터의 관찰 중 적어도 하나의 파라미터에 기초하여 스텐실을 자동으로 조정할 수 있다.
다른 실시예에서, 의료 영상 장치는 사용자 입력에 기초하여 스텐실을 스케일링(scaling)함으로써, 스텐실을 수동으로 조정할 수 있다.
또 다른 실시예에서, 스텐실이 대상체의 나이 및 성별에 기초하여 사전에 정의된 크기로 지정되는 경우, 또는 스텐실이 사용자에 의해 그려지는 경우, 의료 영상 장치는 스텐실에 관한 조정없이 스텐실을 실시간 의료 영상 상에 직접 오버레이(overlaid directly)할 수 있다.
단계 S230에서, 의료 영상 장치는 실시간 의료 영상과 스텐실 간의 일치 정도(a degree of match)에 기초하여 성능 지수(figure of merit)를 결정한다. 성능 지수는 대상체에 관한 실시간 의료 영상과 스텐실 간의 일치 정도에 해당할 수 있다. 의료 영상 장치는 스텐실을 실시간 의료 영상 상에 오버레이함으로써 성능 지수를 결정할 수 있다. 이 경우, 스텐실은 실시간 의료 영상 상에 오버레이되는 윤곽선 또는 바이너리 마스크로 간주될 수 있다.
성능 지수는 실시간 의료 영상과 스텐실 간의 일치 정도를 의미할 수 있다. 일 실시예에서, 의료 영상 장치는 정규화된 교차 상관, 실시간 의료 영상과 스텐실의 통계적 모델링을 기반으로 한 차이(divergence), 상호 정보, 실시간 의료 영상과 스텐실 간의 양적 거리(quantitative distance), 및 실시간 의료 영상과 스텐실 간의 유사성 중 적어도 하나에 기초하여 일치 여부를 결정할 수 있다.
일 실시예에서, 실시간 의료 영상과 스텐실 간의 일치 정도는 실시간 의료 영상과 스텐실의 정렬(alignment)에 기초할 수 있다.
단계 S230은 성능 지수에 기초하여 실시간 의료 영상으로부터 정량화될 파라미터를 결정하는 단계를 포함할 수 있다. 여기서, 정량화될 파라미터는 실시간 의료 영상 내에서 시각화되는 하나 이상의 객체의 볼륨, 면적, 장축, 단축, 직경 등을 포함하지만, 이에 한정되지는 않는다.
일 실시예에서, 도 2에 도시된 방법은 성능 지수에 기초하여, 파라미터를 수동으로 또는 인공 지능(AI)를 이용하여 정량화하는 단계를 더 포함할 수 있다.
도 3은 본 개시의 기준 스텐실(reference stencil)(300)의 예시적인 이미지를 도시한 도면이다.
도 3을 참조하면, 기준 스텐실(300)은 대상체에 관한 실시간 의료 영상 내에 포함되는 해부학적 구조에 관한 이미지, 윤곽선, 그래픽, 애니메이션, 및 형태 중 적어도 하나일 수 있다. 일 실시예에서, 의료 영상 장치는 기준 스텐실(300)을 대상체에 관한 실시간 의료 영상에 오버레이하고, 기준 스텐실과 실시간 의료 영상 간의 일치 정도에 기초하여 성능 지수를 결정할 수 있다.
도 4는 본 개시의 일 실시예에 따른 스텐실 팔레트(stencil palette)(410) 및 스텐실 팔레트(410)에 대응되는 사용자 입력을 수신하는 사용자 인터페이스(420)를 도시한 도면이다.
도 4를 참조하면, 스텐실 팔레트(410)는 복수의 스텐실(1 내지 4)을 포함하고, 사용자는 스텐실 팔레트(410)에 포함되는 복수의 스텐실(1 내지 4) 중 어느 하나의 스텐실을 선택할 수 있다. 일 실시예에서, 사용자 인터페이스(420)는 복수의 스텐실(1 내지 4) 각각에 대응되는 사용자 입력을 수신할 수 있다.
도 5a 및 도 5b는 본 개시의 의료 영상 장치가 실시간 의료 영상 상에 스텐실을 오버레이하고, 성능 지수(figure of merit)를 나타내는 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 5a를 참조하면, 의료 영상 장치의 구성 요소인 디스플레이부(500)는 대상체에 관한 실시간 의료 영상(510), 스텐실(520) 및 성능 지수 UI(530)를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(500)는 대상체에 관한 실시간 의료 영상(510) 상에 스텐실(520)을 오버레이하고, 실시간 의료 영상(510)과 스텐실(520) 간의 일치 정도에 따라 결정된 성능 지수를 나타내는 성능 지수 UI(530)를 디스플레이할 수 있다. 성능 지수 UI(530)는 음영 처리된 막대 그래프의 개수로 성능 지수의 값을 나타낼 수 있다. 그러나, 이에 한정되는 것은 아니다.
도 5b를 참조하면, 디스플레이부(500)는 대상체에 관한 실시간 의료 영상(512), 스텐실(522) 및 성능 지수 UI(532)를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(500)는 대상체에 관한 실시간 의료 영상(512) 상에 스텐실(522)을 오버레이하고, 실시간 의료 영상(512)과 스텐실(522) 간의 일치 정도에 따라 결정된 성능 지수를 나타내는 성능 지수 UI(532)를 디스플레이할 수 있다.
도 5a 및 도 5b를 함께 참조하면, 도 5a에 도시된 실시예에서의 실시간 의료 영상(510)과 스텐실(520) 간의 일치 정도가 도 5b에 도시된 실시예에의 실시간 의료 영상(512)과 스텐실(522) 간의 일치 정도 보다 적음을 나타낼 수 있다. 즉, 도 5b에 도시된 실시예에서의 성능 지수가 도 5a에 도시된 실시예에서의 성능 지수 보다 높을 수 있다.
도 5a 및 도 5b에서 성능 지수 UI(530, 532)는 막대 그래프의 개수로 도시되었지만, 이는 예시적인 것일뿐 막대 그래프 UI로 한정되는 것은 아니다. 일 실시예에서, 디스플레이부(500)는 성능 지수의 값을 문자, 숫자, 기호 및 이미지 중 적어도 하나를 이용하여 나타내는 UI를 디스플레이할 수 있다.
도 6a는 본 개시의 의료 영상 장치가 대상체에 관한 실시간 의료 영상(600)으로부터 스텐실을 획득하는 실시예를 도시한 도면이다.
도 6a를 참조하면, 실시간 의료 영상(600)은 대상체의 어깨 부위를 초음파 촬영하여 획득한 실시간 초음파 영상일 수 있다. 실시간 의료 영상(600)은 어깨 부위의 피하 지방(subcutaneous fat), 삼각근(deltoid), 및 극상근(supraspinatus tendon)에 관한 윤곽선을 포함할 수 있다. 의료 영상 장치를 사용하는 사용자는 실시간 의료 영상(600)으로부터 회전근 손상(rotator cuff injury)의 임상 평가를 획득할 수 있다.
도 6b는 기저장된 복수의 스텐실 중 선택된 스텐실(610)에 관한 이미지를 도시하고, 도 6c는 대상체에 관한 실시간 의료 영상() 상에 스텐실이 오버레이된 실시예를 도시한 도면이다.
도 6b를 참조하면, 스텐실(610)은 의료 영상 장치의 저장부(130, 도 1 참조)에 저장되거나, 또는 데이터베이스, 파일 서버, 클라우드 등 외부 데이터 저장 장치에 저장될 수도 있다. 일 실시예에서, 스텐실(610)은 의료 영상 장치에 의해 자동으로 선택되거나, 또는 사용자에 의해 수동으로 선택될 수 있다. 스텐실(610)의 선택에 관한 설명은 도 1 및 도 2에서 설명하였는바, 중복되는 설명은 생략하기로 한다.
도 6b에 도시된 스텐실(610)은, 도 6a에 도시된 어깨 부위의 실시간 의료 영상(600, 도 6a 참조)에 오버레이하기 위한 어깨 부위에 관한 예시 스텐실 이미지로서, 어깨 부위의 피하 지방(subcutaneous fat), 삼각근(deltoid), 및 상박골(Humeral head)에 관한 윤곽선을 포함할 수 있다. 스텐실(610)은 초음파 영상으로부터 획득된 이미지, 그래픽, 애니메이션, 외곽선, 모양 등 적어도 하나일 수 있지만 이에 한정되지 않는다. 일 실시예에서, 스텐실(610)은 초음파 영상 장치가 아닌 다른 의료 영상 모달리티, 예를 들어 자기 공명 영상 촬영, 또는 컴퓨터 단층 촬영을 통해 획득된 어깨 부위에 관한 윤곽선 이미지일 수 있다.
도 6c를 참조하면, 의료 영상 장치는 어깨 부위에 관한 실시간 의료 영상(600), 즉 실시간 초음파 영상 상에 도 6b에 도시된 스텐실(610)을 오버레이할 수 있다. 의료 영상 장치는 실시간 의료 영상(600) 상에 오버레이된 스텐실(610)을 통해 스텐실(610)과 실시간 의료 영상(600) 간의 일치 정도를 결정하고, 결정된 일치 정도에 기초하여 성능 지수를 결정할 수 있다. 의료 영상 장치는 성능 지수에 기초하여 진단 요구 사항에 대하여 정량화될 파라미터를 결정할 수 있다.
도 1 내지 도 6c를 통해 설명한 실시예들은 종래의 의료 영상 장치 대비 명목 상의 변경을 갖는 이미지 획득 가이드를 제공하는데 사용될 수 있다. 상기 실시예들은 이미지 기반 정량화의 작업 흐름을 단순화할 수 있다. 또한, 상기 실시예들은 적절한 의료 영상이 획득되도록 보장하는데 사용되고, 이는 정량화를 위한 파라미터를 얻는데 최적일 수 있다.
도 7은 본 개시의 의료 영상 장치가 초음파 영상 장치(1000)인 경우, 초음파 영상 장치(1000)의 구성을 도시한 블록도이다.
초음파 영상 장치(1000)는 프로브(200), 초음파 송수신부(1100), 제어부(1200), 영상 처리부(1300), 디스플레이부(1400), 저장부(1500), 통신부(1600), 및 입력부(1700)를 포함할 수 있다.
초음파 영상 장치(1000)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 영상 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(200)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(1130)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(200)는 초음파 영상 장치(1000)와 일체형으로 구현되거나, 또는 초음파 영상 장치(1000)와 유무선으로 연결되는 분리형으로 구현될수 있다. 또한, 초음파 영상 장치(1000)는 구현 형태에 따라 하나 또는 복수의 프로브(200)를 구비할 수 있다.
제어부(1200)는 프로브(200)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(1130)를 제어한다.
제어부(1200)는 프로브(200)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(1150)를 제어 한다.
영상 처리부(1300)는 초음파 수신부(1150)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(1400)는 생성된 초음파 영상 및 초음파 영상 장치(1000)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 영상 장치(1000)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(1400)를 포함할 수 있다. 또한, 디스플레이부(1400)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(1200)는 초음파 영상 장치(1000)의 전반적인 동작 및 초음파 영상 장치(1000)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(1200)는 초음파 영상 장치(1000)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(1200)는 입력부(1700) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 영상 장치(1000)의 동작을 제어할 수 있다.
초음파 영상 장치(1000)는 통신부(1600)를 포함하며, 통신부(1600)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(1600)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(1600)는 외부 장치와 제어 신호 및 데이터를 송,수신할 수 있다.
저장부(1500)는 초음파 영상 장치(1000)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(1700)는, 초음파 영상 장치(1000)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
일 실시예에 따른 초음파 영상 장치(1000)의 예시는 도 8a 내지 도 8c를 통해 후술된다.
도 8a 내지 도 8c는 일 실시예에 따른 초음파 영상 장치를 나타내는 도면들이다.
도 8a 및 도 8b를 참조하면, 초음파 영상 장치(1000a, 1000b)는 메인 디스플레이부(1210) 및 서브 디스플레이부(1220)를 포함할 수 있다. 메인 디스플레이부(1210) 및 서브 디스플레이부(1220) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(1210) 및 서브 디스플레이부(1220)는 초음파 영상 또는 초음파 영상 장치(1000a, 1000b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(1210) 및 서브 디스플레이부(1220)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 영상 장치(1000a, 1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(1210)는 초음파 영상을 표시하고, 서브 디스플레이부(1220)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(1220)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 영상 장치(1000a, 1000b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(1210)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 8b를 참조하면, 초음파 영상 장치(1000b)는 메인 디스플레이부(1210) 및 서브 디스플레이부(1220) 이외에 컨트롤 패널(1650)을 더 포함할 수 있다. 컨트롤 패널(1650)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 영상 장치(1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(1650)은 TGC(Time Gain Compensation) 버튼(1710), Freeze 버튼(1720) 등을 포함할 수 있다. TGC 버튼(1710)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 영상 장치(1000b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(1720) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(1650)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(1210) 또는 서브 디스플레이부(1220)에 GUI로 제공될 수 있다.
도 8c를 참조하면, 초음파 영상 장치(1000c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 영상 장치(1000c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 영상 장치(1000c)는 프로브(200)와 본체(1400)를 포함하며, 프로브(200)는 본체(1400)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(1400)는 터치 스크린(1450)을 포함할 수 있다. 터치 스크린(1450)은 초음파 영상, 초음파 영상 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
본 개시에 포함된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 의료 영상 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 의료 영상 장치 및 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 의료 영상 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 장치(예를 들어, 의료 영상 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 장치와 통신 연결되는 제3 장치(예를 들어, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
개시된 실시예들은 예를 들어, 초고속 집적 회로(Very high speed integrated circuit Hardware Description Language, VHDL), 다른 프로그래밍 언어 또는 VHDL 또는 적어도 하나의 하드웨어 장치에서 실행되는 다른 소프트웨어 모듈 중 적어도 하나에 의해 구현될 수 있다. 하드웨어 장치는 프로그래밍 할 수 있는 모든 종류의 휴대용 장치가 될 수 있다. 또한, 상기 장치는 예를 들어 다음과 같은 수단을 포함 할 수 있다. 상기 장치는 예를 들어, ASIC, 또는 하드웨어와 소프트웨어의 조합, 예를 들면, ASIC 및 FPGA, 또는 적어도 하나의 마이크로 프로세서 및 소프트웨어 모듈을 갖는 적어도 하나의 메모리를 포함할 수 있다. 본 명세서에서 설명된 방법 실시예는 부분적으로는 하드웨어로, 부분적으로는 소프트웨어로 구현될 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시의 실시예들이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 의료 영상 처리 방법에 있어서,
    의료 영상 장치를 통해 대상체를 촬영하여, 상기 대상체에 관한 실시간 의료 영상(live image)을 획득하는 단계;
    상기 실시간 의료 영상 내의 상기 대상체의 해부학적 구조에 관한 기준 이미지(reference image)로서의 스텐실(stencil)을 상기 실시간 의료 영상 상에 오버레이(overlay)하는 단계; 및
    상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도(a degree of match)에 기초하여 성능 지수(figure of merit)를 결정하는 단계;
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 스텐실은,
    상기 대상체와 관련된 정보에 기초하여 설계된 사전 크기 스텐실(pre-sized stencil)에 의해 획득하는 방법, 상기 대상체를 포함하는 복수의 대상체 중 어느 하나에 대하여 수행된 의료 영상 촬영 방법을 통해 획득하는 방법 및 상기 의료 영상 장치를 사용하는 사용자에 의해 그려지는 방법 중 어느 하나의 방법을 통해 획득되는, 방법.
  3. 제2 항에 있어서,
    복수의 스텐실이 데이터 저장부 내에 저장되어 있고,
    상기 실시간 의료 영상으로부터 정량화될 적어도 하나의 파라미터, 상기 실시간 의료 영상을 획득하는데 사용되는 의료 영상 장치의 종류(type), 및 상기 스텐실을 획득하는데 사용되는 의료 영상 장치의 종류 중 적어도 하나에 기초하여 기저장된 상기 복수의 스텐실 중 상기 스텐실을 선택하는 단계;
    를 더 포함하는, 방법.
  4. 제2 항에 있어서,
    상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터, 상기 스텐실의 소스(source), 상기 대상체와 관련된 정보, 상기 실시간 의료 영상으로부터의 관찰(observation), 및 상기 대상체와 다른 대상체 간의 나이 및 성별(gender)의 차이(variation) 중 적어도 하나에 기초하여 상기 스텐실의 크기 또는 위치를 조정하는(adapting) 단계;
    를 더 포함하는, 방법.
  5. 제2 항에 있어서,
    상기 의료 영상 장치를 사용하는 사용자의 입력에 기초하여 상기 스텐실의 크기 또는 위치를 조정하는 단계;
    를 더 포함하는, 방법.
  6. 제1 항에 있어서,
    상기 스텐실을 상기 실시간 의료 영상 상에 오버레이하는 단계는,
    상기 실시간 의료 영상을 분석하여 상기 스텐실을 상기 실시간 의료 영상상의 원하는 위치에 오버레이하는 방법, 상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터에 기초하여 상기 스텐실을 오버레이하는 방법, 및 수신된 사용자 입력에 기초하여 상기 스텐실을 상기 실시간 의료 영상 상에 직접 오버레이하는 방법 중 어느 하나에 의해 수행되는, 방법.
  7. 제1 항에 있어서,
    정규화된 교차 상관(normalized cross correlation), 상기 실시간 의료 영상과 상기 스텐실의 통계적 모델링에 기초한 차이(divergence), 상호 정보(mutual information), 상기 실시간 의료 영상과 상기 스텐실 사이의 정량화된 거리, 상기 실시간 의료 영상과 상기 스텐실 간의 유사성(similarity) 중 적어도 하나에 기초하여 상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도를 결정하는 단계;
    를 더 포함하는, 방법.
  8. 의료 영상 처리 장치에 있어서,
    디스플레이부;
    상기 의료 영상 장치의 동작을 제어하는 적어도 하나의 명령어(instruction)를 저장하는 메모리; 및
    상기 메모리에 저장된 적어도 하나의 명령어에 따라 동작을 수행하는 프로세서;
    를 포함하고, 상기 프로세서는,
    대상체를 촬영하여, 상기 대상체에 관한 실시간 의료 영상(live image)을 획득하고,
    상기 실시간 의료 영상 내의 상기 대상체의 해부학적 구조에 관한 기준 이미지(reference image)로서의 스텐실(stencil)을 상기 실시간 의료 영상 상에 오버레이(overlay)하고,
    상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도(a degree of match)에 기초하여 성능 지수(figure of merit)를 결정하고,
    상기 성능 지수를 문자, 숫자, 기호 및 이미지 중 적어도 하나를 이용하여 디스플레이부 상에 디스플레이하는, 장치.
  9. 제8 항에 있어서,
    상기 프로세서는,
    상기 대상체와 관련된 정보에 기초하여 설계된 사전 크기 스텐실(pre-sized stencil)에 의해 획득하는 방법, 상기 대상체를 포함하는 복수의 대상체 중 어느 하나에 대하여 수행된 의료 영상 촬영 방법을 통해 획득하는 방법 및 상기 의료 영상 장치를 사용하는 사용자에 의해 그려지는 방법 중 어느 하나의 방법을 이용하여 상기 스텐실을 획득하는, 장치.
  10. 제9 항에 있어서,
    복수의 대상체에 관한 복수의 스텐실을 저장하는 저장부;
    를 더 포함하고,
    상기 프로세서는, 상기 실시간 의료 영상으로부터 정량화될 적어도 하나의 파라미터, 상기 실시간 의료 영상을 획득하는데 사용되는 의료 영상 장치의 종류(type), 및 상기 스텐실을 획득하는데 사용되는 의료 영상 장치의 종류 중 적어도 하나에 기초하여 기저장된 상기 복수의 스텐실 중 상기 스텐실을 선택하는, 장치.
  11. 제9 항에 있어서,
    상기 프로세서는, 상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터, 상기 스텐실의 소스(source), 상기 대상체와 관련된 정보, 상기 실시간 의료 영상으로부터의 관찰(observation), 및 상기 대상체와 다른 대상체 간의 나이 및 성별(gender)의 차이(variation) 중 적어도 하나에 기초하여 상기 스텐실의 크기 또는 위치를 조정하는(adapting), 장치.
  12. 제9 항에 있어서,
    상기 스텐실의 크기 또는 위치 중 어느 하나를 조정하는 사용자 입력을 수신하는 사용자 입력부; 를 더 포함하고,
    상기 프로세서는, 상기 사용자 입력부를 통해 수신된 사용자 입력에 기초하여 상기 스텐실의 크기 또는 위치를 중 어느 하나를 조정하는, 장치.
  13. 제9 항에 있어서,
    상기 프로세서는,
    상기 실시간 의료 영상을 분석하여 상기 스텐실을 상기 실시간 의료 영상상의 원하는 위치에 오버레이하는 방법, 상기 실시간 의료 영상으로부터 추출될 적어도 하나의 파라미터에 기초하여 상기 스텐실을 오버레이하는 방법, 및 수신된 사용자 입력에 기초하여 상기 스텐실을 상기 실시간 의료 영상 상에 직접 오버레이하는 방법 중 어느 하나의 방법을 이용하여 상기 스텐실을 상기 실시간 의료 영상 상에 오버레이하는, 장치.
  14. 제8 항에 있어서,
    상기 프로세서는,
    정규화된 교차 상관(normalized cross correlation), 상기 실시간 의료 영상과 상기 스텐실의 통계적 모델링에 기초한 차이(divergence), 상호 정보(mutual information), 상기 실시간 의료 영상과 상기 스텐실 사이의 정량화된 거리, 상기 실시간 의료 영상과 상기 스텐실 간의 유사성(similarity) 중 적어도 하나에 기초하여 상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도를 결정하는, 장치.
  15. 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서,
    상기 저장 매체는,
    의료 영상 장치를 통해 대상체를 촬영하여, 상기 대상체에 관한 실시간 의료 영상(live image)을 획득하는 단계;
    상기 실시간 의료 영상 내의 상기 대상체의 해부학적 구조에 관한 기준 이미지(reference image)로서의 스텐실(stencil)을 상기 실시간 의료 영상 상에 오버레이(overlay)하는 단계; 및
    상기 실시간 의료 영상과 상기 스텐실 간의 일치 정도(a degree of match)에 기초하여 성능 지수(figure of merit)를 결정하는 단계;
    를 포함하는 명령어들을 포함하는, 컴퓨터 프로그램 제품.
PCT/KR2019/002423 2018-02-28 2019-02-28 의료 영상 처리 장치 및 그 동작 방법 WO2019168372A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201841007545 2018-02-28
IN201841007545 2019-02-07

Publications (1)

Publication Number Publication Date
WO2019168372A1 true WO2019168372A1 (ko) 2019-09-06

Family

ID=67808919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002423 WO2019168372A1 (ko) 2018-02-28 2019-02-28 의료 영상 처리 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2019168372A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462059A (zh) * 2020-03-24 2020-07-28 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5531520A (en) * 1994-09-01 1996-07-02 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets including anatomical body data
US20120289825A1 (en) * 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
KR20160092799A (ko) * 2015-01-28 2016-08-05 주식회사 인피니트헬스케어 혈관 정보를 포함하는 의료 영상을 디스플레이하는 장치 및 방법
KR101652641B1 (ko) * 2015-06-05 2016-09-12 숭실대학교산학협력단 Ecg 신호를 이용한 영상 정합 장치 및 그 방법
KR20170084435A (ko) * 2016-01-12 2017-07-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5531520A (en) * 1994-09-01 1996-07-02 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets including anatomical body data
US20120289825A1 (en) * 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
KR20160092799A (ko) * 2015-01-28 2016-08-05 주식회사 인피니트헬스케어 혈관 정보를 포함하는 의료 영상을 디스플레이하는 장치 및 방법
KR101652641B1 (ko) * 2015-06-05 2016-09-12 숭실대학교산학협력단 Ecg 신호를 이용한 영상 정합 장치 및 그 방법
KR20170084435A (ko) * 2016-01-12 2017-07-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462059A (zh) * 2020-03-24 2020-07-28 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置
CN111462059B (zh) * 2020-03-24 2023-09-29 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置

Similar Documents

Publication Publication Date Title
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
JP6448356B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
US20180177434A1 (en) Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus
JP5698293B2 (ja) 携帯型医用画像表示端末及びその作動方法
JPWO2019230302A1 (ja) 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
CN111242921B (zh) 一种医学超声图像辅助诊断系统自动更新的方法及系统
US9569838B2 (en) Image processing apparatus, method of controlling image processing apparatus and storage medium
KR20130103689A (ko) 정보처리장치 및 정보처리방법
US20220301686A1 (en) Device at the point of imaging for instant advice on choices to streamline imaging workflow
JP6727776B2 (ja) 支援システム、支援方法、プログラム
WO2007125794A1 (ja) データ測定装置及びデータ測定方法
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
WO2019221586A1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2019168372A1 (ko) 의료 영상 처리 장치 및 그 동작 방법
US20200184644A1 (en) Medical image processing device and medical image processing method
CN116912247A (zh) 医疗图像处理方法、装置、存储介质及电子设备
KR102244459B1 (ko) 이미징 장치를 위한 자동 프로토콜 선택
WO2021182726A1 (ko) 초음파 진단 장치 및 그 동작방법
WO2018147674A1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
WO2020162683A1 (ko) 사용자 프리셋을 제공하는 초음파 진단 장치 및 그 동작 방법
JP3885961B2 (ja) 医用画像表示装置
KR20180133091A (ko) 혀 및 문진을 통한 건강진단 시스템
KR102199397B1 (ko) 질병 진단 분석 시스템 및 방법
JP2022000686A (ja) 画像表示システム、及び画像表示方法
JP2022000623A (ja) カラーチャート

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761071

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19761071

Country of ref document: EP

Kind code of ref document: A1