WO2017099375A1 - 영상처리장치 및 그의 영상처리방법 - Google Patents

영상처리장치 및 그의 영상처리방법 Download PDF

Info

Publication number
WO2017099375A1
WO2017099375A1 PCT/KR2016/013087 KR2016013087W WO2017099375A1 WO 2017099375 A1 WO2017099375 A1 WO 2017099375A1 KR 2016013087 W KR2016013087 W KR 2016013087W WO 2017099375 A1 WO2017099375 A1 WO 2017099375A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
partial
images
bronchial
information
Prior art date
Application number
PCT/KR2016/013087
Other languages
English (en)
French (fr)
Inventor
이재성
김계현
남우현
박용섭
오지훈
정윤섭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/770,695 priority Critical patent/US10719935B2/en
Priority to EP16873241.0A priority patent/EP3338629A4/en
Publication of WO2017099375A1 publication Critical patent/WO2017099375A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method thereof, and more particularly, to an image processing apparatus and an image processing method thereof for dividing an object region from an image using an image captured at different viewpoints of the same object. .
  • MRI magnetic resonance imaging
  • CT computed tomography
  • X-ray x-ray
  • PET positron emission tomography
  • ultrasound imaging apparatuses have been used.
  • a user of a medical imaging apparatus needs to compare various medical images and diagnose a patient's condition.
  • CT images can be used to diagnose bronchitis.
  • observing the degree of contraction and relaxation of the bronchus in the inhalation and exhalation state can determine the site of inflammation.
  • the bronchus is inflated, so it is easy to analyze by image processing, while in the image taken during exhalation, the bronchus is collapsed, making it difficult to analyze by image processing. Existed.
  • the present disclosure has been made to solve the above-described problem, and an object of the present disclosure is to provide an image processing apparatus and an image processing method for dividing an object region from an image by using images captured at different viewpoints of the same object. There is.
  • An image processing apparatus for achieving the above object includes an image receiver configured to receive a first image and a second image obtained by photographing the same object at different times, based on the second image. Acquiring transformation information by matching the first image, extracting a first partial image corresponding to an area of the object from the first image, and converting the extracted first partial image according to the transformation information, And a processor configured to generate a second partial image corresponding to an area of the object of the second image, and an output unit to output the second partial image.
  • the processor may control the output unit to output the first partial image extracted from the first image together with the second partial image.
  • the processor may control the output unit to output a comparison result between the first partial image extracted from the first image and the second partial image.
  • the object is a bronchus
  • the first image is an image taken at inhalation
  • the second image is an image taken at exhalation
  • the processor is configured to capture the first partial image and the second partial image.
  • the output unit may be controlled to output information on the change of the bronchus during inhalation and exhalation.
  • the information on the change of the bronchus may include at least one change of bronchial wall thickness, bronchial wall cross-sectional area, bronchial diameter, bronchial cross-sectional area, ratio of bronchial diameter to bronchial wall thickness, and bronchial cross-sectional area and cross-sectional area of bronchial wall. It may be information about.
  • the processor extracts a plurality of first partial images from each of the plurality of images and matches the plurality of images.
  • the plurality of partial images may be generated by converting the plurality of first partial images according to the plurality of pieces of transformation information obtained at, and the second partial image may be generated by combining the plurality of converted images.
  • At least one of the first image and the second image may be an image acquired through a computer tomography apparatus, a magnetic resonance imaging apparatus, an ultrasound imaging apparatus, a positron emission tomography apparatus, or an X-ray apparatus.
  • the processor may acquire the second image from an image previously stored in the image processing apparatus, and receive the first image from an external server.
  • the image processing method of the image processing apparatus receiving a first image and a second image photographing the same object at different times, the first image based on the second image Acquiring transformation information by matching images; extracting a first partial image corresponding to an area of the object from the first image; converting the extracted first partial image according to the transformation information; Generating a second partial image corresponding to an area of the object of the image and outputting the second partial image.
  • the first partial image extracted from the first image may be output together with the second partial image.
  • the outputting may include outputting a comparison result between the first partial image extracted from the first image and the second partial image.
  • the object is a bronchus
  • the first image is an image taken at inhalation
  • the second image is an image taken at exhalation
  • the outputting of the first partial image and the second portion is performed.
  • the information on the change of the bronchus may include at least one change of bronchial wall thickness, bronchial wall cross-sectional area, bronchial diameter, bronchial cross-sectional area, bronchial diameter and bronchial wall thickness, and bronchial cross-sectional area and bronchial wall cross-sectional area. It may be information about.
  • the generating of the second partial image may include extracting a plurality of first partial images from each of the plurality of images when the first image includes a plurality of images photographing the same object at different times.
  • the plurality of first partial images may be converted to generate a plurality of converted images according to the plurality of transformation information acquired during the matching of the plurality of images, and the plurality of converted images may be combined to generate the second partial image. Can be.
  • At least one of the first image and the second image may be an image acquired through a computer tomography apparatus, a magnetic resonance imaging apparatus, an ultrasound imaging apparatus, a positron emission tomography apparatus, or an X-ray apparatus.
  • the receiving may include obtaining the second image from an image previously stored in the image processing apparatus and receiving the first image from an external server.
  • the image processing method may include a first image of photographing the same object at different times; Receiving an image and a second image, acquiring transformation information by matching the first image based on the second image, extracting a first object image corresponding to the object from the first image, and Converting the extracted first object image according to the conversion information, generating a second partial image corresponding to the area of the object of the second image, and outputting the second object image.
  • FIG. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present disclosure
  • FIG. 2 is a diagram for describing an image registration process of an image processing apparatus according to an exemplary embodiment
  • 3 is a flowchart for explaining an example of an image matching algorithm
  • FIG. 4 is a diagram for describing image segmentation processing of an image processing apparatus according to an exemplary embodiment
  • FIG. 5 is a diagram illustrating an example of dividing a bronchial region from an image taken during inhalation
  • FIG. 6 is a diagram illustrating an example of dividing a bronchial region from an image taken at exhalation
  • FIG. 7 is a view for explaining an image conversion method of an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is a view for explaining an image conversion method of an image processing apparatus according to another embodiment of the present disclosure.
  • FIG. 9 is a view for explaining a combination of converted images according to an embodiment of the present disclosure.
  • FIG. 10 is a view for explaining an information providing method of an image processing apparatus according to an embodiment of the present disclosure
  • FIG. 11 is a view for explaining an image processing system according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating an image processing method of an image processing apparatus according to an exemplary embodiment.
  • image may mean multi-dimensional data composed of discrete image elements (eg, pixels in a 2D image and voxels in a 3D image).
  • subject may mean a person or an animal, or a part of a person or an animal.
  • the subject may include lungs, airways, bronchus, liver, heart, uterus, brain, breast, abdomen or blood vessels.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 100 according to an exemplary embodiment.
  • the image processing apparatus 100 may include an image receiver 110, an outputter 120, and a processor 130.
  • the image receiver 110 may receive an image through various sources.
  • the image receiving unit 110 may receive various images from a storage medium, an external storage medium, and an external server in the image processing apparatus 100 according to various communication interfaces.
  • the image receiver 110 may communicate with various external sources according to various communication protocols. Specifically, various communication methods such as IEEE, Wi-Fi, Bluetooth, 3G, 4G, Near Field Communication (NFC), and the like may be used. In this case, the image receiver 110 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, a wireless communication chip, and the like.
  • various communication methods such as IEEE, Wi-Fi, Bluetooth, 3G, 4G, Near Field Communication (NFC), and the like may be used.
  • the image receiver 110 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, a wireless communication chip, and the like.
  • the image receiving unit 110 may receive images from various medical devices.
  • Computed Tomography (CT) devices For example, Computed Tomography (CT) devices, Magnetic Resonance Imaging (MRI) devices, Ultrasound Imaging devices, Positron Emission Tomography (PET) devices, single photon computers
  • An image captured by a single photon emission computed tomography (SPECT) device or an X-ray device may be received.
  • the image processing apparatus 100 itself may be the above-described medical apparatus, and in this case, the image receiving unit 110 may receive an image from an internal storage medium.
  • Images received through the image receiver 110 may be images obtained by photographing the same object at different times.
  • the output unit 120 is a configuration that can output a variety of information in a variety of ways.
  • the output unit 120 may be implemented to transmit various information to an external device.
  • the external device may be a device such as a smart phone, a tablet PC, a desktop PC, a monitor, a projector, etc. that can display the received image.
  • the output unit 120 may transmit information to an external device through various communication methods such as IEEE, Wi-Fi, Bluetooth, 3G, 4G, and NFC (Near Field Communication). Meanwhile, when the functions of the outputter 120 and the image receiver 110 are common in terms of communicating with an external device, the two components may be implemented as one component instead of a separate component.
  • the output unit 120 may be implemented as a display capable of visually outputting information.
  • a display capable of visually outputting information.
  • it may be implemented as a liquid crystal display (LCD), a cathode-ray tube (CRT), a plasma display panel (PDP), organic light emitting diodes (OLED), a transparent OLED (TOLED), or the like.
  • LCD liquid crystal display
  • CRT cathode-ray tube
  • PDP plasma display panel
  • OLED organic light emitting diodes
  • TOLED transparent OLED
  • the output unit 120 may output an image processed by the processor 130.
  • the output unit 120 may output a comparison result between the images under the control of the processor 130.
  • the comparison result may be output in various formats such as an image and text.
  • the processor 130 may control overall operations of the image processing apparatus 100.
  • the processor 130 may include a RAM, a ROM, a main CPU, various interfaces, and a bus. RAM, ROM, main CPU, various interfaces, and the like are connected to each other via a bus to transmit and receive various data and signals.
  • the processor 130 may perform an image registration process.
  • Image registration is a process of acquiring matching information between images obtained when the same object is photographed at different times or viewpoints.
  • Image registration is a processing technique in which such different images are transformed and displayed in one coordinate system.
  • image matching Through image matching, matching information of images obtained through different measurement viewpoints or different methods may be obtained.
  • the image matching algorithm may be divided into an intensity-based method and a feature-based method.
  • Image registration is a process of fitting another image to a fixed image.
  • the fixed image may be called a reference image or an original image
  • the image to be fit may be called an image to be fit.
  • first image used in the description related to image registration of the present disclosure refers to an image to be fit
  • second image is defined to mean a reference image.
  • Image registration includes a process of spatially transforming an image to be fit and fitting it to a reference image.
  • the intensity-based method is a method of comparing the shape of the intensity of the image
  • the feature-based method is a method of finding points, lines, and borders in the image and matching them.
  • Intensity-based methods compare and match images as a whole, while feature-based methods find and compare multiple features in two or more images. Knowing the correspondence of several feature points in the two images allows the conversion of the two images to be determined, so that the correspondence of other points in the image can be calculated.
  • Homogeneous matching is a method of matching to a reference image while maintaining the image characteristic (or shape) of the image to be fitted.
  • In-homogeneous matching is a method of completely matching the reference image by modifying an image characteristic (or shape) of the image to be fit.
  • the image matching algorithm may be classified according to a conversion relationship between the reference image and the image to be fit.
  • the first category is linear transformation, including translation, rotation, scaling, affine transform, and the like.
  • the linear transformation cannot explain the geometric deformation between the images.
  • the second category is elastic transformation or nonrigid transformation. Examples of specific deformation models include rigid transformation, affine transformation, thin-plate-spline free form deformation (FFD), B-spline FFD, and elastic model.
  • the processor 130 performs image registration of matching the first image based on the second image among the first image and the second image photographing the same object at different times.
  • Image matching is performed in the process of obtaining.
  • p is a parameter set of transformation model.
  • I f is a fixed image and I m is a moving image.
  • p final obtained through image registration may be understood as having the same meaning as the term "conversion information" used in the present disclosure.
  • FIG. 2 is a diagram schematically illustrating image matching.
  • a rectangle means a pixel of the reference image I f
  • a circle means a pixel of the image I m to be aligned.
  • image registration includes a series of processes for gradually modifying an image I m to be aligned to become similar to the reference image I f .
  • FIG. 3 is a flowchart for explaining an example of an image matching algorithm for obtaining the aforementioned p final .
  • the processor 130 initializes p, which is a parameter set of transformation model of the transformation model (S310). And align the processor 130, the image (I m) (or a first image) of the reference image (I f) and performs the conversion on the basis of (or second image) (S320).
  • the model used for the transformation may include a rigid global model, a non-rigid global model, a rigid local model, a non-rigid local model, and the like. There is this.
  • a cost function C is calculated using pixels in the overlapped region between the converted first image I ′ m and the second image I f .
  • the cost function may be a function composed of a regularization metric and a similarity (or dis-similarity) measure.
  • Regularization metrics include volume regularization, diffusion regularization, curvature regularization, and local rigidity constraints.
  • the similarity (or dis-similarity) measure includes MI, Normalized mutual information, Gradient-magnitude, Gradient-orientation, Sum of Squared Difference (SSD), Normalized Gradient-vector Flow (NGF), and Gradient NMI (GNMI).
  • the homogeneous registration result or the in-homogeneous registration result is derived differently by designing the regular metric of the transformation model and the cost function. I can do it.
  • the processor 130 may perform an image segmentation process to extract a segment image corresponding to the region of the object from the image.
  • Image matching and image segmentation are image processing performed in parallel with each other.
  • image segmentation may be performed based on a contrast difference.
  • a threshold method a boundary-based method, a region-based method, a hybrid method of mixing the boundary method and the region method may be used.
  • the Region Growing algorithm of the region-based method is most used.
  • FIG. 4 is a diagram for describing an intensity-based region growing algorithm, which is an example of an image segmentation method.
  • the images labeled 410, 420, and 430 are CT tomography images of the bronchus as an object.
  • the processor 130 may determine a bronchial region that is an object in each of the CT tomography images 410, 420, and 430. Specifically, because the bronchial region contains air, it is darker than the surrounding region because of its low density. Therefore, the processor 130 extracts a seed point based on the difference in brightness and adds a pixel having a low image value. As a result of this process, partial images 415, 425, and 435 obtained by dividing the bronchial region in each of the CT tomography images 410, 420, and 430 may be obtained.
  • the processor 130 may generate the image 400 in which the object is formed in three dimensions by combining the partial images 415, 425, and 435.
  • FIG. 5 illustrates an inhalation bronchial partial image 510 from which a bronchus, which is an object, is extracted from a CT image 500 taken during inspiration.
  • FIG. 6 illustrates a partial bronchial bronchial image 610 of the exhaled bronchus from the CT image 600 taken at the time of exhalation. Comparing the inhalation bronchial partial image 510 and the exhalation bronchial partial image 610 shown in Figure 5, it can be seen that the bronchial part is significantly less appear in the bronchial partial image 610 when exhaled.
  • the processor 130 performs a first image (ex. Inhalation image) based on the matching process, that is, the second image (ex. ),
  • the object (bronchi) in the second image may be segmented with improved segmentation performance by using the conversion information acquired in the matching process. This will be described in more detail with reference to FIG. 7.
  • FIG. 7 is a diagram for describing an image conversion method according to an exemplary embodiment.
  • an inhalation image corresponds to a first image
  • an exhalation image corresponds to a second image
  • the object is a bronchus. That is, the first image and the second image correspond to photographing the same object at different viewpoints.
  • the processor 130 registers the first image 10 based on the second image 20 (S710).
  • the processor 130 extracts the first partial image 10a corresponding to the object region from the first image 10 according to an image segmentation algorithm (S720).
  • the processor 130 generates the second partial image 20a by converting the first partial image 10a according to the conversion information acquired in the image registration process S710 (S730).
  • the conversion information obtained by matching the first image based on the second image is matching information between the first image and the second image
  • the first partial image 10a is generated by converting the first partial image 10a according to the conversion information.
  • the two partial images 20a correspond to areas of the object of the second image 20.
  • the bronchus in the second image 20 at the time of exhalation which is difficult to extract the bronchus with good segmentation performance, by utilizing the first image 10 at the time of inhalation, which can be extracted with the good segmentation performance.
  • the effect is that you can extract regions with good partitioning performance.
  • the present invention is not necessarily limited to this example, and in order to extract the object region from the specific image with improved segmentation performance, the specific image is captured.
  • Examples of all models using an image of a viewpoint different from the viewpoint are included in the present disclosure. For example, in order to extract a bronchial region from an image captured today, an image captured one month ago may be used.
  • the first image is described as being photographed at a different point of time from when the second image is photographed.
  • the present invention is not limited thereto, and the first image is a plurality of images photographed at different views. It may be to include.
  • the processor 130 may extract the plurality of first partial images from each of the plurality of images.
  • the processor 130 may match each of the plurality of images based on the second image.
  • the processor 130 may generate a plurality of converted images by converting each of the plurality of first partial images using the plurality of conversion information obtained in the matching process.
  • the processor 130 may generate a second partial image by combining the plurality of converted images.
  • the second partial image corresponding to the region of the object may be obtained from the second image with better segmentation performance.
  • FIG. 8 illustrates a process of obtaining a current partial image 810a corresponding to a region of an object from a current image 810 by using an image 820 of a first past viewpoint and an image 830 of a second past viewpoint. It is for the drawing.
  • the processor 130 registers an image 820 of a past first view based on the current image 810 (S810). In addition, the processor 130 matches the image 830 of the second past viewpoint based on the current image 810 (S810 ′).
  • the processor 130 extracts the partial image 820a of the first past viewpoint corresponding to the object region from the image 820 of the past first viewpoint according to the image segmentation algorithm (S820). In addition, the processor 130 extracts the partial image 830a of the second past viewpoint corresponding to the object region from the image 830 of the second past viewpoint according to the image segmentation algorithm (S820 ′).
  • the processor 130 converts the partial image 820a of the past first viewpoint according to the conversion information acquired in the image registration process (S810) of the image of the past first viewpoint (S830), and then converts the first converted image 811. ) In addition, the processor 130 converts the partial image 830a of the past second view according to the conversion information acquired in the image registration process (S810 ′) of the image of the past second view (S830 ′), and converts the second image. Generate an image 812.
  • the processor 130 generates the current partial image 810a by combining the first converted image 811 and the second converted image 812.
  • the combination method of the first converted image 811 and the second converted image 812 may be performed in the manner described below with reference to FIG. 9.
  • the first transformed image 811 and the second transformed image 812 are binary images composed of 0s and 1s.
  • the processor 130 adds an image value of each corresponding pixel of the first converted image 811 and the second converted image 812, and corrects a pixel having two or more values to 1 to correct the current partial image 810a. Can be generated.
  • the images captured from the first past viewpoint and the second past viewpoint are different from each other.
  • the present invention is not limited thereto, and images of more than two viewpoints may be used.
  • the processor 130 may provide a second partial image corresponding to the region of the object of the second image obtained as described above to the user through the output unit 120.
  • the processor 130 may control the output unit 120 to output the first partial image extracted from the first image together with the second partial image.
  • the first partial image 10a and the second partial image 20a may be output together through the output unit 120. Accordingly, the user can compare the object in the first image and the object in the second image at a glance.
  • the processor 130 may control the output unit 120 to output a comparison result between the first partial image extracted from the first image and the second partial image.
  • the comparison result may be information showing a change in the shape of the object in both images.
  • the processor 130 is configured to extract an area of the object from the first image.
  • the output unit 120 may be controlled to compare the second partial image corresponding to the object region of the first partial image and the second image to output information about the change of the bronchus during inhalation and exhalation.
  • the user for example, a doctor, can at a glance be able to grasp the bronchial changes at inhalation and exhalation.
  • Information about bronchial changes may be information about at least one change of bronchial wall thickness, bronchial wall cross-sectional area, bronchial diameter, bronchial cross-sectional area, ratio of bronchial diameter to bronchial wall thickness, and bronchial cross-sectional area and bronchial wall cross-sectional area. Can be.
  • the information about the bronchial change may be represented by a plurality of different colors. 10 shows an example of information output results for bronchial changes.
  • the output unit 120 corresponds to a display unit provided in the image processing apparatus 100.
  • the processor 130 of the image processing apparatus 100 compares the diameters of the inhaled and exhaled bronchus, so that the ratio of the inhaled bronchial diameter and the exhaled bronchial diameter is higher, that is, the exhalation is exhaled.
  • parts that are not well shrunk may be displayed in bold. That is, as shown in FIG. 10, the end portion of the bronchus, which is determined to not contract well, may be displayed in a relatively dark color.
  • the color may be expressed differently.
  • the processor 130 compares the diameters of the inhaled and exhaled bronchus, and outputs a shorter wavelength as the ratio between the inhaled bronchial diameter and the exhaled bronchial diameter is higher, that is, the portion that contracts well during exhalation.
  • the unit 120 may be controlled. Therefore, the poor shrink portion may appear red.
  • the information on the change of the object in the image may be expressed in contrast, color, etc. as described above, but is not limited thereto and may be expressed in other ways.
  • it may be expressed as text, and in this case, a portion that does not contract well at exhalation may be displayed on the output unit 120 such as “suspected inflammation”.
  • the rate of change may be expressed in numbers.
  • FIG. 11 is a diagram for describing an image processing system according to an exemplary embodiment.
  • the image processing system may include an image processing apparatus 100, a medical apparatus 200, and a server 300.
  • the medical device 200 includes a computed tomography (CT) device, a magnetic resonance imaging (MRI) device, an ultrasound imaging device, a positron emission tomography (PET) device, a single device It may be a single photon emission computed tomography (SPECT) device or an X-ray device.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • PET positron emission tomography
  • SPECT single photon emission computed tomography
  • X-ray device X-ray
  • the medical apparatus 200 may communicate with the image processing apparatus 100.
  • a photographing command may be input from the image processing apparatus 100, and an image photographing an object may be transmitted to the image processing apparatus 100 according to the photographing command.
  • the medical apparatus 200 may transmit an image to an external server. Therefore, although not shown, the medical apparatus 200 may also communicate with the server 300 to transmit an image to the server 300.
  • the server 300 is a device capable of storing various medical information. Specifically, the server 300 is a device that can be computerized to input, manage, and store all the information of the patient, such as personal information, medical history, health status, medical examination, admission / discharge records recorded on the paper chart. For example, the server 300 may be a device that performs an electronic medical record or an electronic health record function.
  • the server 300 may be a picture archiving communication system (PACS).
  • PACS refers to a system capable of storing medical images of patients taken in various medical imaging equipment in digital form and providing image retrieval service.
  • the server 300 may transmit a past image of the patient to the image processing apparatus 100 according to a request.
  • the image processing apparatus 100 may receive a first image and a second image obtained by photographing the same object at different times.
  • the first image may be a current image of the patient received from the medical apparatus 200
  • the second image may be a past image of the same patient received from the server 300.
  • the image processing apparatus 100 may obtain the conversion information by matching the first image based on the two images.
  • the image processing apparatus 100 extracts a first partial image corresponding to the area of the object from the first image, converts the extracted first partial image according to the obtained conversion information, and then areas of the object of the second image.
  • a second partial image corresponding to may be generated.
  • the image processing apparatus 100 may output the first partial image 91 extracted from the first image and the second partial image 92 corresponding to the region of the object of the second image. . That is, the user, that is, the doctor, can easily compare the past and the current state of the patient by outputting the image of the object extracted from the current image of the patient and the image of the object extracted from the past image of the patient.
  • an object when extracting an object to be analyzed in any one of a plurality of images, an object may be extracted with better segmentation performance by using an image photographed at another time of the object. Can be harvested.
  • the above embodiments have been described as using a plurality of images photographed at different viewpoints, but the present invention is not limited thereto, and the plurality of images photographed from different directions at the same viewpoint or by different photographing apparatuses at the same viewpoint. It is also possible to utilize a plurality of photographed images.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described in the present invention may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), Processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • the embodiments described herein may be implemented by the processor 130 itself.
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • FIG. 12 is a flowchart illustrating an image processing method of an image processing apparatus according to an exemplary embodiment.
  • the image processing apparatus 100 receives a first image and a second image (S1210).
  • the first image and the second image may be images of the same object photographed at different times, or images of the same object photographed from different directions at the same time.
  • the image processing apparatus 100 may obtain a second image from an image previously stored in the image processing apparatus 100 and receive the first image from an external server.
  • At least one of the first image and the second image may be an image acquired through a computer tomography apparatus, a magnetic resonance imaging apparatus, an ultrasound imaging apparatus, a positron emission tomography apparatus, or an X-ray apparatus.
  • the image processing apparatus 100 obtains the conversion information by matching the first image with respect to the second image.
  • the conversion information refers to information that defines a matching relationship between the first image and the second image.
  • homogeneous matching when the acquired transform information is applied to the first image, the image characteristic (shape) of the first image is maintained and matched to the second image, and in the case of in-homogeneous matching, the obtained transform
  • the image characteristic (shape) of the first image is deformed to completely match the second image.
  • homogeneous matching or in-homogeneous matching may be used.
  • the image processing apparatus 100 extracts a first partial image corresponding to the region of the object from the first image, converts the extracted first partial image according to the conversion information, and corresponds to the region of the object of the second image.
  • a second partial image is generated (S1230).
  • the image processing apparatus 100 outputs the generated second partial image (S1240).
  • the output can be in any way that can provide the user with a second partial image.
  • the image processing apparatus 100 may transmit the second partial image to the user terminal device or display the second partial image on a display provided in the image processing apparatus 100.
  • the image processing apparatus 100 may generate a first partial image extracted from the first image.
  • the image processing apparatus 100 may output the generated first partial image together with the second partial image.
  • the image processing apparatus 100 may output a comparison result between the generated first partial image and the second partial image.
  • the comparison result may include a length change, an area change, a thickness change, and the like, between regions corresponding to each other in the first partial image and the second partial image.
  • the image processing apparatus 100 compares the first partial image with the second partial image and outputs information on the change of the bronchus during inhalation and exhalation.
  • the information on the change of bronchus includes information on the change of at least one of bronchial wall thickness, bronchial wall cross-sectional area, bronchial diameter, bronchial cross-sectional area, ratio of bronchial diameter and bronchial wall thickness, and bronchial cross-sectional area and cross-sectional area of bronchial wall.
  • bronchial wall thickness e.g., bronchial wall thickness
  • bronchial wall cross-sectional area e.g., bronchial diameter, bronchial diameter, bronchial cross-sectional area, ratio of bronchial diameter and bronchial wall thickness, and bronchial cross-sectional area and cross-sectional area of bronchial wall.
  • the first image used may include a plurality of images photographed at different viewpoints.
  • the image processing apparatus 100 performs image registration processing on each of the plurality of images photographed at different points of time based on the second image, thereby obtaining a plurality of pieces of conversion information.
  • the image processing apparatus 100 extracts a partial image corresponding to the area of the object from each of the plurality of images.
  • the image processing apparatus 100 converts each of the extracted plurality of partial images according to each of the plurality of pieces of conversion information to generate a plurality of converted images.
  • the image processing apparatus 100 may output the plurality of generated converted images, respectively or together.
  • the image processing apparatus 100 may generate a second partial image corresponding to the object region of the second image by combining the generated plurality of converted images.
  • the methods according to the various embodiments described above may be generated by software and mounted on an electronic device.
  • a non-transitory computer readable medium may be provided in which a program to be executed is stored.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

영상처리장치가 개시된다. 본 영상처리장치는, 동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신하는 영상 수신부, 제2 영상을 기준으로 제1 영상을 정합하여 변환 정보를 획득하고, 제1 영상에서 대상체의 영역에 대응되는 제1 부분 영상을 추출하며, 추출된 제1 부분 영상을 변환 정보에 따라 변환하여, 제2 영상의 대상체의 영역에 대응되는 제2 부분 영상을 생성하는 프로세서 및 제2 부분 영상을 출력하는 출력부를 포함한다.

Description

영상처리장치 및 그의 영상처리방법
본 개시는 영상처리장치 및 그의 영상처리방법에 관한 것으로, 더욱 상세하게는 동일한 대상체를 서로 다른 시점에서 촬영된 영상을 이용하여 영상에서 대상체 영역을 분할하는 영상처리장치 및 그의 영상처리방법에 대한 것이다.
인체 내부 구조를 촬영하기 위하여, 다양한 의료 영상 장치들이 이용되고 있다. 예를 들어, MRI(Magnetic Resonance Imaging), 컴퓨터 단층촬영(Computed Tomography; CT), 엑스레이(X-ray), 양전자 단층촬영(Positron Emission Tomography; PET) 및 초음파 영상 장치 등이 이용되고 있었다.
의료 영상 장치의 사용자는 여러 의료 영상들을 비교한 뒤 환자의 상태를 진단할 필요가 있다. 예를 들어, 기관지염의 진단을 위해 CT영상이 이용될 수 있다. 특히, 들숨과 날숨 상태에서의 기관지의 수축과 이완의 정도를 관찰하면 염증 부위를 알아낼 수 있다.
최근 밝혀진 연구 결과에 따르면, 기관지는 날숨 시 수축이 잘되어야 하며, 수축이 잘 되지 않는 부분은 염증 등의 질환을 의심해 보아야 한다.
그러나 들숨 시에 촬영된 영상에서는 기관지가 팽창된 상태여서 영상 처리에 의한 분석이 용이한 반면에, 날숨 시에 촬영된 영상에서는 기관지가 허탈(collapsed) 상태가 되어 영상 처리에 의한 분석이 어렵다는 문제가 존재하였다.
본 개시는 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 개시의 목적은 동일한 대상체를 서로 다른 시점에서 촬영된 영상을 이용하여 영상에서 대상체 영역을 분할하는 영상처리장치 및 그의 영상처리방법을 제공하는 데 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 영상처리장치는, 동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신하는 영상 수신부, 상기 제2 영상을 기준으로 상기 제1 영상을 정합하여 변환 정보를 획득하고, 상기 제1 영상에서 상기 대상체의 영역에 대응되는 제1 부분 영상을 추출하며, 상기 추출된 제1 부분 영상을 상기 변환 정보에 따라 변환하여, 상기 제2 영상의 상기 대상체의 영역에 대응되는 제2 부분 영상을 생성하는 프로세서 및 상기 제2 부분 영상을 출력하는 출력부를 포함한다.
이 경우, 상기 프로세서는, 상기 제1 영상으로부터 추출된 상기 제1 부분 영상을 상기 제2 부분 영상과 함께 출력하도록 상기 출력부를 제어할 수 있다.
한편, 상기 프로세서는, 상기 제1 영상으로부터 추출된 상기 제1 부분 영상과, 상기 제2 부분 영상 사이의 비교 결과를 출력하도록 상기 출력부를 제어할 수 있다.
한편, 상기 대상체는 기관지이고, 상기 제1 영상은 들숨 시에 촬영한 영상이고, 상기 제2 영상은 날숨 시에 촬영한 영상이며, 상기 프로세서는, 상기 제1 부분 영상과 상기 제2 부분 영상을 비교하여, 들숨 시 및 날숨 시의 상기 기관지의 변화에 대한 정보를 출력하도록 상기 출력부를 제어할 수 있다.
이 경우, 상기 기관지의 변화에 대한 정보는, 기관지 벽 두께, 기관지 벽의 단면적, 기관지 지름, 기관지 단면적, 기관지 지름과 기관지 벽 두께의 비율 및 기관지 단면적과 기관지 벽의 단면적의 비율 중 적어도 하나의 변화에 대한 정보일 수 있다.
한편, 상기 프로세서는, 상기 제1 영상이 동일한 대상체를 서로 다른 시간에 촬영한 복수의 영상을 포함한 경우, 상기 복수의 영상 각각으로부터 복수의 제1 부분 영상을 추출하고, 상기 복수의 영상의 정합 과정에서 획득되는 복수의 변환 정보에 따라 상기 복수의 제1 부분 영상을 변환하여 복수의 변환 영상을 생성하고, 상기 복수의 변환 영상을 조합하여 상기 제2 부분 영상을 생성할 수 있다.
한편, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나는, 컴퓨터 단층 촬영 장치, 자기 공명 촬영 장치, 초음파영상 장치, 양전자 단층 촬영 장치 또는 X-ray 장치를 통해 획득된 영상일 수 있다.
한편, 상기 프로세서는, 상기 영상처리장치에 기 저장된 영상으로부터 상기 제2 영상을 획득하고, 외부 서버로부터 상기 제1 영상을 수신할 수 있다.
한편, 본 개시의 일 실시 예에 따른 영상처리장치의 영상처리방법은, 동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신하는 단계, 상기 제2 영상을 기준으로 상기 제1 영상을 정합하여 변환 정보를 획득하는 단계, 상기 제1 영상에서 상기 대상체의 영역에 대응되는 제1 부분 영상을 추출하며, 상기 추출된 제1 부분 영상을 상기 변환 정보에 따라 변환하여, 상기 제2 영상의 상기 대상체의 영역에 대응되는 제2 부분 영상을 생성하는 단계 및 상기 제2 부분 영상을 출력하는 단계를 포함한다.
이 경우, 상기 출력하는 단계는, 상기 제1 영상으로부터 추출된 상기 제1 부분 영상을 상기 제2 부분 영상과 함께 출력할 수 있다.
한편, 상기 출력하는 단계는, 상기 제1 영상으로부터 추출된 상기 제1 부분 영상과, 상기 제2 부분 영상 사이의 비교 결과를 출력할 수 있다.
한편, 상기 대상체는 기관지이고, 상기 제1 영상은 들숨 시에 촬영한 영상이고, 상기 제2 영상은 날숨 시에 촬영한 영상이며, 상기 출력하는 단계는, 상기 제1 부분 영상과 상기 제2 부분 영상을 비교하여, 들숨 시 및 날숨 시의 상기 기관지의 변화에 대한 정보를 출력할 수 있다.
한편, 상기 기관지의 변화에 대한 정보는, 기관지 벽 두께, 기관지 벽의 단면적, 기관지 지름, 기관지 단면적, 기관지 지름과 기관지 벽 두께의 비율 및 기관지 단면적과 기관지 벽의 단면적의 비율 중 적어도 하나의 변화에 대한 정보일 수 있다.
한편, 상기 제2 부분 영상을 생성하는 단계는, 상기 제1 영상이 동일한 대상체를 서로 다른 시간에 촬영한 복수의 영상을 포함한 경우, 상기 복수의 영상 각각으로부터 복수의 제1 부분 영상을 추출하고, 상기 복수의 영상의 정합 과정에서 획득되는 복수의 변환 정보에 따라 상기 복수의 제1 부분 영상을 변환하여 복수의 변환 영상을 생성하고, 상기 복수의 변환 영상을 조합하여 상기 제2 부분 영상을 생성할 수 있다.
한편, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나는, 컴퓨터 단층 촬영 장치, 자기 공명 촬영 장치, 초음파영상 장치, 양전자 단층 촬영 장치 또는 X-ray 장치를 통해 획득된 영상일 수 있다.
한편, 상기 수신하는 단계는, 상기 영상처리장치에 기 저장된 영상으로부터 상기 제2 영상을 획득하고, 외부 서버로부터 상기 제1 영상을 수신할 수 있다.
한편, 본 개시의 일 실시 예에 따른 영상처리장치의 영상처리방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상처리방법은, 동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신하는 단계, 상기 제2 영상을 기준으로 상기 제1 영상을 정합하여 변환 정보를 획득하는 단계, 상기 대상체에 대응되는 제1 대상체 영상을 상기 제1 영상에서 추출하며, 상기 추출된 제1 대상체 영상을 상기 변환 정보에 따라 변환하여, 상기 제2 영상의 상기 대상체의 영역에 대응되는 제2 부분 영상을 생성하는 단계 및 상기 제2 대상체 영상을 출력하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 영상처리장치를 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따른 영상처리장치의 영상 정합 처리를 설명하기 위한 도면,
도 3은 영상 정합 알고리즘의 일 예를 설명하기 위한 흐름도,
도 4는 본 개시의 일 실시 예에 따른 영상처리장치의 영상 분할 처리를 설명하기 위한 도면,
도 5는 들숨 시 촬영된 영상에서 기관지 영역을 분할한 예를 도시한 도면,
도 6은 날숨 시 촬영된 영상에서 기관지 영역을 분할한 예를 도시한 도면,
도 7은 본 개시의 일 실시 예에 따른 영상처리장치의 영상 변환 방식을 설명하기 위한 도면,
도 8은 본 개시의 또 다른 실시 예에 따른 영상처리장치의 영상 변환 방식을 설명하기 위한 도면,
도 9는 본 개시의 일 실시 예에 따른 변환 영상들의 조합을 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 영상처리장치의 정보 제공방식을 설명하기 위한 도면,
도 11은 본 개시의 일 실시 예에 따른 영상처리시스템을 설명하기 위한 도면, 그리고,
도 12는 본 개시의 일 실시 예에 따른 영상처리장치의 영상처리방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 개시를 더욱 상세하게 설명한다. 그리고 본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3차원 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다.
본 명세서에서 "대상체"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 의미할 수 있다. 예를 들어, 대상체는, 폐, 기도, 기관지, 간, 심장, 자궁, 뇌, 유방, 복부 또는 혈관 등을 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 영상처리장치(100)의 구성을 설명하기 위한 블록도이다.
도 1을 참고하면, 영상처리장치(100)는 영상 수신부(110), 출력부(120) 및 프로세서(130)를 포함한다.
영상 수신부(110)는 다양한 소스를 통해 영상을 수신할 수 있다. 예를 들어, 영상 수신부(110)는 다양한 통신 인터페이스에 따라 영상처리장치(100) 내부의 저장매체, 외부 저장매체, 외부 서버로부터 각종 영상을 수신할 수 있다.
영상 수신부(110)는 다양한 외부 소스와 다양한 통신 프로토콜에 따라 통신을 수행할 수 있다. 구체적으로는, IEEE, 와이파이, 블루투스, 3G, 4G, NFC(Near Field Communication) 등과 같은 다양한 통신 방식이 사용될 수 있다. 이 경우, 영상 수신부(110)는 와이파이칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다.
특히, 영상 수신부(110)는 각종 의료 장치로부터 영상을 수신할 수 있다. 예를 들어, 컴퓨터 단층 촬영(Computed Tomography, CT) 장치, 자기 공명 촬영(Magnetic Resonance Imaging, MRI) 장치, 초음파영상(Ultrasound Imaging) 장치, 양전자 단층 촬영(Positron Emission Tomography, PET) 장치, 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 장치, X-ray 장치 등을 통해 촬영된 영상을 수신할 수 있다. 또는, 영상처리장치(100) 자체가 상술한 의료 장치일 수 있고, 이 경우 영상 수신부(110)는 내부 저장매체로부터 영상을 수신할 수 있다.
영상 수신부(110)를 통해 수신되는 영상들은 동일한 대상체를 서로 다른 시간에 촬영한 영상들일 수 있다.
출력부(120)는 다양한 정보를 다양한 방식으로 출력할 수 있는 구성이다.
예컨대, 출력부(120)는 외부 장치로 다양한 정보를 전송하도록 구현될 수 있다. 여기서 외부 장치는 수신받은 영상을 표시할 수 있는 스마트 폰, 태블릿 PC, 데스크톱 PC, 모니터, 프로젝터 등과 같은 장치일 수 있다.
출력부(120)는 IEEE, 와이파이, 블루투스, 3G, 4G, NFC(Near Field Communication)등과 같은 다양한 통신 방식으로 외부 장치로 정보를 전송할 수 있다. 한편, 출력부(120)와 영상 수신부(110)의 기능이 외부 장치와 통신을 수행한다는 점에서 공통되는 경우, 상기 두 구성은 구분된 구성이 아닌 하나의 구성으로 구현될 수 있다.
또 다른 실시 예에 따르면 출력부(120)는 정보를 시각적으로 출력할 수 있는 디스플레이로 구현될 수 있다. 예컨대, LCD(Liquid Crystal Display), CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다.
특히, 출력부(120)는 프로세서(130)에 의해 처리된 영상을 출력할 수 있다. 그리고 출력부(120)는 프로세서(130)의 제어에 따라 영상들 간의 비교 결과를 출력할 수 있다. 여기서 비교 결과는 이미지, 텍스트 등 다양한 형식으로 출력될 수 있다.
프로세서(130)는 영상처리장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(130)는 RAM, ROM, 메인 CPU, 각종 인터페이스, 버스를 포함할 수 있다. RAM, ROM, 메인 CPU, 각종 인터페이스 등은 버스를 통해 서로 연결되어, 각종 데이터나 신호 등을 송수신할 수 있다.
특히, 프로세서(130)는 영상 정합(image registration) 처리를 수행할 수 있다. 영상 정합은, 동일한 대상을 다른 시간이나 관점에서 촬영할 경우에 얻어진 영상들 간의 매칭 정보를 획득하는 과정이다.
구체적으로, 동일한 대상을 다른 시간이나 관점에서 촬영할 경우 서로 다른 좌표계에서 영상들이 얻어지게 되는데, 영상 정합은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 영상 정합을 통해 서로 다른 측정 시점 또는 서로 다른 방식을 통해 얻은 영상들의 매칭 정보를 얻을 수 있다.
영상 정합 알고리즘은 세기 기반(Intensity-based) 방식과 특징 기반(feature-based) 방식으로 나뉠 수 있다.
영상 정합은 고정된 영상에 다른 영상을 맞추는 과정이다. 고정된 영상을 참조영상 혹은 원본 영상이라고 하고, 맞추어질 영상을 맞출 영상이라고 명명할 수 있다. 본 개시의 영상 정합과 관련한 설명에서 사용되는 용어 "제1 영상"은 맞출 영상을 의미하고, "제2 영상"은 참조 영상을 뜻하는 것으로 정의한다.
영상 정합은 맞출 영상을 공간적으로 변형해 참조 영상에 맞추는 과정을 포함한다. 세기 기반 방식은 영상의 세기의 형태를 비교하는 방식이고, 특징 기반 방식은 영상 속의 점, 선, 테두리 등을 찾아 서로 맞추는 방식이다. 세기 기반 방식은 영상을 통째로 비교해 정합하는 데 반해, 특징 기반 방식은 둘 이상의 영상 속에서 여러 개의 특징을 찾아 비교한다. 두 영상 속에서 몇 개의 특징점의 대응관계를 알면 두 영상의 변환 관계를 결정할 수 있기 때문에, 그로부터 영상 속의 다른 점들의 대응관계를 계산할 수 있다.
한편, 영상정합에는 호모지니어스 정합(Homogeneous registration) 방식과, 인-호모지니어스 정합(In-homogeneous registration) 방식이 존재한다. 호모지니어스 정합은, 맞출 영상의 영상 특성(혹은 모양)은 유지한 상태로, 참조 영상에 매칭시키는 방식이다. 그리고 인-호모지니어스 정합은, 맞출 영상의 영상 특성(혹은 모양)을 변형시켜, 참조 영상에 완전히 매칭시키는 방식이다.
영상 정합 알고리즘은 참조 영상과 맞출 영상 사이의 변환관계에 따라 분류될 수도 있다. 넓게 분류하면, 첫 번째 범주로 변위(translation), 회전(rotation), 확대·축소(scaling), 아핀변환(affine transform) 등을 포함한 선형 변환(linear transformation)을 들 수 있다. 하지만, 선형변환은 영상들 사이의 기하학적 변형은 설명할 수 없다. 둘째 범주로 탄성 변환(elastic transformation), 혹은 비강체 변환(nonrigid transformation)을 들 수 있다. 구체적인 변형 모델의 예로, 강체 변환(Rigid transformation), 아핀변환(Affine transformation), Thin-plate-spline free form deformation (FFD), B-spline FFD, 탄성 모델(elastic model) 등을 들 수 있다.
프로세서(130)는 동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상 중, 제2 영상을 기준으로 제1 영상을 정합하는 영상정합(image Registration)을 수행한다.
본 개시의 일 실시 예에선 아래의 수학식 1에 나타낸 유사도 측정함수(Similarity measure, S) 값을 최대로 하는, 또는 수학식 2에 나타낸 비용함수(Cost function, C) 값을 최소로 하는 pfinal을 구하는 과정으로 영상 정합이 수행된다. p는 변형 모델의 파라미터 세트(Parameter set of transformation model)이다. 그리고 아래 식들에서 If는 참조 영상(fixed image)이고, Im은 맞출 영상(moving image)이다.
[수학식 1]
Figure PCTKR2016013087-appb-I000001
[수학식 2]
Figure PCTKR2016013087-appb-I000002
한편, 영상 정합을 통해 획득되는 pfinal은 본 개시에서 사용되는 용어 "변환 정보"와 동일한 의미로 이해될 수 있다.
도 2는 영상 정합을 모식적으로 설명하기 위한 도면이다. 도 2를 참고하면, 사각형은 참조 영상(If)의 픽셀을 의미하고, 원은 맞출 영상(Im)의 픽셀을 의미한다. 도 2에 도시된 바와 같이, 영상 정합은 맞출 영상(Im)을 점차적으로 변형시켜 참조 영상(If)과 유사해지도록 하는 일련의 과정을 포함하는 것이다.
도 3은 상술한 pfinal을 구하는 영상 정합 알고리즘의 일 예를 설명하기 위한 흐름도이다.
도 3을 참고하면, 먼저, 프로세서(130)는 변형 모델의 파라미터 세트(Parameter set of transformation model)인 p를 초기화한다(S310). 그리고 프로세서(130)는 맞출영상(Im)(혹은 제1 영상)을 참조영상(If)(혹은 제2 영상)을 기초로 변환을 수행한다(S320). 여기서 변환에 이용되는 모델에는, 강체 전역 모델(Rigid global model), 비강체 전역 모델(Non-rigid global model), 강체 지역 모델(Rigid local model), 비강체 지역 모델(Non-rigid local model) 등이 있다.
그리고 변환된 제1 영상(I'm)과 제2 영상(If) 간의 중첩 영역에서의 픽셀을 이용하여 비용함수(Cost function, C)를 계산한다(S330). 여기서 비용함수는 정칙 메트릭(Regularization metric)과 유사성(또는 비유사성) 측정(Similarity (or Dis-similarity) measure)으로 구성된 함수일 수 있다.
정칙 메트릭(Regularization metric)에는 볼륨 정칙(Volume regularization), 확산 정칙(Diffusion regularization), 곡률 정칙(Curvature regularization), 지역적 강체 제약(local rigidity constraint) 등이 있다. 그리고 유사성(또는 비유사성) 측정(Similarity (or Dis-similarity) measure)에는 MI(Mutual information), NMI(Normalized mutual information), 그래디언트-규모(Gradient-magnitude), 그래디언트-방향(Gradient-orientation), SSD(Sum of Squared Difference), NGF(Normalized Gradient-vector Flow), GNMI(Gradient NMI) 등이 있다.
그리고 계산된 비용함수(C)가 최소값인지 판단한다(S340). 여기서 최적화 알고리즘(Optimization algorithm)이 이용될 수 있다.
계산된 비용함수(C)가 최소값이면, 그때의 p를 pfinal로서 획득한다.
계산된 비용함수(C)가 최소값이 아니면, p를 업데이트(S350)하여, 단계 S320로 다시 진행한다.
이상과 같은 정합 과정에서, 변환 모델(Transformation model)과 비용 함수(Cost function)의 정칙 메트릭을 디자인함으로써 호모지니어스 정합(Homogeneous registration) 결과 또는 인-호모지니어스 정합(In-homogeneous registration) 결과를 다르게 유도해낼 수 있다.
또 한편, 프로세서(130)는 영상 분할(image segmentation)처리를 수행하여, 영상에서 대상체의 영역에 대응되는 부분 영상(segment image)을 추출할 수 있다. 영상 정합과 영상 분할은 서로 병렬적으로 이루어지는 영상처리이다.
일 예에 따르면, 영상 분할은 명암 차이에 근거하여 수행될 수 있다. 이 경우, Threshold 방법, boundary-based 방법, region-based 방법, boundary 방법과 region 방법을 혼용하는 하는 hybrid 방법 등이 사용될 수 있다. 이 중에서, region-based 방법의 영역 성장(Region Growing) 알고리즘이 가장 많이 이용된다.
도 4는 영상 분할 방법의 일 예인 강도(intensity) 기반의 영역 성장(Region Growing) 알고리즘 설명하기 위한 도면이다.
도 4를 참고하면, 410, 420 및 430으로 표시된 영상들은 대상체인 기관지를 촬영한 CT 단층 영상들이다. 프로세서(130)는 CT 단층 영상들(410, 420, 430) 각각에서 대상체인 기관지 영역을 결정할 수 있다. 구체적으로, 기관지 영역은 공기를 포함하고 있기 때문에 밀도가 낮아 주변 영역보다 어둡다. 따라서 프로세서(130)는 이와 같은 명암도 차이에 근거하여 시드 포인트(seed point)를 추출하고, 영상 값이 낮은 픽셀을 추가해나간다. 이와 같은 과정의 결과로, CT 단층 영상들(410, 420, 430) 각각에서 기관지 영역을 분할한 부분 영상들(415, 425, 435)이 얻어질 수 있다.
그리고 프로세서(130)는 부분 영상들(415, 425, 435)을 조합함으로써 대상체를 3차원으로 형상화한 영상(400)을 생성할 수 있다.
대상체가 기관지인 경우에 있어서, 들숨 시엔 기관지에 공기가 충분히 차 있어, 기관지와 그 주변의 명암 차이가 선명하므로, 영상 분할 성능이 좋다. 도 5는 들숨 시 촬영한 CT 영상(500)으로부터 대상체인 기관지를 추출한 들숨 시 기관지 부분 영상(510)을 도시한 것이다.
반면, 날숨 시엔 기관지에 공기가 충분하지 못하므로, 영상분할의 성능이 떨어지게 된다. 도 6은 날숨 시 촬영한 CT 영상(600)으로부터 대상체인 기관지를 추출한 날숨 시 기관지 부분 영상(610)을 도시한 것이다. 도 5에 도시된 들숨 시 기관지 부분 영상(510)과 날숨 시 기관지 부분 영상(610)을 비교해보면, 날숨 시 기관지 부분 영상(610)에서 기관지가 현저히 적게 나타남을 알 수 있다.
이와 같은 날숨 시 분할 성능의 저하 문제를 해결하기 위해, 본 개시에서 프로세서(130)는 상술한 정합 과정, 즉 제2 영상(ex. 날숨 시 영상)을 기준으로 제1 영상(ex. 들숨 시 영상)을 정합한 과정에서 획득된 변환 정보를 이용하여 제2 영상에서의 대상체(기관지)를 향상된 분할성능으로 분할해낼 수 있다. 이에 대해선 이하 도 7을 통해 더 구체적으로 설명하도록 한다.
도 7은 본 개시의 일 실시 예에 따른 영상 변환방법을 설명하기 위한 도면이다. 도 7을 설명함에 있어서, 들숨 시의 영상은 제1 영상, 날숨 시의 영상은 제2 영상에 대응되고, 대상체는 기관지이다. 즉, 제1 영상과 제2 영상은 동일한 대상체를 서로 다른 시점에 촬영한 것에 해당된다.
도 7을 참고하면, 프로세서(130)는 제2 영상(20)을 기준으로, 제1 영상(10)을 정합한다(S710). 그리고 프로세서(130)는 영상 분할 알고리즘에 따라 제1 영상(10)에서 대상체 영역에 대응하는 제1 부분 영상(10a)을 추출한다(S720).
그리고 프로세서(130)는 영상정합 과정(S710)에서 획득된 변환 정보에 따라 제1 부분 영상(10a)을 변환하여(S730), 제2 부분 영상(20a)을 생성한다.
다시 말해, 제2 영상을 기초로 제1 영상을 정합하여 획득된 변환 정보는 제1 영상과 제2 영상 간의 매칭 정보이므로, 제1 부분 영상(10a)을 상기 변환 정보에 따라 변환하여 생성된 제2 부분 영상(20a)은, 제2 영상(20)의 대상체의 영역에 대응되는 것이다.
본 실시 예에 따르면, 좋은 분할 성능으로 기관지가 추출될 수 있는 들숨 시의 제1 영상(10)을 활용하여, 좋은 분할 성능으로 기관지가 추출되기 어려운 날숨 시의 제2 영상(20)에서의 기관지 영역을 좋은 분할 성능으로 추출할 수 있다는 효과가 있다.
한편, 상술한 예에선 들숨 시와 날숨 시에 촬영된 영상들의 활용에 대해 설명하였으나, 반드시 이러한 예에 한정되는 것은 아니고, 특정 영상에서 대상체 영역을 향상된 분할 성능으로 추출하기 위해, 상기 특정 영상의 촬영 시점과 다른 시점의 영상을 이용하는 모들 예들이 본 개시에 포함되는 것이다. 예컨대, 오늘 촬영된 영상에서 기관지 영역을 추출하기 위해, 한 달 전에 촬영된 영상을 활용할 수 있다.
한편, 상술한 예들에선 제1 영상이, 제2 영상이 촬영된 시점과는 다른 어느 한 시점에 촬영된 것으로 설명하였으나, 이에 한정되는 것은 아니고, 제1 영상은 서로 다른 시점에 촬영된 복수의 영상을 포함하는 것일 수 있다.
구체적으로, 프로세서(130)는 제1 영상이 동일한 대상체를 서로 다른 시간에 촬영한 복수의 영상을 포함한 경우, 복수의 영상 각각으로부터 복수의 제1 부분 영상을 추출할 수 있다. 그리고 프로세서(130)는 복수의 영상 각각을 제2 영상을 기준으로 정합할 수 있다. 그리고 프로세서(130)는 이러한 정합 과정에서 획득되는 복수의 변환 정보를 이용하여 복수의 제1 부분 영상을 각각 변환하여 복수의 변환 영상을 생성할 수 있다. 그리고 프로세서(130)는 복수의 변환 영상을 조합하여 제2 부분 영상을 생성할 수 있다.
이와 같이 더 많은 시점에서 촬영된 영상을 활용하면 더 좋은 분할 성능으로 제2 영상에서 대상체의 영역에 대응하는 제2 부분 영상을 얻을 수 있다.
본 실시 예는 도 8 내지 도 9를 통해 좀 더 자세히 설명하도록 한다.
도 8은 과거 제1 시점의 영상(820) 및 과거 제2 시점의 영상(830)을 활용하여 현재 영상(810)에서 대상체의 영역에 대응하는 현재 부분 영상(810a)을 획득하는 과정을 설명하기 위한 도면이다.
도 8을 참고하면, 프로세서(130)는 현재 영상(810)을 기준으로 과거 제1 시점의 영상(820)을 정합한다(S810). 또한, 프로세서(130)는 현재 영상(810)을 기준으로 과거 제2 시점의 영상(830)을 정합한다(S810').
그리고 프로세서(130)는 영상 분할 알고리즘에 따라 과거 제1 시점의 영상(820)에서 대상체 영역에 대응하는 과거 제1 시점의 부분 영상(820a)을 추출한다(S820). 또한, 프로세서(130)는 영상 분할 알고리즘에 따라 과거 제2 시점의 영상(830)에서 대상체 영역에 대응하는 과거 제2 시점의 부분 영상(830a)을 추출한다(S820').
그리고 프로세서(130)는 과거 제1 시점의 영상에 대한 영상정합 과정(S810)에서 획득된 변환 정보에 따라 과거 제1 시점의 부분 영상(820a)을 변환하여(S830), 제1 변환 영상(811)을 생성한다. 또한, 프로세서(130)는 과거 제2 시점의 영상에 대한 영상정합 과정(S810')에서 획득된 변환 정보에 따라 과거 제2 시점의 부분 영상(830a)을 변환하여(S830'), 제2 변환 영상(812)을 생성한다.
그리고 프로세서(130)는 제1 변환 영상(811)과 제2 변환 영상(812)을 조합하여, 현재 부분 영상(810a)을 생성한다. 제1 변환 영상(811)과 제2 변환 영상(812)의 조합 방법은 이하 도 9에서 설명하는 방식으로 이루어질 수 있다.
도 9를 참고하면, 제1 변환 영상(811)과 제2 변환 영상(812)은 0과 1로 구성된 바이너리 영상이다. 프로세서(130)는 제1 변환 영상(811)과 제2 변환 영상(812)의 대응되는 각 픽셀들의 영상 값을 더하고, 2 이상의 값을 갖는 픽셀은 1로 보정하여, 현재 부분 영상(810a)을 생성할 수 있다.
한편, 상술한 실시 예에선 서로 다른 제1 과거 시점과 제2 과거 시점에서 촬영된 영상을 활용한 것으로 설명하였으나, 이에 한정되는 것은 아니고, 두 시점보다 더 많은 시점의 영상들을 활용하는 것도 가능하다.
한편, 프로세서(130)는 상술한 예들과 같이 얻어진 제2 영상의 대상체의 영역에 대응하는 제2 부분 영상을 출력부(120)를 통해 사용자에게 제공할 수 있다.
이 경우, 프로세서(130)는 제1 영상으로부터 추출된 제1 부분 영상을 제2 부분 영상과 함께 출력하도록 출력부(120)를 제어할 수도 있다. 예컨대, 도 5의 경우에 있어서, 제1 부분 영상(10a)과 제2 부분 영상(20a)이 함께 출력부(120)를 통해 출력될 수 있다. 이에 따라, 사용자는 제1 영상에서의 대상체와 제2 영상에서의 대상체를 한눈에 비교할 수 있게 된다.
또 다른 실시 예에 따르면, 프로세서(130)는 제1 영상으로부터 추출된 제1 부분 영상과, 제2 부분 영상 사이의 비교 결과를 출력하도록 출력부(120)를 제어할 수 있다. 여기서 비교 결과는 양 영상에서의 대상체 형태의 변화를 보여주는 정보일 수 있다.
예를 들어, 대상체가 기관지이고, 제1 영상이 들숨 시에 촬영한 영상이고, 제2 영상이 날숨 시에 촬영한 영상인 경우, 프로세서(130)는 제1 영상에서 대상체의 영역이 추출된 제1 부분 영상과 제2 영상의 대상체 영역에 대응하는 제2 부분 영상을 비교하여, 들숨 시 및 날숨 시의 기관지의 변화에 대한 정보를 출력하도록 출력부(120)를 제어할 수 있다. 따라서, 사용자, 예컨대 의사는 들숨 시와 날숨 시의 기관지 변화를 한눈에 파악할 수 있게 된다.
기관지의 변화에 대한 정보는, 기관지 벽 두께, 기관지 벽의 단면적, 기관지 지름, 기관지 단면적, 기관지 지름과 기관지 벽 두께의 비율 및 기관지 단면적과 기관지 벽의 단면적의 비율 중 적어도 하나의 변화에 대한 정보일 수 있다.
한편, 기관지 변화에 대한 정보는 복수의 서로 다른 색으로 나타내어질 수 있다. 도 10에 기관지 변화에 대한 정보 출력 결과의 예시를 도시하였다.
도 10에선 영상처리장치(100)가 휴대 단말로 구현된 경우를 도시하였다. 여기서 출력부(120)는 영상처리장치(100)에 구비된 디스플레이부에 해당된다.
도 10을 참고하면, 영상처리장치(100)의 프로세서(130)는 들숨 시와 날숨 시 기관지의 지름을 비교하여, 들숨 시 기관지 지름과 날숨 시 기관지 지름의 비율이 높을수록, 즉 날숨 시 수축이 잘되는 부분일수록 연하게 나타나도록 출력부(120)를 제어할 수 있다. 이에 대비하여, 수축이 잘 되지 않는 부분은 진하게 표시될 수 있다. 즉, 도 10에 도시된 것처럼 수축이 잘 되지 않는 것으로 판단된 기관지 말단 부분은 상대적으로 진하게 표시될 수 있다.
또는, 색상을 달리하여 표현될 수도 있다. 예컨대, 프로세서(130)는 들숨 시와 날숨 시 기관지의 지름을 비교하여, 들숨 시 기관지 지름과 날숨 시 기관지 지름의 비율이 높을수록, 즉 날숨 시 수축이 잘되는 부분일수록 파장이 짧은 색으로 나타내도록 출력부(120)를 제어할 수 있다. 따라서, 수축이 잘되지 않는 부분은 적색으로 나타날 수 있다.
영상 내 대상체의 변화에 대한 정보는 상술한 것과 같이 명암, 색상 등으로 표현될 수 있으나, 이에 한정되는 것은 아니고, 다른 방식으로도 표현될 수 있다. 예를 들어, 텍스트로서 표현될 수 있고, 이 경우, 날숨 시 수축이 잘 되지 않는 부분을 지칭하며 "염증이 의심됩니다."와 같은 텍스트가 출력부(120)에 표시될 수 있다. 또는, 변화율이 숫자로 표현되는 것도 가능하다.
도 11은 본 개시의 일 실시 예에 따른 영상처리 시스템을 설명하기 위한 도면이다.
영상처리 시스템은, 영상처리장치(100), 의료 장치(200), 서버(300)를 포함할 수 있다.
의료 장치(200)는 컴퓨터 단층 촬영(Computed Tomography, CT) 장치, 자기 공명 촬영(Magnetic Resonance Imaging, MRI) 장치, 초음파영상(Ultrasound Imaging) 장치, 양전자 단층 촬영(Positron Emission Tomography, PET) 장치, 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 장치 또는 X-ray 장치 등일 수 있다.
의료 장치(200)는 영상처리장치(100)와 통신을 수행할 수 있다. 구체적으로, 영상처리장치(100)로부터 촬영 명령을 입력받을 수 있으며, 촬영 명령에 따라 대상체를 촬영한 영상을 영상처리장치(100)로 전송할 수 있다.
또한, 의료 장치(200)는 외부 서버로 영상을 전송할 수 있다. 따라서, 도시하진 않았지만 의료 장치(200)는 서버(300)와도 통신하여 서버(300)로 영상을 전송할 수 있다.
서버(300)는 각종 의료 정보를 저장할 수 있는 장치이다. 구체적으로, 서버(300)는 기존에 종이차트에 기록했던 인적사항, 병력, 건강상태, 진찰, 입/퇴원기록 등 환자의 모든 정보를 전산화하여 입력, 관리, 저장할 수 있는 장치이다. 예를 들어, 서버(300)는 (Electronic Medical Record) 또는 EHR(Electronic Health Record) 기능을 수행하는 장치일 수 있다.
또는, 서버(300)는 PACS(Picture Archiving Communication System)일 수 있다. PACS는 각종 의료 영상 장비에서 환자를 촬영한 의료 영상들을 디지털 형태로 저장하고, 영상 조회 서비스를 제공할 수 있는 시스템을 의미한다.
서버(300)는 요청에 따라, 영상처리장치(100)로 환자의 과거 영상을 전송할 수 있다.
영상처리장치(100)는 앞서 설명한 것과 같이 동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신할 수 있다. 여기서 제1 영상은 의료 장치(200)로부터 수신된 환자의 현재 영상이고, 제2 영상은 서버(300)로부터 수신된 같은 환자에 대한 과거 영상일 수 있다.
그리고 영상처리장치(100)는 상술한 것과 같이, 2 영상을 기준으로 제1 영상을 정합하여 변환 정보를 획득할 수 있다.
그리고 영상처리장치(100)는 제1 영상에서 대상체의 영역에 대응되는 제1 부분 영상을 추출하며, 추출된 제1 부분 영상을 상기 획득된 변환 정보에 따라 변환하여, 제2 영상의 대상체의 영역에 대응되는 제2 부분 영상을 생성할 수 있다.
도 11을 참고하면, 영상처리장치(100)는 제1 영상에서 추출된 제1 부분영상(91)과 제2 영상의 대상체의 영역에 대응하는 제2 부분영상(92)을 함께 출력할 수 있다. 즉, 환자의 현재 영상에서 대상체를 추출한 영상과 환자의 과거 영상에서 대상체를 추출한 영상을 함께 출력하여 사용자, 즉, 의사는 환자의 과거와 현재 상태를 용이하게 비교할 수 있다.
상술한 다양한 실시 예에 따르면, 복수의 영상 중 어느 한 영상 내 분석하고자 하는 대상체를 추출하고자 할 때, 그 대상체를 다른 시간에 촬영한 영상을 활용하여 더 좋은 분할 성능으로 대상체를 추출할 수 있다는 효과를 거둘 수 있다.
한편 상술한 실시 예들에선 서로 다른 시점에서 촬영한 복수의 영상을 활용하는 것으로 설명하였으나, 이에 한정되는 것은 아니고, 동일한 시점에서 서로 다른 방향에서 촬영한 복수의 영상 또는 동일한 시점에서 서로 다른 촬영 장치에 의해 촬영된 복수의 영상을 활용하는 것도 가능하다.
이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
도 12는 본 개시의 일 실시 예에 따른 영상처리장치의 영상처리방법을 설명하기 위한 흐름도이다.
도 12를 참고하면, 영상처리장치(100)는 제1 영상과 제2 영상을 수신한다(S1210). 여기서 제1 영상과 제2 영상은 동일한 대상체를 서로 다른 시간에 촬영한 영상들이거나, 같은 시간에 동일한 대상체를 다른 방향에서 촬영한 영상들일 수 있다.
이 경우, 영상처리장치(100)는, 영상처리장치(100)에 기 저장된 영상으로부터 제2 영상을 획득하고, 외부 서버로부터 제1 영상을 수신할 수 있다.
한편, 제1 영상 및 상기 제2 영상 중 적어도 하나는, 컴퓨터 단층 촬영 장치, 자기 공명 촬영 장치, 초음파영상 장치, 양전자 단층 촬영 장치 또는 X-ray 장치를 통해 획득된 영상일 수 있다.
그리고 영상처리장치(100) 제2 영상을 기준으로 제1 영상을 정합하여 변환 정보를 획득한다(S1220). 여기서 변환 정보는 제1 영상과 제2 영상 간의 매칭 관계를 규정하는 정보를 의미한다. 호모지니어스 정합의 경우, 획득된 변환 정보를 제1 영상에 적용하게 되면 제1 영상의 영상 특성(모양)은 유지한 상태로 제2 영상에 매칭되고, 인-호모지니어스 정합의 경우, 획득된 변환 정보를 제1 영상에 적용하게 되면 제1 영상의 영상 특성(모양)이 변형되어 제2 영상에 완전히 매칭되게 된다. 본 개시에선 호모지니어스 정합 또는 인-호모지니어스 정합이 이용될 수 있다.
그리고 영상처리장치(100)는 제1 영상에서 대상체의 영역에 대응되는 제1 부분 영상을 추출하며, 추출된 제1 부분 영상을 상기 변환 정보에 따라 변환하여, 제2 영상의 대상체의 영역에 대응되는 제2 부분 영상을 생성한다(S1230).
그리고 영상처리장치(100)는 생성된 제2 부분 영상을 출력한다(S1240). 출력은 사용자에게 제2 부분 영상을 제공하여줄 수 있는 어떠한 방식이라도 가능하다. 예를 들어 영상처리장치(100)는 사용자 단말 장치로 제2 부분 영상을 전송하거나, 영상처리장치(100) 내 구비된 디스플레이를 통해 제2 부분 영상을 표시할 수 있다.
한편, 영상처리장치(100)는 제1 영상으로부터 추출된 제1 부분 영상을 생성할 수 있다. 그리고 영상처리장치(100)는 생성된 제1 부분 영상을 제2 부분 영상과 함께 출력할 수 있다.
또한, 영상처리장치(100)는 생성된 제1 부분 영상과 제2 부분 영상 사이의 비교 결과를 출력할 수도 있다. 비교 결과는, 제1 부분 영상과 제2 부분 영상에서 서로 대응되는 영역들 간의 길이 변화, 면적 변화, 두께 변화 등을 포함할 수 있다.
구체적인 예로, 제1 영상과 제2 영상에서의 대상체가 기관지이고, 제1 영상은 들숨 시에 촬영한 영상이고, 제2 영상은 날숨 시에 촬영한 영상인 경우에 있어서, 영상처리장치(100)는 제1 부분 영상과 제2 부분 영상을 비교하여, 들숨 시 및 날숨 시의 기관지의 변화에 대한 정보를 출력할 수 있다.
여기서 기관지의 변화에 대한 정보는, 기관지 벽 두께, 기관지 벽의 단면적, 기관지 지름, 기관지 단면적, 기관지 지름과 기관지 벽 두께의 비율 및 기관지 단면적과 기관지 벽의 단면적의 비율 중 적어도 하나의 변화에 대한 정보일 수 있다.
한편, 제2 영상의 대상체 영역에 대응하는 제2 부분 영상 생성에 있어서, 이용되는 제1 영상은 서로 다른 시점에서 촬영된 복수의 영상을 포함할 수 있다. 이 경우, 영상처리장치(100)는 서로 다른 시점에서 촬영된 복수의 영상 각각을 제2 영상을 기준으로 영상 정합 처리를 수행하여, 복수의 변환 정보를 각각 획득한다. 그리고 영상처리장치(100)는 상기 복수의 영상 각각에서 대상체의 영역에 대응되는 부분 영상을 추출한다. 그리고 영상처리장치(100)는 추출된 복수의 부분 영상 각각을 상기 복수의 변환 정보 각각에 따라 변환하여 복수의 변환 영상을 생성한다. 그리고 영상처리장치(100)는 생성된 복수의 변환 영상을 각각 또는 함께 출력할 수 있다. 또는, 영상처리장치(100)는 생성된 복수의 변환 영상을 조합하여 제2 영상의 대상체 영역에 대응하는 제2 부분 영상을 생성할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 방법들은 소프트웨어로 생성되어 전자 장치에 탑재될 수 있다.
일 예로, 동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신하는 단계, 상기 제2 영상을 기준으로 상기 제1 영상을 정합하여 변환 정보를 획득하는 단계, 상기 대상체에 대응되는 제1 대상체 영상을 상기 제1 영상에서 추출하며, 상기 추출된 제1 대상체 영상을 상기 변환 정보에 따라 변환하여, 상기 제2 영상의 상기 대상체의 영역에 대응되는 제2 부분 영상을 생성하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 본 개시 내용이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 영상처리장치에 있어서,
    동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신하는 영상 수신부;
    상기 제2 영상을 기준으로 상기 제1 영상을 정합하여 변환 정보를 획득하고,상기 제1 영상에서 상기 대상체의 영역에 대응되는 제1 부분 영상을 추출하며, 상기 추출된 제1 부분 영상을 상기 변환 정보에 따라 변환하여, 상기 제2 영상의 상기 대상체의 영역에 대응되는 제2 부분 영상을 생성하는 프로세서; 및
    상기 제2 부분 영상을 출력하는 출력부;를 포함하는 영상처리장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상으로부터 추출된 상기 제1 부분 영상을 상기 제2 부분 영상과 함께 출력하도록 상기 출력부를 제어하는, 영상처리장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상으로부터 추출된 상기 제1 부분 영상과, 상기 제2 부분 영상 사이의 비교 결과를 출력하도록 상기 출력부를 제어하는, 영상처리장치.
  4. 제1항에 있어서,
    상기 대상체는 기관지이고,
    상기 제1 영상은 들숨 시에 촬영한 영상이고, 상기 제2 영상은 날숨 시에 촬영한 영상이며,
    상기 프로세서는,
    상기 제1 부분 영상과 상기 제2 부분 영상을 비교하여, 들숨 시 및 날숨 시의 상기 기관지의 변화에 대한 정보를 출력하도록 상기 출력부를 제어하는, 영상처리장치.
  5. 제4항에 있어서,
    상기 기관지의 변화에 대한 정보는,
    기관지 벽 두께, 기관지 벽의 단면적, 기관지 지름, 기관지 단면적, 기관지 지름과 기관지 벽 두께의 비율 및 기관지 단면적과 기관지 벽의 단면적의 비율 중 적어도 하나의 변화에 대한 정보인, 영상처리장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상이 동일한 대상체를 서로 다른 시간에 촬영한 복수의 영상을 포함한 경우, 상기 복수의 영상 각각으로부터 복수의 제1 부분 영상을 추출하고, 상기 복수의 영상의 정합 과정에서 획득되는 복수의 변환 정보에 따라 상기 복수의 제1 부분 영상을 변환하여 복수의 변환 영상을 생성하고, 상기 복수의 변환 영상을 조합하여 상기 제2 부분 영상을 생성하는, 영상처리장치.
  7. 제1항에 있어서,
    상기 제1 영상 및 상기 제2 영상 중 적어도 하나는,
    컴퓨터 단층 촬영 장치, 자기 공명 촬영 장치, 초음파영상 장치, 양전자 단층 촬영 장치 또는 X-ray 장치를 통해 획득된 영상인 것인, 영상처리장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 영상처리장치에 기 저장된 영상으로부터 상기 제2 영상을 획득하고, 외부 서버로부터 상기 제1 영상을 수신하는 것인, 영상처리장치.
  9. 영상처리장치의 영상처리방법에 있어서,
    동일한 대상체를 서로 다른 시간에 촬영한 제1 영상과 제2 영상을 수신하는 단계;
    상기 제2 영상을 기준으로 상기 제1 영상을 정합하여 변환 정보를 획득하는 단계;
    상기 제1 영상에서 상기 대상체의 영역에 대응되는 제1 부분 영상을 추출하며, 상기 추출된 제1 부분 영상을 상기 변환 정보에 따라 변환하여, 상기 제2 영상의 상기 대상체의 영역에 대응되는 제2 부분 영상을 생성하는 단계; 및
    상기 제2 부분 영상을 출력하는 단계;를 포함하는 영상처리방법.
  10. 제9항에 있어서,
    상기 출력하는 단계는,
    상기 제1 영상으로부터 추출된 상기 제1 부분 영상을 상기 제2 부분 영상과 함께 출력하는, 영상처리방법.
  11. 제9항에 있어서,
    상기 출력하는 단계는,
    상기 제1 영상으로부터 추출된 상기 제1 부분 영상과, 상기 제2 부분 영상 사이의 비교 결과를 출력하는, 영상처리방법.
  12. 제9항에 있어서,
    상기 대상체는 기관지이고,
    상기 제1 영상은 들숨 시에 촬영한 영상이고, 상기 제2 영상은 날숨 시에 촬영한 영상이며,
    상기 출력하는 단계는,
    상기 제1 부분 영상과 상기 제2 부분 영상을 비교하여, 들숨 시 및 날숨 시의 상기 기관지의 변화에 대한 정보를 출력하는, 영상처리방법.
  13. 제12항에 있어서,
    상기 기관지의 변화에 대한 정보는,
    기관지 벽 두께, 기관지 벽의 단면적, 기관지 지름, 기관지 단면적, 기관지 지름과 기관지 벽 두께의 비율 및 기관지 단면적과 기관지 벽의 단면적의 비율 중 적어도 하나의 변화에 대한 정보인, 영상처리방법.
  14. 제9항에 있어서,
    상기 제2 부분 영상을 생성하는 단계는,
    상기 제1 영상이 동일한 대상체를 서로 다른 시간에 촬영한 복수의 영상을 포함한 경우, 상기 복수의 영상 각각으로부터 복수의 제1 부분 영상을 추출하고, 상기 복수의 영상의 정합 과정에서 획득되는 복수의 변환 정보에 따라 상기 복수의 제1 부분 영상을 변환하여 복수의 변환 영상을 생성하고, 상기 복수의 변환 영상을 조합하여 상기 제2 부분 영상을 생성하는, 영상처리방법.
  15. 제9항에 있어서,
    상기 제1 영상 및 상기 제2 영상 중 적어도 하나는,
    컴퓨터 단층 촬영 장치, 자기 공명 촬영 장치, 초음파영상 장치, 양전자 단층 촬영 장치 또는 X-ray 장치를 통해 획득된 영상인 것인, 영상처리방법.
PCT/KR2016/013087 2015-12-11 2016-11-14 영상처리장치 및 그의 영상처리방법 WO2017099375A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/770,695 US10719935B2 (en) 2015-12-11 2016-11-14 Image processing apparatus and image processing method thereof
EP16873241.0A EP3338629A4 (en) 2015-12-11 2016-11-14 Image processing apparatus and image processing method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0176983 2015-12-11
KR1020150176983A KR102202398B1 (ko) 2015-12-11 2015-12-11 영상처리장치 및 그의 영상처리방법

Publications (1)

Publication Number Publication Date
WO2017099375A1 true WO2017099375A1 (ko) 2017-06-15

Family

ID=59014348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013087 WO2017099375A1 (ko) 2015-12-11 2016-11-14 영상처리장치 및 그의 영상처리방법

Country Status (4)

Country Link
US (1) US10719935B2 (ko)
EP (1) EP3338629A4 (ko)
KR (1) KR102202398B1 (ko)
WO (1) WO2017099375A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311669A (zh) * 2020-02-13 2020-06-19 内蒙古大学 储能薄膜有效电极面积的计算方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171712B (zh) * 2016-12-07 2022-02-11 富士通株式会社 确定图像相似度的方法和装置
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
KR102194797B1 (ko) * 2018-11-16 2020-12-23 서울여자대학교 산학협력단 폐 운동의 히스토그램 분석을 위한 폐 영상 정합 방법, 그 장치, 그 프로그램 및 정합된 폐 영상의 분석 방법 및 그 프로그램
JP7225810B2 (ja) * 2019-01-11 2023-02-21 富士通株式会社 ひび線抽出装置、ひび線抽出方法、及び、ひび線抽出プログラム
KR102513565B1 (ko) * 2021-10-08 2023-03-24 주식회사 피맥스 폐 영역 자동 정합 방법 및 이를 위한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144579B1 (ko) * 2009-08-18 2012-05-09 서울여자대학교 산학협력단 호기 및 흡기 컴퓨터 단층촬영 영상의 비강체 폐 영상 정합 장치 및 방법
JP5067398B2 (ja) * 2008-06-04 2012-11-07 三星メディソン株式会社 超音波映像とｃｔ映像の整合システム
KR20140100648A (ko) * 2013-02-06 2014-08-18 삼성전자주식회사 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
KR20140126815A (ko) * 2013-04-22 2014-11-03 삼성전자주식회사 호흡 주기 동안 체내 장기의 변화를 추적하는 방법, 장치 및 시스템.
KR20150118484A (ko) * 2014-04-14 2015-10-22 삼성전자주식회사 의료 영상 정합 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702971B2 (ja) 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
US6889071B2 (en) 2000-12-19 2005-05-03 General Electric Company Acquisition of high-temporal free-breathing MR images
US7116810B2 (en) 2002-11-27 2006-10-03 General Electric Company Method and system for airway measurement
US7835555B2 (en) 2005-11-29 2010-11-16 Siemens Medical Solutions Usa, Inc. System and method for airway detection
US8094896B2 (en) 2008-04-14 2012-01-10 General Electric Company Systems, methods and apparatus for detection of organ wall thickness and cross-section color-coding
KR101274530B1 (ko) 2011-07-29 2013-06-13 주식회사 모든넷 이미지 정합 기반 흉부영상 진단 시스템 및 방법
JP5836908B2 (ja) 2012-09-27 2015-12-24 富士フイルム株式会社 画像処理装置および方法並びにプログラム
EP3495805A3 (en) * 2014-01-06 2019-08-14 Body Vision Medical Ltd. Surgical devices and methods of use thereof
EP3230951A1 (en) * 2014-12-09 2017-10-18 Koninklijke Philips N.V. Feedback for multi-modality auto-registration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5067398B2 (ja) * 2008-06-04 2012-11-07 三星メディソン株式会社 超音波映像とｃｔ映像の整合システム
KR101144579B1 (ko) * 2009-08-18 2012-05-09 서울여자대학교 산학협력단 호기 및 흡기 컴퓨터 단층촬영 영상의 비강체 폐 영상 정합 장치 및 방법
KR20140100648A (ko) * 2013-02-06 2014-08-18 삼성전자주식회사 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
KR20140126815A (ko) * 2013-04-22 2014-11-03 삼성전자주식회사 호흡 주기 동안 체내 장기의 변화를 추적하는 방법, 장치 및 시스템.
KR20150118484A (ko) * 2014-04-14 2015-10-22 삼성전자주식회사 의료 영상 정합 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3338629A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311669A (zh) * 2020-02-13 2020-06-19 内蒙古大学 储能薄膜有效电极面积的计算方法

Also Published As

Publication number Publication date
EP3338629A1 (en) 2018-06-27
KR102202398B1 (ko) 2021-01-13
US10719935B2 (en) 2020-07-21
EP3338629A4 (en) 2018-10-03
US20190066296A1 (en) 2019-02-28
KR20170069587A (ko) 2017-06-21

Similar Documents

Publication Publication Date Title
WO2017099375A1 (ko) 영상처리장치 및 그의 영상처리방법
US20210390695A1 (en) Image classification method, apparatus, and device, storage medium, and medical electronic device
KR102237441B1 (ko) 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
US20220058821A1 (en) Medical image processing method, apparatus, and device, medium, and endoscope
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2017030747A1 (en) Reconstruction with object detection for images captured from a capsule camera
US8620689B2 (en) System and method for patient synchronization between independent applications in a distributed environment
WO2016072586A1 (en) Medical image processing apparatus and method
WO2016125978A1 (en) Method and apparatus for displaying medical image
WO2019124836A1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
WO2021246770A1 (ko) 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
WO2018147674A1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
US9727965B2 (en) Medical image processing apparatus and medical image processing method
WO2022177069A1 (ko) 라벨링 방법 및 이를 위한 컴퓨팅 장치
WO2021118068A1 (ko) 의료 영상 생성 방법 및 이를 이용한 장치
WO2024111913A1 (ko) 인공지능에 의한 의료영상 변환방법 및 그 장치
US11798159B2 (en) Systems and methods for radiology image classification from noisy images
JPWO2019003749A1 (ja) 医用画像処理装置、方法およびプログラム
WO2023121004A1 (ko) Icv 세그먼테이션 정보를 출력하는 방법 및 이를 위한 장치
WO2024111914A1 (ko) 범용성이 향상된 인공지능에 의한 의료영상 변환방법 및 그 장치
WO2023058837A1 (ko) 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치
US20220044052A1 (en) Matching apparatus, matching method, and matching program
WO2022119364A1 (ko) 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램
WO2023153839A1 (ko) 2차원 mri를 이용한 치매 정보 산출 방법 및 분석장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16873241

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE