WO2023058837A1 - 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치 - Google Patents

흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2023058837A1
WO2023058837A1 PCT/KR2022/008377 KR2022008377W WO2023058837A1 WO 2023058837 A1 WO2023058837 A1 WO 2023058837A1 KR 2022008377 W KR2022008377 W KR 2022008377W WO 2023058837 A1 WO2023058837 A1 WO 2023058837A1
Authority
WO
WIPO (PCT)
Prior art keywords
diaphragm
average
medical image
chest
medical
Prior art date
Application number
PCT/KR2022/008377
Other languages
English (en)
French (fr)
Inventor
김한석
유영성
기리시스리니바산
피재우
Original Assignee
주식회사 피맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피맥스 filed Critical 주식회사 피맥스
Publication of WO2023058837A1 publication Critical patent/WO2023058837A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the technical idea of the present disclosure relates to a method for detecting a diaphragm from a chest image and an apparatus therefor.
  • the diaphragm is a muscular tissue located below the lungs and separating the chest from the abdomen.
  • COPD Chronic Obstructive Pulmonary Disease
  • the shape of the diaphragm is modified according to the disease characteristics of the lungs shown on radiographs, and in the treatment process, invasive or non-invasive methods are used. This brings the diaphragm into a normal state. Therefore, extracting the diaphragm from a radiographic image and confirming its deformed shape can be helpful in confirming the progress of treatment for lung diseases.
  • a method of automatically detecting the boundary with the diaphragm using an image analysis algorithm has been used.
  • the lungs and heart are located on the upper side of the diaphragm, and the liver and stomach are located on the lower side. Since these organs all correspond to soft tissues in contrast to the skeleton or air-filled part in a computed tomography (CT) image, these conventional The method of has a limitation that the detection accuracy is very low.
  • CT computed tomography
  • a method for detecting a diaphragm from a chest image according to the technical idea of the present disclosure and a technical task to be achieved by an apparatus therefor are to accurately extract the position and size of the diaphragm from a tomography image (CT) and display it on a user screen, thereby diagnosing and It is an object of the present invention to provide a method and a device for providing information on the deformed shape of the diaphragm during the treatment process.
  • CT tomography image
  • a method of detecting a diaphragm from a chest image may include acquiring a plurality of first medical images generated corresponding to a continuous volume of a body part including the chest; extracting an average figure of the diaphragm corresponding to the diaphragm from the plurality of first medical images; receiving a second medical image generated corresponding to the continuous volume of a body part including the chest; matching and arranging the average diaphragm shape to the second medical image based on the information about the average diaphragm shape; and generating a diaphragm figure corresponding to the second medical image by transforming coordinates of at least a portion of the average diaphragm figure.
  • the information about the diaphragm average figure includes coordinates of the diaphragm average figure and information about a pixel gradient around the diaphragm average figure, and generating a diaphragm figure corresponding to the second medical image
  • the step may include measuring an output value of a loss function related to a pixel gradient around the diaphragm average figure in response to the coordinate transformation of the diaphragm average figure; and generating the diaphragm figure by optimizing the coordinates of the average diaphragm figure based on the output value of the loss function.
  • the generating of the diaphragm figure by optimizing the coordinates of the diaphragm average figure may be performed by optimizing the coordinates of the diaphragm average figure to minimize an output value of the loss function.
  • the method may further include normalizing the plurality of first medical images based on at least one of at least one organ around the diaphragm and at least one bone region.
  • the normalizing of the first medical image may include extracting, enlarging, reducing, or rotating at least a partial region of the first medical image based on at least one of the diaphragm peripheral organ and the bone region.
  • the method may further include rendering and displaying the diaphragm figure together with the second medical image.
  • an apparatus for detecting a diaphragm from a chest image includes at least one processor; a memory for storing a program executable by the processor; and the processor, by executing the program, acquires a plurality of first medical images generated corresponding to the continuous volume of the body part including the chest, and obtains an average of the diaphragm corresponding to the diaphragm from the plurality of first medical images.
  • Extracting a figure receiving a second medical image generated corresponding to the continuous volume of the body part including the chest, and calculating the average figure of the diaphragm in the second medical image based on the information on the average figure of the diaphragm
  • the diaphragm figure corresponding to the second medical image may be generated by matching and arranging the diaphragm figure and transforming the coordinates of at least a portion of the average diaphragm figure.
  • the diaphragm is extracted using the average figure generated by reflecting the anatomical feature, so that the boundary is unclear. In extracting, there is an effect of preventing the extraction target from deviating from an anatomically possible shape.
  • FIG. 1 is a flowchart illustrating a method for detecting a diaphragm according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating a method for detecting a diaphragm according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an embodiment of step S240 of FIG. 2 .
  • 4 to 6 exemplarily illustrate a process of detecting a diaphragm according to an embodiment of the present disclosure.
  • FIG. 7 is a block diagram briefly illustrating the configuration of a diaphragm detection device according to an embodiment of the present disclosure.
  • one component when one component is referred to as “connected” or “connected” to another component, the one component may be directly connected or directly connected to the other component, but in particular Unless otherwise described, it should be understood that they may be connected or connected via another component in the middle.
  • ⁇ unit means a unit that processes at least one function or operation, which includes a processor, a micro Processor (Micro Processor), Micro Controller, CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerate Processor Unit), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array) may be implemented by hardware or software or a combination of hardware and software.
  • a micro Processor Micro Processor
  • Micro Controller CPU
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • APU Accelerate Processor Unit
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • classification of components in the present disclosure is merely a classification for each main function in charge of each component. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function.
  • each component to be described below may additionally perform some or all of the functions of other components in addition to its main function, and some of the main functions of each component may be performed by other components. Of course, it may be dedicated and performed by .
  • the method according to an embodiment of the present disclosure may be performed in a personal computer having computing capability, a workstation, a computer device for a server, or a separate device for this purpose.
  • the method may be performed on one or more computing devices.
  • at least one or more steps of the method 100 according to an embodiment of the present disclosure may be performed in a client device and other steps may be performed in a server device.
  • the client device and the server device may be connected through a network to transmit and receive calculation results.
  • method 100 may be performed by distributed computing technology.
  • FIG. 1 is a flowchart illustrating a method for detecting a diaphragm according to an embodiment of the present disclosure.
  • FIG. 1 is a flowchart illustrating a process of generating a diaphragm average figure in a diaphragm detection method according to an embodiment of the present disclosure.
  • the device may acquire a plurality of first medical images generated corresponding to the continuous volume of the body part including the chest.
  • the first medical image may be received from an external database server or may be acquired through imaging from a imaging device CT connected to the device through wired or wireless communication.
  • the first medical image may be a computed tomography (CT) image generated by performing tomography scans of body parts including the chest of a plurality of subjects. That is, the first medical image is composed of a plurality of 2D slice images (i.e., image group) generated by continuously photographing body parts including the chest of a plurality of subjects in one direction through a computed tomography method, or , may be a 3D image generated based on this.
  • CT computed tomography
  • the apparatus may standardize the plurality of first medical images into a predetermined format suitable for extracting the average diaphragm shape.
  • the device may perform normalization by extracting at least a partial area of the first medical image or by enlarging, reducing, and/or rotating the same.
  • step S120 may be performed based on at least one of at least one organ around the diaphragm and at least one bone region.
  • the device extracts (cuts) a partial region of the image so that only the heart, liver, and stomach, which are organs around the diaphragm, are included in each of the first medical images, or enlarges the regions extracted from each of the first medical images,
  • the first medical images may be normalized into a format corresponding to each other.
  • the apparatus may normalize the first medical images into formats corresponding to each other by enlarging, reducing, and/or rotating the first medical images based on the spine and the ribs.
  • the device may perform normalization based on various reference points.
  • predetermined organs, bone parts, etc. included in the plurality of first medical images may be transformed into sizes and angles corresponding to each other and disposed on adjacent 3D spatial coordinates.
  • the apparatus may extract an average diaphragm figure corresponding to the diaphragm and a pixel gradient around the average diaphragm figure from the plurality of normalized first medical images.
  • the extraction of the diaphragm average figure may be performed through a pre-learned network function. That is, the network function may have been previously trained on diaphragm extraction through training data (eg, a CT image including a diaphragm region labeled through an expert, examination, etc.).
  • training data eg, a CT image including a diaphragm region labeled through an expert, examination, etc.
  • a neural network may be composed of a set of interconnected computational units, which may be generally referred to as nodes, and these nodes may be referred to as neurons.
  • a neural network generally includes a plurality of nodes, and the nodes constituting the neural network may be interconnected by one or more links. In this case, some of the nodes constituting the neural network may configure one layer based on distances from the first input node. For example, a set of nodes having a distance of n from the first input node may constitute n layers.
  • the neural network may include a deep neural network (DNN) including a plurality of hidden layers in addition to an input layer and an output layer.
  • DNN deep neural network
  • extraction of the diaphragm average shape may be performed through image processing based on a change in pixel value.
  • this is an example, and is not limited thereto.
  • the device may store information about the averaged figure of the diaphragm.
  • the diaphragm-averaged figure can be expressed as a surface with curvature in a 3-dimensional space, and the information on the diaphragm-averaged figure includes information on coordinates in the 3-dimensional space constituting the surface and information on pixel inclination around the diaphragm-averaged figure can include
  • steps S120 and S130 are described as being performed in a 3-dimensional coordinate space based on the first 3-dimensional medical image, this is exemplary, and according to an embodiment, steps S120 and S130 are performed on the first medical image.
  • Each of the plurality of 2D images (ie, slice images) constituting the image may be performed.
  • a 3-dimensional average diaphragm figure may be generated by extracting average diaphragm figures from each 2-dimensional image and stacking them.
  • FIG. 2 is a flowchart for explaining a diaphragm detection method according to an embodiment of the present disclosure
  • FIG. 3 is a flowchart for explaining an embodiment of step S240 of FIG. 2 .
  • FIGS. 2 and 3 are flowcharts for explaining a process of forming a diaphragm figure from an input second medical image in a diaphragm detection method according to an embodiment of the present disclosure.
  • Method 200 may be performed after method 100 described above with reference to FIG. 1 .
  • the device may receive a second medical image generated corresponding to the continuous volume of the body part including the chest.
  • the second medical image is an input image for which detection of the diaphragm is requested.
  • it may be received from an external database server or may be input through a photographing device connected to the device through wired or wireless communication. .
  • the second medical image may be a computed tomography (CT) image similar to the first medical image, and may be composed of a plurality of 2D slice images (ie, image group) or a 3D image generated based on the 2D slice images.
  • CT computed tomography
  • the device may transform the second medical image to correspond to the first medical image. That is, the device may extract, enlarge, reduce, and/or rotate at least a partial region of the second medical image to correspond to the first medical image (ie, the normalized first medical image) used to extract the diaphragm average figure. Accordingly, the second medical image may be modified to be suitable for diaphragm extraction. In this case, the deformed second medical image may be mapped on the same 3D coordinate space to correspond to the first medical image used to extract the diaphragm average figure.
  • Step S220 is the same as step S120 described above with reference to FIG. 1, and the step is based on at least one of at least one organ around the diaphragm (heart, liver, stomach, etc.) and at least one bone part (spine, ribs, etc.) can be performed
  • the device may arrange the averaged diaphragm shape by matching it to the second medical image based on the information about the averaged diaphragm shape. That is, based on the coordinates of the average diaphragm figure, the diaphragm average figure may be disposed at a predetermined location of the modified second medical image.
  • the average diaphragm figure may be extracted (or generated) from a plurality of first medical images by the method 100 described above with reference to FIG. 1 .
  • the device may arrange the average figure of the diaphragm in each of a plurality of 2D images (ie, slice images) constituting the second medical image.
  • step S240 described in detail below may be performed for each 2D image.
  • the apparatus may generate a diaphragm figure corresponding to the diaphragm included in the second medical image from the averaged diaphragm figure by transforming coordinates of at least a portion of the averaged diaphragm figure disposed in the second medical image.
  • step S240 may include steps S310 and S320 as shown in FIG. 3 .
  • step S310 the device converts at least a portion of the coordinates of the diaphragm-averaged figure into a vertical or horizontal direction in a three-dimensional coordinate space, and correspondingly measures an output value of a loss function for a pixel gradient around the diaphragm-averaged figure.
  • the apparatus may generate a diaphragm figure corresponding to the diaphragm included in the second medical image by optimizing the coordinates of the average diaphragm figure based on the output value of the loss function.
  • the loss function outputs a lower value as the position and shape of the diaphragm and the average figure of the diaphragm included in the second medical image become similar to each other, and a repetitive process of reducing the output value of the loss function (coordinate conversion -> loss)
  • the diaphragm figure can be created by optimizing the coordinates of the average diaphragm figure through the measurement of the output value of the function).
  • stochastic gradient descent or the like may be applied, but is not limited thereto.
  • the device may inversely transform the created diaphragm figure to correspond to the original second medical image, and render and display the diaphragm figure together with the second medical image.
  • the device performs inverse transformation on the diaphragm figure in the same format as the second medical image before performing step S220, and then renders the diaphragm figure together with at least a part of the second medical image in a 3D space based on the coordinates of the transformed diaphragm figure. can be performed.
  • the diaphragm included in the second medical image may be rendered in a 3D space together with surrounding organs (heart, liver, stomach, etc.) and bone parts (spine, ribs, etc.) and displayed to the user.
  • a plurality of first medical images may be normalized according to a predetermined format (or standard) to be suitable for extraction of a diaphragm average figure.
  • This normalization process may be performed by extracting at least a partial region of the first medical image based on at least one peripheral organ and/or at least one bone region, or by enlarging, reducing, and/or rotating the extracted region.
  • the x-axis (left, right) direction includes the entire ribcage including the lungs
  • the y-axis (upper, lower) direction includes the 1st thoracic vertebrae (T1) to the 7th rib.
  • normalization may be performed by extracting a partial region of the first medical image to include all of the vertebrae and sternum in the z-axis (front and back) directions.
  • transformation may be performed on the second medical image to correspond to the normalized first medical image in a similar manner to generate the diaphragm figure.
  • a diaphragm average figure 510 extracted or generated from a plurality of first medical images may be disposed on a second medical image in order to extract the diaphragm of the second medical image.
  • the diaphragm figure 520 corresponding to the diaphragm of the second medical image is generated by repeatedly performing the process of transforming the three-dimensional coordinates of the diaphragm average figure 510 and measuring the output value of the loss function according to the transformation.
  • the generated diaphragm figure may be 3D rendered along with at least one organ and/or bone included in the second medical image and displayed to the user.
  • the user can easily check the shape and position of the diaphragm 610 through the rendering screen.
  • FIG. 7 is a block diagram briefly illustrating the configuration of a diaphragm detection device according to an embodiment of the present disclosure.
  • the communication unit 710 may receive input data (such as a chest CT image) for performing diaphragm detection.
  • the communication unit 710 may include a wired/wireless communication unit.
  • the communication unit 710 may include a local area network (LAN), a wide area network (WAN), a value added network (VAN), and a mobile communication network (mobile radio communication network), a satellite communication network, and one or more components that enable communication through a mutual combination thereof.
  • the communication unit 710 includes a wireless communication unit
  • the communication unit 710 transmits and receives data or signals wirelessly using cellular communication, a wireless LAN (eg, Wi-Fi), and the like.
  • the communication unit may transmit/receive data or signals with an external device or an external server under the control of the processor 740 .
  • the input unit 720 may receive various user commands through external manipulation.
  • the input unit 720 may include or connect one or more input devices.
  • the input unit 720 may be connected to an interface for various inputs such as a keypad and a mouse to receive user commands.
  • the input unit 720 may include an interface such as a thunderbolt as well as a USB port.
  • the input unit 720 may receive an external user command by including or combining various input devices such as a touch screen and buttons.
  • the memory 730 may store programs and/or program commands for operation of the processor 740 and may temporarily or permanently store input/output data.
  • the memory 730 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM , SRAM, ROM (ROM), EEPROM, PROM, magnetic memory, a magnetic disk, it may include at least one type of storage medium.
  • the memory 730 may store various network functions and algorithms, and may store various data, programs (one or more instructions), applications, software, commands, codes, etc. for driving and controlling the device 700. there is.
  • the processor 740 may control the overall operation of the device 700 .
  • Processor 740 may execute one or more programs stored in memory 730 .
  • the processor 740 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to the technical idea of the present disclosure are performed.
  • the processor 740 acquires a plurality of first medical images generated corresponding to the continuous volume of the body part including the chest, and obtains an average figure of the diaphragm corresponding to the diaphragm from the plurality of first medical images. extract, receive a second medical image generated corresponding to the continuous volume of the body part including the chest, and match the average shape of the diaphragm to the second medical image based on the information about the average shape of the diaphragm A diaphragm figure corresponding to the second medical image may be generated by converting coordinates of at least a portion of the average diaphragm figure.
  • the information on the diaphragm-averaged figure may include coordinates of the diaphragm-averaged figure and information on pixel gradients around the diaphragm-averaged figure.
  • the processor 740 measures an output value of a loss function related to a pixel gradient around the diaphragm average figure in response to the coordinate transformation of the diaphragm average figure, and obtains the diaphragm average figure based on the output value of the loss function. By optimizing the coordinates of , the diaphragm figure can be created.
  • the processor 740 may normalize the plurality of first medical images based on at least one of at least one organ surrounding the diaphragm and at least one bone region.
  • the processor 740 may perform the normalization by extracting, enlarging, reducing, or rotating at least a partial region of the first medical image based on at least one of the diaphragm peripheral organ and the bone region.
  • the processor 740 may render and display the diaphragm figure together with the second medical image.
  • the method according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program commands recorded on the medium may be specially designed and configured for the present disclosure, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the method according to the disclosed embodiments may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • a computer program product may include a product in the form of a S/W program (eg, a downloadable app) that is distributed electronically through a manufacturer of an electronic device or an electronic marketplace (eg, Google Play Store, App Store). there is.
  • a part of the S/W program may be stored in a storage medium or temporarily generated.
  • the storage medium may be a storage medium of a manufacturer's server, an electronic market server, or a relay server temporarily storing SW programs.
  • one of the server, the client device and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the client device, and the third device may execute the computer program product to implement the method according to the disclosed embodiments in a distributed manner.
  • a server may execute a computer program product stored in the server to control a client device communicatively connected to the server to perform a method according to the disclosed embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)

Abstract

본 개시는 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치에 관한 것으로, 본 개시의 실시예에 따른 방법은, 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 복수의 제 1 의료 영상을 획득하는 단계; 복수의 상기 제 1 의료 영상으로부터 횡격막에 대응하는 횡격막 평균 도형을 추출하는 단계; 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 제 2 의료 영상을 입력받는 단계; 상기 횡격막 평균 도형에 관한 정보를 기초로, 상기 제 2 의료 영상에 상기 횡격막 평균 도형을 정합하여 배치하는 단계; 및 상기 횡격막 평균 도형의 적어도 일부의 좌표를 변환함으로써, 상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성하는 단계를 포함할 수 있다.

Description

흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치
본 개시(disclosure)의 기술적 사상은 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치에 관한 것이다.
횡격막은 폐 아래쪽에 위치하여 가슴과 배를 분리하는 근육으로 된 조직이다. 인체가 호흡을 하는데 있어, 횡격막 근육이 아래로 내려가면 폐의 용적이 늘어나 공기를 흡입하며, 위로 올라가면 폐의 용적이 줄어들며 공기를 배출한다. 폐와 관련된 질환, 특히 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease, COPD)의 경우 방사선 영상상에 나타나는 폐의 질병적 특성에 따라 횡격막 모양의 변형이 가해지며, 치료 과정에서는 침윤적 또는 비침윤적 방법에 의해 이러한 횡격막을 정상 상태로 만들게 된다. 따라서, 방사선 영상에서 횡격막을 추출하고, 이의 변형 모양을 확인하는 것은 폐질환에 대한 치료 경과를 확인하는데 도움이 될 수 있다.
횡격막의 검출을 위하여 횡격막과의 경계를 영상 분석 알고리즘을 활용하여 자동으로 검출하는 방식이 이용된 바 있다. 그러나, 횡격막의 상측에는 폐와 심장, 하측에는 간과 위장이 위치하는데, 이 장기들은 모두 방사선 단층촬영(Computed Tomography, CT) 영상에서 골격이나 공기로 찬 부분과 대조되는 연조직에 해당하기 때문에, 이러한 종래의 방법은 검출 정확도가 매우 낮다는 한계를 가진다.
최근에는 추출하고자 하는 부분을 1, 그렇지 않은 부분을 0으로 표시한 이진 레이블을 이용하여 학습하는 딥러닝(deep learning)을 통해 횡격막을 추출하는 방식이 도입된 바 있다. 이러한 방식에서, 추출 대상으로부터 1로 표시된 부분에서 얻어지고 학습되는 것은 추출 대상의 위치와 주변 픽셀값이다. 때문에, 영상에서 유사한 픽셀값으로 표시되는 횡격막과 다른 장기 사이의 불분명한 경계에 의한 오차는 여전히 존재하며, 다수의 경우에서 알고리즘에 의해 분할된 횡격막의 경계가 다른 장기를 침범하거나 인식 불가로 중간이 절단되는 현상이 발생하는 문제점이 있다.
본 개시의 기술적 사상에 따른 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치가 이루고자 하는 기술적 과제는, 단층 촬영 영상(CT)으로부터 횡격막의 위치와 크기를 정확하게 추출하여 사용자 화면에 표시함으로써, 진단 및 치료 과정에 횡격막의 변형된 모양에 대한 정보를 제공할 수 있는 방법 및 이를 위한 장치를 제공하는 데에 있다.
본 개시의 기술적 사상에 따른 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 기술적 사상에 의한 일 양태에 따르면, 흉부 영상으로부터 횡격막을 검출하는 방법은, 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 복수의 제 1 의료 영상을 획득하는 단계; 복수의 상기 제 1 의료 영상으로부터 횡격막에 대응하는 횡격막 평균 도형을 추출하는 단계; 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 제 2 의료 영상을 입력받는 단계; 상기 횡격막 평균 도형에 관한 정보를 기초로, 상기 제 2 의료 영상에 상기 횡격막 평균 도형을 정합하여 배치하는 단계; 및 상기 횡격막 평균 도형의 적어도 일부의 좌표를 변환함으로써, 상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 횡격막 평균 도형에 관한 정보는 상기 횡격막 평균 도형의 좌표 및 상기 횡격막 평균 도형 주변의 픽셀 경사도에 관한 정보를 포함하고, 상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성하는 단계는, 상기 횡격막 평균 도형의 좌표 변환에 대응하여, 상기 횡격막 평균 도형 주변의 픽셀 경사도에 관한 손실함수의 출력값을 측정하는 단계; 및 상기 손실함수의 출력값을 기초로 상기 횡격막 평균 도형의 좌표를 최적화하여 상기 횡격막 도형을 생성하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 횡격막 평균 도형의 좌표를 최적화하여 상기 횡격막 도형을 생성하는 단계는, 상기 손실함수의 출력값이 최소화되도록 상기 횡격막 평균 도형의 좌표를 최적화함으로써 수행될 수 있다.
예시적인 실시예에 따르면, 적어도 하나의 횡격막 주변 장기 및 적어도 하나의 뼈 부위 중 적어도 하나 기준으로 복수의 상기 제 1 의료 영상을 정규화하는 단계를 더 포함할 수 있다.
예시적인 실시예에 따르면, 상기 제 1 의료 영상을 정규화하는 단계는, 상기 횡격막 주변 장기 및 상기 뼈 부위 중 적어도 하나를 기준으로 상기 제 1 의료 영상의 적어도 일부 영역을 추출, 확대, 축소 또는 회전함으로써 수행할 수 있다.
예시적인 실시예에 따르면, 상기 횡격막 도형을 상기 제 2 의료 영상과 함께 렌더링하여 표시하는 단계를 더 포함할 수 있다.
본 개시의 기술적 사상에 의한 일 양태에 따르면, 흉부 영상으로부터 횡격막을 검출하기 위한 장치는, 적어도 하나의 프로세서; 상기 프로세서에 의해 실행 가능한 프로그램을 저장하는 메모리; 및 상기 프로세서는, 상기 프로그램을 실행함으로써, 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 복수의 제 1 의료 영상을 획득하고, 복수의 상기 제 1 의료 영상으로부터 횡격막에 대응하는 횡격막 평균 도형을 추출하며, 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 제 2 의료 영상을 입력받고, 상기 횡격막 평균 도형에 관한 정보를 기초로, 상기 제 2 의료 영상에 상기 횡격막 평균 도형을 정합하여 배치하며, 상기 횡격막 평균 도형의 적어도 일부의 좌표를 변환함으로써, 상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성할 수 있다.
본 개시의 기술적 사상에 의한 실시예들에 따른 횡격막을 검출하는 방법 및 이를 위한 장치에 따르면, 해부학적인 특징을 반영하여 생성된 평균 도형을 이용하여 횡격막에 대한 추출을 수행함으로써, 경계가 불분명한 부분을 추출함에 있어 추출 대상이 해부학적으로 가능한 형태에서 벗어나지 않도록 하는 효과가 있다.
본 개시의 기술적 사상에 따른 횡격막을 검출하는 방법 및 이를 위한 장치가 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 실시예에 따른 횡격막 검출 방법을 설명하기 위한 흐름도이다.
도 2는 본 개시의 실시예에 따른 횡격막 검출 방법을 설명하기 위한 흐름도이다.
도 3은 도 2의 S240 단계에 대한 일 실시예를 설명하기 위한 흐름도이다.
도 4 내지 도 6은 본 개시의 실시예에 따라 횡격막의 검출이 수행되는 과정을 예시적으로 도시하는 도면이다.
도 7은 본 개시의 실시예에 따른 횡격막 검출 장치의 구성을 간략히 도시한 블록도이다.
본 개시의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 그러나, 이는 본 개시의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 개시의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 개시의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 개시에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 개시에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
그리고 본 개시에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
본 개시의 실시예에 따른 방법은 연산 능력을 구비한 개인용 컴퓨터(Personal Computer), 워크스테이션(work station), 서버용 컴퓨터 장치 등에서 수행되거나 이를 위한 별도의 장치에서 수행될 수 있다.
또한, 방법은 하나 이상의 연산 장치들에서 수행될 수도 있다. 예를 들어, 본 개시의 실시예에 따른 방법(100) 중 적어도 하나 이상의 단계들은 클라이언트 디바이스에서, 다른 단계들은 서버 디바이스에서 수행될 수 있다. 이러한 경우, 클라이언트 디바이스와 서버 디바이스는 네트워크로 연결되어 연산 결과를 송수신할 수 있다. 또는, 방법(100)은 분산 컴퓨팅 기술에 의해 수행될 수도 있다.
이하, 본 개시의 실시예들을 차례로 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 횡격막 검출 방법을 설명하기 위한 흐름도이다.
보다 구체적으로, 도 1은 본 개시의 실시예에 따른 횡격막 검출 방법에서, 횡격막 평균 도형을 생성하는 과정을 설명하기 위한 흐름도이다.
S110 단계에서, 장치는 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 복수의 제 1 의료 영상을 획득할 수 있다.
예를 들어, 제 1 의료 영상은 외부의 데이터 베이스 서버로부터 수신되거나, 장치와 유, 무선 통신을 통해 연결된 촬영 장치(CT)로부터 촬영을 통해 획득될 수 있다.
실시예에서, 제 1 의료 영상은 복수의 대상자에 대하여 흉부를 포함하는 신체 부위를 단층 촬영함으로써 생성된 CT(Computed Tomography) 영상일 수 있다. 즉, 제 1 의료 영상은 컴퓨터 단층 촬영 방법을 통해 복수의 대상자에 대하여 흉부를 포함하는 신체 부위를 일 방향으로 연속하여 촬영함으로써, 생성되는 복수의 2차원 슬라이스 영상(즉, 영상군)으로 구성되거나, 이를 기초로 생성되는 3차원 영상일수 있다.
S120 단계에서, 장치는 복수의 제 1 의료 영상을 횡격막 평균 도형을 추출하기에 적합한 소정의 형식으로 정규화(standardization)할 수 있다.
예를 들어, 장치는 제 1 의료 영상 중 적어도 일부 영역을 추출하거나, 이를 확대, 축소 및/또는 회전함으로써, 정규화를 수행할 수 있다.
실시예에서, S120 단계는 적어도 하나의 횡격막 주변 장기 및 적어도 하나의 뼈 부위 중 적어도 하나 기준으로 수행될 수 있다.
예를 들어, 장치는 제 1 의료 영상 각각에 대하여 횡격막 주변 장기인 심장, 간, 위장만이 포함되도록 영상의 일부 영역을 추출(절개)하거나, 각각의 제 1 의료 영상으로부터 추출된 영역들을 확대, 축소 및/또는 회전함으로, 제 1 의료 영상들을 서로 대응하는 형식으로 정규화할 수 있다. 또한, 예를 들어, 장치는, 척추 및 갈비뼈를 기준으로 제 1 의료 영상을 각각 확대, 축소 및/또는 회전함으로, 제 1 의료 영상들을 서로 대응하는 형식으로 정규화할 수 있다.
다만, 이는 예시적인 것으로서 실시예에 따라, 장치는 다양한 기준점을 기준으로 정규화를 수행할 수 있다.
S120 단계를 통해, 복수의 제 1 의료 영상에 포함된 소정의 장기, 뼈 부위 등이 서로 대응하는 크기, 각도 등으로 변형되어 서로 인접한 3차원 공간 좌표 상에 배치될 수 있다.
S130 단계에서, 장치는 정규화된 복수의 제 1 의료 영상으로부터 횡격막에 대응하는 횡격막 평균 도형 및 횡격막 평균 도형 주변의 픽셀 경사도를 추출할 수 있다.
실시예에서, 횡격막 평균 도형의 추출은 미리 학습된 네트워크 함수를 통해 수행될 수 있다. 즉, 네트워크 함수가 학습 데이터(예를 들어, 전문가, 검사 등을 통해 라벨링된 횡격막 부위가 포함된 CT 영상)를 통해 사전에 횡격막 추출에 대한 학습이 수행된 것일 수 있다.
여기서, 네트워크 함수는 신경망 네트워크 및/또는 뉴럴 네트워크(neural network)와 동일한 의미로 사용될 수 있다. 뉴럴 네트워크(신경망)는 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있고, 이러한 노드들은 뉴런으로 지칭될 수 있다. 뉴럴 네트워크는 일반적으로 복수의 노드들을 포함하여 구성되며, 뉴럴 네트워크를 구성하는 노드들은 하나 이상의 링크에 의해 상호 연결될 수 있다. 이때, 뉴럴 네트워크를 구성하는 노드들 중 일부는 최초 입력 노드로부터의 거리들에 기초하여 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은 n 레이어를 구성할 수 있다. 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함할 수 있다
또한, 실시예에 따라, 횡격막 평균 도형의 추출은 픽셀값의 변화에 기초하여 이미지 프로세싱을 통해 수행될 수 있다. 다만, 이는 예시적인 것으로서, 이에 한정되지는 않는다.
한편, 도시되어 있지는 않지만, 장치는 추출된 횡격막 평균 도형에 관한 정보를 저장할 수 있다. 횡격막 평균 도형은 3차원 공간에서 굴곡이 존재하는 면으로 표현될 수 있으며, 횡격막 평균 도형에 관한 정보에는 상기 면을 구성하는 3차원 공간 상의 좌표에 관한 정보와 횡격막 평균 도형 주변의 픽셀 경사도에 관한 정보를 포함할 수 있다.
또한, S120 단계와 S130 단계가, 3차원의 제 1 의료 영상을 기준으로 3차원 좌표 공간 상에서 수행되는 것으로 기술되어 있으나, 이는 예시적인 것이며, 실시예에 따라, S120 단계와 S130 단계는 제 1 의료 영상을 구성하는 복수의 2차원 영상(즉, 슬라이스 영상)에 대하여 각각 수행될 수 있다. 이 경우, S130 단계에서, 각각의 2차원 영상으로부터 횡격막 평균 도형을 추출하고 이들을 적층함으로써, 3차원의 횡격막 평균 도형을 생성할 수 있다.
도 2는 본 개시의 실시예에 따른 횡격막 검출 방법을 설명하기 위한 흐름도이며, 도 3은 도 2의 S240 단계에 대한 일 실시예를 설명하기 위한 흐름도이다.
구체적으로, 도 2 및 도 3은 본 개시의 실시예에 따른 횡격막 검출 방법에서, 입력되는 제 2 의료 영상으로부터 횡격막 도형을 형성하는 과정을 설명하기 위한 흐름도이다.
방법(200)은 도 1을 참조하여 상술된 방법(100) 이후에 수행될 수 있다.
S210 단계에서, 장치는 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 제 2 의료 영상을 입력받을 수 있다. 여기서, 제 2 의료 영상은 횡격막에 대한 검출이 요청된 입력 영상으로서, 예를 들어, 외부의 데이터 베이스 서버로부터 수신되거나, 장치와 유, 무선 통신을 통해 연결된 촬영 장치로부터 촬영을 통해 입력될 수 있다.
실시예에서, 제 2 의료 영상은 제 1 의료 영상과 동일하게 CT(Computed Tomography) 영상일 수 있으며, 복수의 2차원 슬라이스 영상(즉, 영상군)으로 구성되거나, 이를 기초로 생성되는 3차원 영상일수 있다.
S220 단계에서, 장치는 제 2 의료 영상을 제 1 의료 영상에 대응하여 변형할 수 있다. 즉, 장치는 횡격막 평균 도형의 추출에 이용되었던 제 1 의료 영상(즉, 정규화된 제 1 의료 영상)에 대응하도록 제 2 의료 영상의 적어도 일부 영역을 추출하거나, 확대, 축소 및/또는 회전시킬 수 있으며, 이에 따라, 제 2 의료 영상은 횡격막 추출에 적합하게 변형될 수 있다. 이때, 변형된 제 2 의료 영상은 횡격막 평균 도형의 추출에 이용된 제 1 의료 영상에 대응하도록 동일한 3차원 좌표 공간 상에 매핑될 수 있다.
S220 단계는, 도 1을 참조하여 상술한 S120 단계와 동일하게, 단계는 적어도 하나의 횡격막 주변 장기(심장, 간, 위장 등) 및 적어도 하나의 뼈 부위(척추, 갈비뼈 등) 중 적어도 하나 기준으로 수행될 수 있다.
S230 단계에서, 장치는 횡격막 평균 도형에 관한 정보를 기초로, 횡격막 평균 도형을 제 2 의료 영상에 정합하여 배치할 수 있다. 즉, 횡격막 평균 도형의 좌표에 기초하여, 변형된 제 2 의료 영상의 소정의 위치에 횡격막 평균 도형을 배치할 수 있다.
이때, 횡격막 평균 도형은 도 1을 참조하여 상술한 방법(100)에 의해 복수의 제 1 의료 영상으로부터 추출(또는, 생성)된 것일 수 있다.
*실시예에 따라, 장치는 횡격막 평균 도형을 제 2 의료 영상을 구성하는 복수의 2차원 영상(즉, 슬라이스 영상)에 각각 배치시킬 수 있다. 이 경우, 이하 상술되는 S240 단계는 각각의 2차원 영상에 대하여 수행될 수 있다.
S240 단계에서, 장치는 제 2 의료 영상에 배치된 횡격막 평균 도형의 적어도 일부에 대한 좌표를 변환함으로써, 횡격막 평균 도형으로부터 제 2 의료 영상에 포함된 횡격막에 대응하는 횡격막 도형을 생성할 수 있다.
일 실시예에서, S240 단계는, 도 3에서 도시되는 바와 같이, S310 단계 및 S320 단계를 포함할 수 있다.
S310 단계에서, 장치는 횡격막 평균 도형의 적어도 일부의 좌표를 3차원 좌표 공간 상에서 수직 또는 수평 방향으로 변환하면서, 이에 대응하여 횡격막 평균 도형 주변의 픽셀 경사도에 대한 손실함수의 출력값을 측정할 수 있다.
이어서, S320 단계에서, 장치는 손실함수의 출력값에 기초하여, 횡격막 평균 도형의 좌표를 최적화함으로써, 제 2 의료 영상에 포함된 횡격막에 대응하는 횡격막 도형을 생성할 수 있다.
즉, 손실함수는 제 2 의료 영상에 포함된 횡격막과 횡격막 평균 도형이 상호 위치와 모양이 유사해질수록 낮은 값을 출력하게 되며, 이러한 손실함수의 출력값을 감소시키는 반복적인 과정(좌표 변환 -> 손실함수의 출력값 측정)을 통해 횡격막 평균 도형의 좌표를 최적화함으로써, 횡격막 도형을 생성할 수 있다.
이를 위해, 확률적 경사 하강법(stochastic gradient descent) 등이 적용될 수 있으나, 이에 한정되는 것은 아니다.
S250 단계에서, 장치는 생성된 횡격막 도형을 원본 제 2 의료 영상에 대응하도록 역변환하고, 제 2 의료 영상과 함께 렌더링하여 표시할 수 있다.
즉, 장치는 횡격막 도형을 S220 단계 수행 전의 제 2 의료 영상과 동일한 형식으로 역변환을 수행하고, 이후 변환된 횡격막 도형의 좌표에 기초하여, 제 2 의료 영상의 적어도 일부와 함께 3차원 공간 상에 렌더링을 수행할 수 있다. 이에 따라, 제 2 의료 영상에 포함된 횡격막은 주변 장기(심장, 간, 위장 등) 및 뼈 부위(척추, 갈비뼈 등)와 함께 3차원 공간에 렌더링되어 사용자에게 표시될 수 있다.
도 4 내지 도 6은 본 개시의 실시예에 따라 횡격막의 검출이 수행되는 과정을 예시적으로 도시하는 도면이다.
먼저, 도 4를 참조하면, 복수의 제 1 의료 영상은 일정한 형식(또는, 기준)에 따라 횡격막 평균 도형의 추출에 적합하도록 정규화될 수 있다. 이러한, 정규화 과정은 적어도 하나의 주변 장기 및/또는 적어도 하나의 뼈 부위를 기준으로 제 1 의료 영상의 적어도 일부 영역을 추출하거나, 추출된 영역을 확대, 축소 및/또는 회전함으로써 수행될 수 있다.
예를 들어, 3차원 좌표 공간에서, x축(좌, 우) 방향으로는 폐를 포함한 흉곽 전체를 포함하고, y축(상, 하) 방향으로 흉추 1번(T1)부터 갈비뼈 7번까지 포함하며, z축(앞, 뒤) 방향으로 척추부터 흉골(sternum) 모두를 포함하도록 제 1 의료 영상의 일부 영역을 추출하는 방식으로 정규화를 수행할 수 있다.
상술한 바와 같이, 횡격막 도형을 생성하기 위하여 제 2 의료 영상에 대해서도 유사한 방식을 통해 정규화된 제 1 의료 영상에 대응하도록 변환이 수행될 수 있다.
도 5를 참조하면, 복수의 제 1 의료 영상으로부터 추출 또는 생성된 횡격막 평균 도형(510)이 제 2 의료 영상의 횡격막을 추출하기 위하여, 제 2 의료 영상에 배치될 수 있다. 이어서, 횡격막 평균 도형(510)의 3차원 상의 좌표를 변환하고, 변환에 따른 손실함수의 출력값을 측정하는 과정을 반복 수행하여, 제 2 의료 영상의 횡격막에 대응하는 횡격막 도형(520)을 생성할 수 있게 된다.
도 6을 참조하면, 생성된 횡격막 도형이 제 2 의료 영상에 포함된 적어도 하나의 장기 및/또는 뼈 부위와 함께 3차원 렌더링됨으로써, 사용자에게 표시될 수 있다. 사용자는 렌더링 화면을 통해, 횡격막(610)의 형상 및 위치 등을 용이하게 확인할 수 있게 된다.
도 7은 본 개시의 실시예에 따른 횡격막 검출 장치의 구성을 간략히 도시한 블록도이다.
통신부(710)는 횡격막 검출을 수행하기 위한 입력 데이터(흉부 CT 영상 등)를 수신할 수 있다. 통신부(710)는 유무선 통신부를 포함할 수 있다. 통신부(710)가 유선 통신부를 포함하는 경우, 통신부(710)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 통하여 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 또한, 통신부(710)가 무선 통신부를 포함하는 경우, 통신부(710)는 셀룰러 통신, 무선랜(예를 들어, 와이-파이(Wi-Fi)) 등을 이용하여 무선으로 데이터 또는 신호를 송수신할 수 있다. 실시예에서, 통신부는 프로세서(740)의 제어에 의해 외부 장치 또는 외부 서버와 데이터 또는 신호를 송수신할 수 있다.
입력부(720)는 외부의 조작을 통해 다양한 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(720)는 하나 이상의 입력 장치를 포함하거나 연결할 수 있다. 예를 들어, 입력부(720)는 키패드, 마우스 등 다양한 입력을 위한 인터페이스와 연결되어 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(720)는 USB 포트 뿐만 아니라 선더볼트 등의 인터페이스를 포함할 수도 있다. 또한, 입력부(720)는 터치스크린, 버튼 등의 다양한 입력 장치를 포함하거나 이들과 결합하여 외부의 사용자 명령을 수신할 수 있다.
메모리(730)는 프로세서(740)의 동작을 위한 프로그램 및/또는 프로그램 명령을 저장할 수 있고, 입/출력되는 데이터들을 임시 또는 영구 저장할 수 있다. 메모리(730)는 플래시 메모리(flash memory) 타입, 하드디스크(hard disk) 타입, 멀티미디어 카드 마이크로(multimedia card micro) 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM, 롬(ROM), EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 메모리(730)는 다양한 네트워크 함수 및 알고리즘을 저장할 수 있으며, 장치(700)를 구동하고 제어하기 위한 다양한 데이터, 프로그램(하나 이상이 인스트럭션들), 어플리케이션, 소프트웨어, 명령, 코드 등을 저장할 수 있다.
프로세서(740)는 장치(700)의 전반적인 동작을 제어할 수 있다. 프로세서(740)는 메모리(730)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(740)는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU) 또는 본 개시의 기술적 사상에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
실시예에서, 프로세서(740)는 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 복수의 제 1 의료 영상을 획득하고, 복수의 상기 제 1 의료 영상으로부터 횡격막에 대응하는 횡격막 평균 도형을 추출하며, 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 제 2 의료 영상을 입력받고, 상기 횡격막 평균 도형에 관한 정보를 기초로, 상기 제 2 의료 영상에 상기 횡격막 평균 도형을 정합하여 배치하며, 상기 횡격막 평균 도형의 적어도 일부의 좌표를 변환함으로써, 상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성할 수 있다. 여기서, 횡격막 평균 도형에 관한 정보는 상기 횡격막 평균 도형의 좌표 및 상기 횡격막 평균 도형 주변의 픽셀 경사도에 관한 정보를 포함할 수 있다.
실시예에서, 프로세서(740)는 상기 횡격막 평균 도형의 좌표 변환에 대응하여, 상기 횡격막 평균 도형 주변의 픽셀 경사도에 관한 손실함수의 출력값을 측정하고, 상기 손실함수의 출력값에 기초하여 상기 횡격막 평균 도형의 좌표를 최적화함으로써, 상기 횡격막 도형을 생성할 수 있다.
실시예에서, 프로세서(740)는 상기 손실함수의 출력값이 최소화되도록 상기 횡격막 평균 도형의 좌표를 최적화함으로써 횡격막 도형을 생성할 수 있다.
실시예에서, 프로세서(740)는 적어도 하나의 횡격막 주변 장기 및 적어도 하나의 뼈 부위 중 적어도 하나 기준으로 복수의 상기 제 1 의료 영상을 정규화할 수 있다.
실시예에서, 프로세서(740)는 상기 횡격막 주변 장기 및 상기 뼈 부위 중 적어도 하나를 기준으로 상기 제 1 의료 영상의 적어도 일부 영역을 추출, 확대, 축소 또는 회전함으로써 상기 정규화를 수행할 수 있다.
실시예에서, 프로세서(740)는 상기 횡격막 도형을 상기 제 2 의료 영상과 함께 렌더링하여 표시할 수 있다.
본 개시의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제 3 장치로 전송되거나, 제 3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속한다.

Claims (8)

  1. 흉부 영상으로부터 횡격막을 검출하는 방법에 있어서,
    흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 복수의 제 1 의료 영상을 획득하는 단계;
    복수의 상기 제 1 의료 영상으로부터 횡격막에 대응하는 횡격막 평균 도형을 추출하는 단계;
    흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 제 2 의료 영상을 입력받는 단계;
    상기 횡격막 평균 도형에 관한 정보를 기초로, 상기 제 2 의료 영상에 상기 횡격막 평균 도형을 정합하여 배치하는 단계; 및
    상기 횡격막 평균 도형의 적어도 일부의 좌표를 변환함으로써, 상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 횡격막 평균 도형에 관한 정보는 상기 횡격막 평균 도형의 좌표 및 상기 횡격막 평균 도형 주변의 픽셀 경사도에 관한 정보를 포함하고,
    상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성하는 단계는,
    상기 횡격막 평균 도형의 좌표 변환에 대응하여, 상기 횡격막 평균 도형 주변의 픽셀 경사도에 관한 손실함수의 출력값을 측정하는 단계; 및
    상기 손실함수의 출력값을 기초로 상기 횡격막 평균 도형의 좌표를 최적화하여 상기 횡격막 도형을 생성하는 단계를 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 횡격막 평균 도형의 좌표를 최적화하여 상기 횡격막 도형을 생성하는 단계는,
    상기 손실함수의 출력값이 최소화되도록 상기 횡격막 평균 도형의 좌표를 최적화함으로써 수행되는, 방법.
  4. 제 1 항에 있어서,
    적어도 하나의 횡격막 주변 장기 및 적어도 하나의 뼈 부위 중 적어도 하나 기준으로 복수의 상기 제 1 의료 영상을 정규화하는 단계를 더 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 제 1 의료 영상을 정규화하는 단계는,
    상기 횡격막 주변 장기 및 상기 뼈 부위 중 적어도 하나를 기준으로 상기 제 1 의료 영상의 적어도 일부 영역을 추출, 확대, 축소 또는 회전함으로써 수행되는, 방법.
  6. 제 1 항에 있어서,
    상기 횡격막 도형을 상기 제 2 의료 영상과 함께 렌더링하여 표시하는 단계를 더 포함하는, 방법.
  7. 흉부 영상으로부터 횡격막을 검출하는 장치에 있어서,
    적어도 하나의 프로세서;
    상기 프로세서에 의해 실행 가능한 프로그램을 저장하는 메모리; 및
    상기 프로세서는, 상기 프로그램을 실행함으로써, 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 복수의 제 1 의료 영상을 획득하고, 복수의 상기 제 1 의료 영상으로부터 횡격막에 대응하는 횡격막 평균 도형을 추출하며, 흉부를 포함하는 신체 부위의 연속적인 부피에 대응하여 생성된 제 2 의료 영상을 입력받고, 상기 횡격막 평균 도형에 관한 정보를 기초로, 상기 제 2 의료 영상에 상기 횡격막 평균 도형을 정합하여 배치하며, 상기 횡격막 평균 도형의 적어도 일부의 좌표를 변환함으로써, 상기 제 2 의료 영상에 대응하는 횡격막 도형을 생성하는, 장치.
  8. 제 1 항 내지 제 6 항 중 어느 한 항의 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2022/008377 2021-10-07 2022-06-14 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치 WO2023058837A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210133060A KR102444581B1 (ko) 2021-10-07 2021-10-07 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치
KR10-2021-0133060 2021-10-07

Publications (1)

Publication Number Publication Date
WO2023058837A1 true WO2023058837A1 (ko) 2023-04-13

Family

ID=83460738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008377 WO2023058837A1 (ko) 2021-10-07 2022-06-14 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치

Country Status (2)

Country Link
KR (1) KR102444581B1 (ko)
WO (1) WO2023058837A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013026A (ko) * 2009-07-31 2011-02-09 주식회사 메디슨 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
KR20140096919A (ko) * 2013-01-29 2014-08-06 삼성전자주식회사 의료 영상 정합 방법 및 장치
KR20150082970A (ko) * 2014-01-08 2015-07-16 삼성전자주식회사 영상 생성 장치 및 그 제어 방법
KR20170007209A (ko) * 2015-07-09 2017-01-18 삼성메디슨 주식회사 의료 영상 장치 및 그 동작 방법
KR20170084945A (ko) * 2016-01-13 2017-07-21 삼성메디슨 주식회사 영상 정합 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879553B (zh) * 2005-06-15 2010-10-06 佳能株式会社 在胸部图像中检测边界的方法及装置
JP6492553B2 (ja) * 2014-11-07 2019-04-03 コニカミノルタ株式会社 画像処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013026A (ko) * 2009-07-31 2011-02-09 주식회사 메디슨 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
KR20140096919A (ko) * 2013-01-29 2014-08-06 삼성전자주식회사 의료 영상 정합 방법 및 장치
KR20150082970A (ko) * 2014-01-08 2015-07-16 삼성전자주식회사 영상 생성 장치 및 그 제어 방법
KR20170007209A (ko) * 2015-07-09 2017-01-18 삼성메디슨 주식회사 의료 영상 장치 및 그 동작 방법
KR20170084945A (ko) * 2016-01-13 2017-07-21 삼성메디슨 주식회사 영상 정합 방법 및 장치

Also Published As

Publication number Publication date
KR102444581B9 (ko) 2022-12-05
KR102444581B1 (ko) 2022-09-19

Similar Documents

Publication Publication Date Title
CN107133946B (zh) 医学图像处理方法、装置及设备
WO2021128825A1 (zh) 三维目标检测及模型的训练方法及装置、设备、存储介质
US10178941B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
CN112561908B (zh) 乳腺图像病灶匹配方法、装置及存储介质
WO2016125978A1 (en) Method and apparatus for displaying medical image
WO2022145841A1 (ko) 병변 판독 방법 및 이를 위한 장치
WO2023179719A1 (zh) 医疗设备、胃部三维模型重建方法及其装置
WO2022010075A1 (ko) 의료영상을 기초로 인체 조직을 분석하는 방법 및 그 장치
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
Kovacs et al. Holistic segmentation of the lung in cine MRI
WO2023058837A1 (ko) 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치
WO2020111557A1 (ko) 혈관 지도 구축 장치, 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램
KR102213412B1 (ko) 기복모델 생성방법, 장치 및 프로그램
KR102454374B1 (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치
WO2023282389A1 (ko) 두경부 영상 이미지를 이용한 지방량 산출 방법 및 이를 위한 장치
WO2014204126A2 (ko) 3차원 초음파 촬영장치 및 그 운영방법
EP2343687B1 (en) Tomographic image generating apparatus, tomographic image generating method, and program for generating tomographic images
KR20220143187A (ko) 딥러닝을 이용한 폐기종 자동 추출 방법 및 장치
KR20230049938A (ko) 폐기종의 정량적 분석 방법 및 이를 위한 장치
JP2023019113A (ja) 画像処理装置、画像処理方法およびプログラム
KR20230049936A (ko) 평균 도형을 이용한 횡격막 검출 방법 및 이를 위한 장치
WO2023282388A1 (ko) 갑상선 암의 림프절 전이 진단에 필요한 정보를 제공하는 방법 및 장치
WO2023229415A1 (ko) Ar 영상 제공 방법 및 ar 영상 제공 장치
WO2022145988A1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
KR20230049937A (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878660

Country of ref document: EP

Kind code of ref document: A1