KR20200085012A - Method for measuring lung cancer tumor size and apparatus for executint the method - Google Patents

Method for measuring lung cancer tumor size and apparatus for executint the method Download PDF

Info

Publication number
KR20200085012A
KR20200085012A KR1020190001001A KR20190001001A KR20200085012A KR 20200085012 A KR20200085012 A KR 20200085012A KR 1020190001001 A KR1020190001001 A KR 1020190001001A KR 20190001001 A KR20190001001 A KR 20190001001A KR 20200085012 A KR20200085012 A KR 20200085012A
Authority
KR
South Korea
Prior art keywords
image
ggo
boundary
deep learning
unit
Prior art date
Application number
KR1020190001001A
Other languages
Korean (ko)
Other versions
KR102236617B1 (en
Inventor
이현주
김광기
김영재
Original Assignee
서울대학교병원
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원, 가천대학교 산학협력단 filed Critical 서울대학교병원
Priority to KR1020190001001A priority Critical patent/KR102236617B1/en
Publication of KR20200085012A publication Critical patent/KR20200085012A/en
Application granted granted Critical
Publication of KR102236617B1 publication Critical patent/KR102236617B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

Disclosed are a method for measuring a size of a lung cancer tumor and a device for performing the same. According to one embodiment of the present invention, the device which is a computing device including one or more processors, and a memory for storing one or more programs executed by the processors, comprises: an image acquisition unit for acquiring a tumor-photographed image of a tumor part of a patient; a first boundary detection unit for detecting a boundary of a ground glass opacity (GGO) part from the tumor-photographed image through a first deep learning module; a second boundary detection unit for detecting a boundary of a solid part from the tumor-photographed image through a second deep learning module; and a size measuring unit for measuring the size of the GGO part based on the detected boundary of the GGO part, and measuring the size of the solid part based on the detected boundary of the solid part. Accordingly, each of the sizes of the GGO part and the solid part in the tumor-photographed image can be measured.

Description

폐암 종양 크기 측정 방법 및 이를 수행하기 위한 장치{METHOD FOR MEASURING LUNG CANCER TUMOR SIZE AND APPARATUS FOR EXECUTINT THE METHOD}METHOD FOR MEASURING LUNG CANCER TUMOR SIZE AND APPARATUS FOR EXECUTINT THE METHOD

본 발명의 실시예는 폐암 종양 크기 측정 기술과 관련된다. Embodiments of the invention relate to lung cancer tumor size measurement techniques.

일반적으로, 암 환자의 예후를 예측하기 위해 암 스테이징(Cancer Staging)을 측정하게 된다. 암 스테이징은 TNM(Tumor-Node-Metastasis)로 판단하는데, T(Tumor)는 종양의 크기를 나타내고, N(Node)는 임파선에 퍼진 정도를 나타내며, M(Metastasis)는 다른 장기로의 전이 여부를 나타낸다. 이 중 종양의 크기는 암 환자의 예후를 예측하는데 중요한 판단 요소가 되는 바, 종양의 크기를 정확하게 측정하는 것이 중요하다. In general, cancer staging is measured to predict the prognosis of a cancer patient. Cancer staging is judged by TNM (Tumor-Node-Metastasis), where T (Tumor) indicates the size of the tumor, N (Node) indicates the degree of spread to the lymph nodes, and M (Metastasis) to determine whether metastasis to other organs occurs. Shows. Of these, tumor size is an important judgment factor in predicting the prognosis of a cancer patient, and it is important to accurately measure the tumor size.

한편, 폐암의 경우 CT(Computed Tomography) 영상에 GGO(Ground Glass Opacity : 간유리음영)가 포함되어 있으면, Solid 부분(고형 부분)의 볼륨과 GGO 부분의 볼륨을 별도로 측정하는 것이 암 스테이징을 판단하는데 중요한 요소가 된다.On the other hand, in the case of lung cancer, if CT (Computed Tomography) image includes GGO (Ground Glass Opacity), measuring the volume of the solid part (solid part) and the volume of the GGO part determines the cancer staging. It becomes an important factor.

한국등록특허공보 제10-1664159호(2016.10.12)Korean Registered Patent Publication No. 10-1664159 (2016.10.12)

본 발명의 실시예는 종양 촬영 영상에서 GGO 부분 및 솔리드(Solid) 부분의 크기를 각각 측정할 수 있는 폐암 종양 크기 측정 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다. An embodiment of the present invention is to provide a lung cancer tumor size measuring method capable of measuring the size of a GGO portion and a solid portion in a tumor imaging image, and an apparatus for performing the same.

개시되는 일 실시예에 따른 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 환자의 종양 부분을 촬영한 종양 촬영 영상을 획득하는 영상 획득부; 제1 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 GGO(Ground Glass Opacity) 부분의 경계를 검출하는 제1 경계 검출부; 제2 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 솔리드(Solid) 부분의 경계를 검출하는 제2 경계 검출부; 및 상기 검출된 GGO 부분의 경계를 기반으로 상기 GGO 부분의 크기를 측정하고, 상기 검출된 솔리드 부분의 경계를 기반으로 상기 솔리드 부분의 크기를 측정하는 크기 측정부를 포함한다.The device according to the disclosed embodiment is a computing device having one or more processors, and a memory for storing one or more programs executed by the one or more processors, wherein a tumor imaging image of a tumor portion of a patient is captured. An image acquisition unit to acquire; A first boundary detection unit that detects a boundary of a GGO (Ground Glass Opacity) portion in the tumor imaging image through a first deep learning module; A second boundary detection unit that detects a boundary of a solid portion in the tumor imaging image through a second deep learning module; And a size measuring unit that measures the size of the GGO portion based on the boundary of the detected GGO portion, and measures the size of the solid portion based on the boundary of the detected solid portion.

상기 제1 경계 검출부는, 상기 종양 촬영 영상을 기 설정된 제1 하운스필드 단위 레인지를 가지는 제1 윈도우를 통해 영상 변환하여 GGO 포션 영상을 생성하는 제1 영상 변환부; 및 상기 GGO 포션 영상을 입력 받아 상기 GGO 포션 영상에서 GGO 부분의 경계를 검출하는 제1 딥러닝부를 포함할 수 있다.The first boundary detection unit may include: a first image conversion unit configured to generate a GGO potion image by converting the tumor imaging image through a first window having a preset first sound field field range; And a first deep learning unit that receives the GGO portion image and detects a boundary of the GGO portion in the GGO portion image.

상기 제1 윈도우는, 하운스필드 단위의 기 설정된 제1 윈도우 레벨을 기준으로 기 설정된 제1 윈도우 폭을 가지도록 마련될 수 있다.The first window may be provided to have a preset first window width based on a preset first window level in units of a sound field.

상기 컴퓨팅 장치는, 상기 생성된 GGO 포션 영상을 기 설정된 사이즈로 리사이징하고, 리사이징된 GGO 포션 영상을 상기 제1 딥러닝부로 전달하는 제1 영상 리사이징부를 더 포함할 수 있다.The computing device may further include a first image resizing unit for resizing the generated GGO portion image to a predetermined size and delivering the resized GGO portion image to the first deep learning unit.

상기 제1 딥러닝부는, GGO 포션 영상이 입력되는 경우, 입력된 GGO 포션 영상에서 GGO 부분의 경계를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 포함할 수 있다.The first deep learning unit may include a convolution neural network (CNN) trained to detect and output a boundary of a GGO portion from an input GGO portion image when a GGO portion image is input.

상기 제2 경계 검출부는, 상기 종양 촬영 영상을 기 설정된 제2 하운스필드 단위 레인지를 가지는 제2 윈도우를 통해 영상 변환하여 솔리드 포션 영상을 생성하는 제2 영상 변환부; 및 상기 솔리드 포션 영상 및 상기 GGO 부분의 경계 정보를 입력 받아 상기 솔리드 포션 영상에서 솔리드 부분의 경계를 검출하는 제2 딥러닝부를 포함할 수 있다.The second boundary detection unit may include: a second image conversion unit configured to generate a solid portion image by converting the tumor imaging image through a second window having a preset second sound field field range; And a second deep learning unit that receives boundary information of the solid portion image and the GGO portion and detects a boundary of the solid portion in the solid portion image.

상기 제2 윈도우는, 상기 제1 윈도우 레벨 보다 하운스필드 단위 값이 높은 제2 윈도우 레벨을 기준으로 상기 제1 윈도우 폭보다 좁은 범위의 제2 윈도우 폭을 가지도록 마련될 수 있다. The second window may be provided to have a second window width in a narrower range than the first window width based on a second window level having a higher value of a hounds field unit than the first window level.

상기 컴퓨팅 장치는, 상기 생성된 솔리드 포션 영상을 기 설정된 사이즈로 리사이징하고, 리사이징 된 솔리드 포션 영상을 상기 제2 딥러닝부로 전달하는 제2 영상 리사이징부를 더 포함할 수 있다.The computing device may further include a second image resizing unit that resizes the generated solid portion image to a predetermined size and delivers the resized solid portion image to the second deep learning unit.

상기 제2 딥러닝부는, 솔리드 포션 영상 및 GGO 부분의 경계 정보가 입력되는 경우, 입력된 솔리드 포션 영상에서 솔리드 부분의 경계를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 포함할 수 있다. The second deep learning unit includes a Convolution Neural Network (CNN) trained to detect and output a boundary of a solid portion from the input solid portion image when boundary information of the solid portion image and the GGO portion is input. can do.

개시되는 일 실시예에 따른 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 환자의 종양 부분을 촬영한 종양 촬영 영상을 획득하는 단계; 제1 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 GGO(Ground Glass Opacity) 부분의 경계를 검출하는 단계; 제2 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 솔리드(Solid) 부분의 경계를 검출하는 단계; 상기 검출된 GGO 부분의 경계를 기반으로 상기 GGO 부분의 크기를 측정하는 단계; 및 상기 검출된 솔리드 부분의 경계를 기반으로 상기 솔리드 부분의 크기를 측정하는 단계를 포함한다.The method according to the disclosed embodiment is a method performed in a computing device having one or more processors, and a memory storing one or more programs executed by the one or more processors, wherein a tumor portion of a patient is photographed Obtaining a tumor imaging image; Detecting a boundary of a GGO (Ground Glass Opacity) portion in the tumor imaging image through a first deep learning module; Detecting a boundary of a solid portion in the tumor imaging image through a second deep learning module; Measuring the size of the GGO portion based on the boundary of the detected GGO portion; And measuring the size of the solid part based on the boundary of the detected solid part.

개시되는 실시예에 의하면, GGO를 포함하는 종양 촬영 영상에서 딥러닝 기술을 이용하여 GGO 부분 및 솔리드 부분의 크기를 각각 측정함으로써, GGO 부분 및 솔리드 부분의 크기를 신속하고 정확하게 측정할 수 있으며, 그로 인해 폐암 스테이징에서 환자 예후의 중요한 판단 요소가 되는 T(Tumor) 스테이지를 정확하게 판단할 수 있게 된다. According to the disclosed embodiment, the size of the GGO part and the solid part can be measured quickly and accurately by measuring the sizes of the GGO part and the solid part, respectively, by using deep learning technology in the tumor imaging image including the GGO. Therefore, it is possible to accurately determine the T (Tumor) stage, which is an important judgment factor for patient prognosis in lung cancer staging.

도 1은 7번째 판 폐암 스테이징에서 폐결절의 볼륨을 측정하는 상태를 나타낸 도면
도 2는 8번째 판 폐암 스테이징에서 폐결절의 볼륨을 측정하는 상태를 나타낸 도면
도 3은 본 발명의 일 실시예에 따른 폐암 종양 크기 측정 장치의 구성을 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 폐암 종양 크기 측정 장치에서 제1 경계 측정부 및 제2 경계 측정부의 구성을 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 폐암 종양 크기 측정 방법을 나타낸 흐름도
도 6은 본 발명의 일 실시예에 따른 종양 촬영 영상에서 GGO 포션 영상 및 솔리드 포션 영상을 각각 생성하는 상태를 나타낸 도면
도 7은 본 발명의 실시예에 따른 딥러닝에 의한 경계 검출과 전문가에 의한 경계 검출을 비교한 도면
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a view showing a state of measuring the volume of the pulmonary nodule in the lung cancer staging in the seventh edition
2 is a view showing a state of measuring the volume of the pulmonary nodules in the eighth edition lung cancer staging
3 is a view showing the configuration of a lung cancer tumor size measuring apparatus according to an embodiment of the present invention
4 is a view showing the configuration of the first boundary measurement unit and the second boundary measurement unit in the lung cancer tumor size measuring apparatus according to an embodiment of the present invention
Figure 5 is a flow chart showing a lung cancer tumor size measurement method according to an embodiment of the present invention
FIG. 6 is a view showing a state in which a GGO potion image and a solid potion image are respectively generated from a tumor imaging image according to an embodiment of the present invention.
7 is a diagram comparing boundary detection by deep learning and boundary detection by an expert according to an embodiment of the present invention
8 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is only for describing embodiments of the present invention and should not be limiting. Unless expressly used otherwise, a singular form includes a plural form. In this description, expressions such as “including” or “equipment” are intended to indicate certain characteristics, numbers, steps, actions, elements, parts or combinations thereof, and one or more other than described. It should not be interpreted to exclude the presence or possibility of other characteristics, numbers, steps, actions, elements, or parts or combinations thereof.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, terms such as “transmission”, “communication”, “transmission”, “reception”, and the like of a signal or information are not only those in which a signal or information is directly transmitted from one component to another. This includes passing through other components. In particular, "sending" or "transmitting" a signal or information to a component indicates the final destination of the signal or information and does not mean a direct destination. The same is true for the "reception" of a signal or information. Also, in this specification, when two or more pieces of data or information are “related” means that acquiring one piece of data (or information) can acquire at least part of the other piece of data (or information) based on it.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Further, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may also be referred to as a first component.

이전 판(즉, 7번째 판) 폐암 스테이징(Lung Cancer Staging)에서는 도 1에 도시된 바와 같이, CT(Computed Tomography) 영상에 GGO(Ground Glass Opacity : 간유리음영)가 포함되어 있는 경우, GGO 부분 전체를 포함하여 폐 결절의 볼륨을 측정하고 그에 따라 T(Tumor) 스테이지를 판단하였다. In the previous edition (ie, the 7th edition) of lung cancer staging (Lung Cancer Staging), as shown in FIG. 1, the CT (Computed Tomography) image contains GGO (Ground Glass Opacity: Liver Glass Shading), the GGO part The volume of the lung nodules, including the whole, was measured and the T (Tumor) stage was judged accordingly.

그러나, 2017년 발행된 8번째 판(8th edition) 폐암 스테이징(Lung Cancer Staging)에서는 CT(Computed Tomography) 영상에 GGO가 포함되어 있는 경우, 도 2에 도시된 바와 같이 Solid 부분(고형 부분)의 볼륨만을 측정하여 T(Tumor) 스테이지를 판단하는 것으로 변경되었다. 즉, 임상적으로 Solid 부분(고형 부분)의 바깥쪽에 GGO를 포함하고 있으며 환자의 예후가 더 좋은 것으로 알려짐에 따라, GGO 부분을 포함하는 전체 볼륨이 아닌 Solid 부분의 볼륨만을 측정하여 T 스테이지를 판단하는 것으로 하였다.However, the eighth edition published in 2017 (8 th edition), lung cancer staging (Lung Cancer Staging) In the case that contains the GGO a CT (Computed Tomography) image, the Solid part as shown in Figure 2 (solid portion) of It was changed to determine the T (Tumor) stage by measuring only the volume. That is, as clinically it is known that the GGO is included outside the solid part (solid part) and the patient's prognosis is better, the T stage is determined by measuring only the volume of the solid part, not the entire volume including the GGO part. It was supposed to.

이에 본 발명의 실시예에서는 환부 촬영 영상(예를 들어, CT, MRI 등)에 GGO가 포함되어 있는 경우, 딥 러닝(Deep Learning) 기술을 이용하여 GGO 부분과 Solid 부분의 볼륨을 각각 측정하기 위한 기술을 포함한다.Accordingly, in the embodiment of the present invention, when the GGO is included in the affected part image (eg, CT, MRI, etc.), for measuring the volume of the GGO part and the Solid part, respectively, by using Deep Learning technology Includes technology.

도 3은 본 발명의 일 실시예에 따른 폐암 종양 크기 측정 장치의 구성을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 폐암 종양 크기 측정 장치에서 제1 경계 측정부 및 제2 경계 측정부의 구성을 나타낸 도면이다. 3 is a view showing the configuration of a lung cancer tumor size measuring device according to an embodiment of the present invention, and FIG. 4 is a first boundary measuring unit and a second boundary measuring device in a lung cancer tumor size measuring device according to an embodiment of the present invention It is a diagram showing the structure of a part.

도 3 및 도 4를 참조하면, 폐암 종양 크기 측정 장치(100)는 영상 획득부(102), 제1 경계 검출부(104), 제2 경계 검출부(106), 및 크기 측정부(108)를 포함할 수 있다. 3 and 4, the lung cancer tumor size measuring apparatus 100 includes an image acquisition unit 102, a first boundary detection unit 104, a second boundary detection unit 106, and a size measurement unit 108 can do.

영상 획득부(102)는 환자의 종양 부분을 촬영한 종양 촬영 영상을 획득할 수 있다. 예시적인 실시예서, 종양 촬영 영상은 CT(Computed Tomography) 영상일 수 있으나, 이에 한정되는 것은 아니며 그 이외에 MRI(Magnetic Resonance Imaging) 영상, 초음파 영상 등을 포함할 수 있다. 이하에서는, 종양 촬영 영상이 CT 영상인 것으로 설명하기로 한다. The image acquisition unit 102 may acquire a tumor imaging image of a patient's tumor. In an exemplary embodiment, the tumor imaging image may be a CT (Computed Tomography) image, but is not limited thereto, and may include a Magnetic Resonance Imaging (MRI) image, an ultrasound image, and the like. Hereinafter, it will be described that the tumor imaging image is a CT image.

제1 경계 검출부(104)는 종양 촬영 영상에서 GGO(Ground Glass Opacity) 부분의 경계를 검출할 수 있다. 제1 경계 검출부(104)는 제1 영상 변환부(111), 제1 영상 리사이징부(113), 및 제1 딥러닝부(115)를 포함할 수 있다. The first boundary detection unit 104 may detect the boundary of the GGO (Ground Glass Opacity) portion of the tumor imaging image. The first boundary detection unit 104 may include a first image conversion unit 111, a first image resizing unit 113, and a first deep learning unit 115.

제1 영상 변환부(111)는 종양 촬영 영상을 기 설정된 제1 하운스필드 단위(Hounsfield Unit : HU) 레인지(Range)를 가지는 윈도우(이하, "제1 윈도우"로 지칭할 수 있음)를 통해 영상 변환할 수 있다. 제1 영상 변환부(111)는 종양 촬영 영상을 제1 윈도우를 통해 영상 변환하여 GGO 포션 영상을 생성할 수 있다. 즉, 제1 영상 변환부(111)는 종양 촬영 영상을 제1 윈도우를 통해 영상 변환함으로써, 종양 촬영 영상 중 GGO 포션(Portion)이 잘 드러나 보이도록 하는 GGO 포션 영상을 생성할 수 있다. The first image conversion unit 111 may transmit the tumor imaging image through a window having a preset first Hounsfield Unit (HU) range (hereinafter, referred to as a “first window”). Video can be converted. The first image converter 111 may generate a GGO potion image by converting an image of a tumor image through a first window. That is, the first image converting unit 111 may generate a GGO potion image such that the GGO Portion of the tumor imaging image is clearly visible by converting the tumor imaging image through the first window.

여기서, 제1 윈도우는 기 설정된 제1 윈도우 레벨(Window Level : WL)을 기준으로 기 설정된 제1 윈도우 폭(Window Width : WW)을 가지도록 마련될 수 있다. 제1 윈도우 레벨(WL) 및 제1 윈도우 폭(WW)은 하운스필드 단위(HU)로 표현될 수 있다. 예시적인 실시예에서, 제1 윈도우는 제1 윈도우 레벨(WL)이 -700HU이고, 제1 윈도우 폭(WW)은 1500HU일 수 있다. 즉, 제1 윈도우는 -700HU를 기준으로 1500HU 범위의 하운스 필드 단위 값을 필터링하도록 마련될 수 있다. Here, the first window may be provided to have a preset first window width (Window Width: WW) based on a preset first window level (Window Level: WL). The first window level WL and the first window width WW may be expressed in a hounds field unit HU. In an exemplary embodiment, the first window may have a first window level WL of -700 HU, and the first window width WW may be 1500 HU. That is, the first window may be provided to filter the value of the hound field unit in the range of 1500 HU based on -700 HU.

제1 영상 리사이징부(113)는 GGO 포션 영상을 기 설정된 사이즈로 리사이징(Resizing)할 수 있다. 제1 영상 리사이징부(113)는 GGO 포션 영상을 제1 딥러닝부(115)에서 학습된 이미지들의 사이즈로 리사이징 할 수 있다. 즉, GGO 포션 영상은 제1 딥러닝부(115)의 입력으로 사용되므로, 제1 딥러닝부(115)에서 학습된 이미지들과 동일한 사이즈로 리사이징 될 수 있다. 예시적인 실시예에서, 제1 영상 리사이징부(113)는 GGO 포션 영상을 128 × 128 크기로 리사이징 할 수 있다. The first image resizing unit 113 may resize the GGO potion image to a predetermined size. The first image resizing unit 113 may resize the GGO potion image to the size of the images learned by the first deep learning unit 115. That is, since the GGO potion image is used as an input of the first deep learning unit 115, it can be resized to the same size as the images learned in the first deep learning unit 115. In an exemplary embodiment, the first image resizing unit 113 may resize the GGO potion image to a size of 128 × 128.

제1 딥러닝부(115)는 리사이징 된 GGO 포션 영상을 입력 받아 GGO 포션 영상에서 GGO(Ground Glass Opacity) 부분의 경계를 검출할 수 있다. 제1 딥러닝부(115)는 GGO 포션 영상이 입력되는 경우, 이미 학습된 이미지(즉, GGO 포션 영상)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 GGO 포션 영상에서 GGO 부분(Portion)의 경계를 검출할 수 있다. The first deep learning unit 115 may receive a resized GGO potion image and detect a boundary of a GGO (Ground Glass Opacity) portion in the GGO potion image. When the GGO potion image is input, the first deep learning unit 115 performs deep learning based on the already learned image (ie, the GGO potion image), thereby performing a GGO portion of the input GGO portion image (Portion) ) Boundary can be detected.

예시적인 실시예에서, 제1 딥러닝부(115)는 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제1 딥러닝부(115)는 GGO 포션 영상이 입력되는 경우, 입력된 GGO 포션 영상에서 GGO 부분의 경계를 검출하여 출력하도록 학습된 신경망일 수 있다. 합성곱 신경망은 기 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다. 제1 딥러닝부(115)는 GGO 부분의 경계를 제2 딥러닝부(125)로 전달할 수 있다.In an exemplary embodiment, the first deep learning unit 115 may use a convolution neural network (CNN) as a deep learning technique. In this case, when the GGO portion image is input, the first deep learning unit 115 may be a neural network trained to detect and output a boundary of the GGO portion from the input GGO portion image. Since the convolutional neural network is a well-known technique, detailed description thereof will be omitted. The first deep learning unit 115 may transfer the boundary of the GGO portion to the second deep learning unit 125.

제2 경계 검출부(106)는 종양 촬영 영상에서 솔리드(Solid) 부분(고형 부분)의 경계를 검출할 수 있다. 제2 경계 검출부(106)는 제2 영상 변환부(121), 제2 영상 리사이징부(123), 및 제2 딥러닝부(125)를 포함할 수 있다. The second boundary detection unit 106 may detect a boundary of a solid portion (solid portion) in the tumor imaging image. The second boundary detection unit 106 may include a second image conversion unit 121, a second image resizing unit 123, and a second deep learning unit 125.

제2 영상 변환부(121)는 종양 촬영 영상을 기 설정된 제2 하운스필드 단위(Hounsfield Unit : HU) 레인지(Range)를 가지는 윈도우(이하, "제2 윈도우"로 지칭할 수 있음)를 통해 영상 변환할 수 있다. 제2 영상 변환부(121)는 종양 촬영 영상을 제2 윈도우를 통해 영상 변환하여 솔리드 부분 영상을 생성할 수 있다. 즉, 제2 영상 변환부(121)는 종양 촬영 영상을 제2 윈도우를 통해 영상 변환함으로써, 종양 촬영 영상 중 솔리드 포션(Solid Portion)이 잘 드러나 보이도록 하는 솔리드 포션 영상을 생성할 수 있다. The second image conversion unit 121 uses the window having the preset second Hounsfield Unit (HU) range (hereinafter, referred to as a “second window”) to the tumor imaging image. Video can be converted. The second image conversion unit 121 may generate a solid partial image by converting the tumor imaging image through the second window. That is, the second image conversion unit 121 may generate a solid potion image that makes the solid portion of the tumor imaging image well visible by converting the tumor imaging image through the second window.

여기서, 제2 윈도우는 기 설정된 제2 윈도우 레벨(Window Level : WL)을 기준으로 기 설정된 제2 윈도우 폭(Window Width : WW)을 가지도록 마련될 수 있다. 제2 윈도우 레벨(WL) 및 제2 윈도우 폭(WW)은 하운스필드 단위(HU)로 표현될 수 있다. Here, the second window may be provided to have a preset second window width (Window Width: WW) based on a preset second window level (Window Level: WL). The second window level WL and the second window width WW may be expressed in a hounds field unit HU.

제2 윈도우 레벨은 제1 윈도우 레벨보다 높은 하운스필드 단위 값을 가질 수 있다. 또한, 제2 윈도우 폭은 제1 윈도우 폭보다 좁은 하운스필드 단위 범위를 가질 수 있다. 예시적인 실시예에서, 제2 윈도우는 제2 윈도우 레벨(WL)이 20HU이고, 제2 윈도우 폭(WW)은 400HU일 수 있다. 즉, 제2 윈도우는 20HU를 기준으로 400HU 범위의 하운스 필드 단위 값을 필터링하도록 마련될 수 있다. The second window level may have a value higher than the first window level. In addition, the second window width may have a narrower field range than the first window width. In an exemplary embodiment, the second window may have a second window level (WL) of 20 HU and a second window width (WW) of 400 HU. That is, the second window may be provided to filter the value of the unit of the hound field in the range of 400 HU based on 20 HU.

제2 영상 리사이징부(123)는 솔리드 포션 영상을 기 설정된 사이즈로 리사이징(Resizing)할 수 있다. 제2 영상 리사이징부(123)는 솔리드 포션 영상을 제2 딥러닝부(125)에서 학습된 이미지들의 사이즈로 리사이징 할 수 있다. 즉, 솔리드 포션 영상은 제2 딥러닝부(125)의 입력으로 사용되므로, 제2 딥러닝부(125)에서 학습된 이미지들과 동일한 사이즈로 리사이징 될 수 있다. 예시적인 실시예에서, 제2 영상 리사이징부(123)는 솔리드 포션 영상을 128 × 128 크기로 리사이징 할 수 있다. 제2 영상 리사이징부(123)는 제1 영상 리사이징부(113)에서 GGO 포션 영상을 리사이징시키는 크기와 동일한 크기로 솔리드 포션 영상을 리사이징시킬 수 있다. The second image resizing unit 123 may resize the solid portion image to a predetermined size. The second image resizing unit 123 may resize the solid portion image to the size of the images learned by the second deep learning unit 125. That is, since the solid potion image is used as an input of the second deep learning unit 125, it can be resized to the same size as the images learned in the second deep learning unit 125. In an exemplary embodiment, the second image resizing unit 123 may resize the solid portion image to a size of 128 × 128. The second image resizing unit 123 may resize the solid portion image to the same size as the size of resizing the GGO potion image by the first image resizing unit 113.

제2 딥러닝부(125)는 리사이징 된 솔리드 포션 영상을 입력 받아 솔리드 포션 영상에서 솔리드(Solid) 부분의 경계를 검출할 수 있다. 예시적인 실시예에서, 제2 딥러닝부(125)는 솔리드 포션 영상에서 솔리드 부분의 경계 검출 시 GGO 포션 영상에서 GGO 부분의 경계 정보를 이용할 수 있다. The second deep learning unit 125 may receive a resized solid portion image and detect a boundary of a solid portion in the solid portion image. In an exemplary embodiment, the second deep learning unit 125 may use boundary information of the GGO portion in the GGO portion image when detecting the boundary of the solid portion in the solid portion image.

즉, 제2 딥러닝부(125)는 제2 영상 리사이징부(123)로부터 리사이징 된 솔리드 포션 영상을 입력 받고, 제1 딥러닝부(115)로부터 출력되는 정보(즉, GGO 포션 영상에서 GGO 부분의 경계 정보)를 각각 입력 받을 수 있다. That is, the second deep learning unit 125 receives the resized solid portion image from the second image resizing unit 123 and outputs information from the first deep learning unit 115 (that is, the GGO portion in the GGO portion image) Boundary information).

제2 딥러닝부(125)는 리사이징 된 솔리드 포션 영상 및 GGO 포션 영상에서 GGO 부분의 경계 정보가 입력되는 경우, 이미 학습된 데이터(즉, 솔리드 포션 영상 및 GGO 포션 영상에서 GGO 부분의 경계 정보)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 솔리드 포션 영상에서 솔리드 부분의 경계를 검출할 수 있다. When the boundary information of the GGO portion is input from the resized solid portion image and the GGO portion image, the second deep learning unit 125 has already learned data (ie, the boundary information of the GGO portion in the solid portion image and the GGO portion image). Based on them, deep learning may be performed to detect the boundary of the solid portion in the input solid potion image.

예시적인 실시예에서, 제2 딥러닝부(125)는 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제2 딥러닝부(125)는 솔리드 포션 영상 및 GGO 포션 영상에서 GGO 부분의 경계 정보가 입력되는 경우, 입력된 솔리드 포션 영상에서 솔리드 부분의 경계를 검출하여 출력하도록 학습된 신경망일 수 있다. 여기서, 제2 딥러닝부(125)는 솔리드 포션 영상 중 GGO 부분의 경계 내에서 솔리드 부분을 검출하도록 학습된 신경망일 수 있다.In an exemplary embodiment, the second deep learning unit 125 may use a convolution neural network (CNN) as a deep learning technique. In this case, when the boundary information of the GGO portion is input from the solid portion image and the GGO portion image, the second deep learning unit 125 may be a neural network trained to detect and output the boundary of the solid portion from the input solid portion image. have. Here, the second deep learning unit 125 may be a neural network trained to detect a solid portion within the boundary of the GGO portion of the solid portion image.

크기 측정부(108)는 제1 경계 검출부(104)에서 검출한 GGO 부분의 경계를 기반으로 종양 촬영 영상에서 GGO 부분의 크기를 측정할 수 있다. 또한, 크기 측정부(108)는 제2 경계 검출부(106)에서 검출한 솔리드 부분의 경계를 기반으로 종양 촬영 영상에서 솔리드 부분의 크기를 측정할 수 있다. The size measurement unit 108 may measure the size of the GGO portion in the tumor imaging image based on the boundary of the GGO portion detected by the first boundary detection unit 104. In addition, the size measurement unit 108 may measure the size of the solid portion in the tumor imaging image based on the boundary of the solid portion detected by the second boundary detection unit 106.

한편, 종양 촬영 영상이 CT 영상인 경우, 영상 레이어 별로 종양 촬영 영상을 획득하고, 각 영상 레이어의 종양 촬영 영상에 대해 GGO 부분의 경계 및 솔리드 부분의 경계를 검출할 수 있다. 그리고, 크기 측정부(108)는 각 영상 레이어의 GGO 부분의 경계를 적층하여 GGO 부분의 볼륨을 측정하고, 각 영상 레이어의 솔리드 부분의 경계를 적층하여 솔리드 부분의 볼륨을 측정할 수 있다. Meanwhile, when the tumor imaging image is a CT image, tumor imaging images are acquired for each image layer, and the boundary between the GGO portion and the solid portion can be detected for the tumor imaging image of each image layer. In addition, the size measurement unit 108 may measure the volume of the GGO portion by stacking the boundaries of the GGO portion of each image layer, and measure the volume of the solid portion by stacking the boundaries of the solid portion of each image layer.

개시되는 실시예에 의하면, GGO를 포함하는 종양 촬영 영상에서 딥러닝 기술을 이용하여 GGO 부분 및 솔리드 부분의 크기를 각각 측정함으로써, GGO 부분 및 솔리드 부분의 크기를 신속하고 정확하게 측정할 수 있으며, 그로 인해 폐암 스테이징에서 환자 예후의 중요한 판단 요소가 되는 T(Tumor) 스테이지를 정확하게 판단할 수 있게 된다. According to the disclosed embodiment, the size of the GGO part and the solid part can be measured quickly and accurately by measuring the sizes of the GGO part and the solid part, respectively, by using deep learning technology in the tumor imaging image including the GGO. Therefore, it is possible to accurately determine the T (Tumor) stage, which is an important judgment factor for patient prognosis in lung cancer staging.

도 5는 본 발명의 일 실시예에 따른 폐암 종양 크기 측정 방법을 나타낸 흐름도이다. 도 5에 도시된 방법은 예를 들어, 전술한 폐암 종양 크기 측정 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.5 is a flowchart illustrating a method for measuring lung cancer tumor size according to an embodiment of the present invention. The method illustrated in FIG. 5 may be performed, for example, by the lung cancer tumor size measuring apparatus 100 described above. In the illustrated flow chart, the method is described by dividing it into a plurality of steps, but at least some of the steps are performed by reversing the order, combined with other steps, omitted together, divided into detailed steps, or not shown. One or more steps can be performed in addition.

도 5를 참조하면, 폐암 종양 크기 측정 장치(100)는 환자의 종양 부분을 촬영한 종양 촬영 영상을 획득한다(S 101). 여기서, 종양 촬영 영상은 GGO(Ground Glass Opacity)를 포함하는 영상일 수 있다. Referring to FIG. 5, the lung cancer tumor size measuring apparatus 100 acquires a tumor imaging image of a patient's tumor (S 101 ). Here, the tumor imaging image may be an image including GGO (Ground Glass Opacity).

다음으로, 폐암 종양 크기 측정 장치(100)는 종양 촬영 영상을 제1 윈도우를 통해 영상 변환하여 GGO 포션 영상을 생성하고(S 103), 종양 촬영 영상을 제2 윈도우를 통해 영상 변환하여 솔리드 포션 영상을 생성한다(S 105). 도 6은 본 발명의 실시예에서 종양 촬영 영상(도 6의 (a))에 제1 윈도우를 적용하여 GGO 포션 영상을 생성한 상태(도 6의 (b)) 및 종양 촬영 영상에 제2 윈도우를 적용하여 솔리드 포션 영상을 생성한 상태(도 6의 (c))를 나타낸 도면이다. Next, the lung cancer tumor size measuring apparatus 100 generates a GGO potion image by converting an image of a tumor image through a first window (S 103), and converts an image of a tumor image through a second window to convert a solid portion image. Create (S 105). 6 is a state in which a GGO potion image is generated by applying a first window to an oncology image (FIG. 6 (a)) in the embodiment of the present invention (FIG. 6 (b)) and a second window on the tumor image. A diagram showing a state (FIG. 6C) in which a solid potion image is generated by applying.

다음으로, 폐암 종양 크기 측정 장치(100)는 GGO 포션 영상을 기 설정된 사이즈로 리사이징하고(S 107), 솔리드 포션 영상을 기 설정된 사이즈로 리사이징한다(S 109). 폐암 종양 크기 측정 장치(100)는 GGO 포션 영상 및 솔리드 포션 영상을 동일한 사이즈로 리사이징할 수 있다.Next, the lung cancer tumor size measuring apparatus 100 resizes the GGO potion image to a preset size (S 107), and resizes the solid potion image to a preset size (S 109). The lung cancer tumor size measuring apparatus 100 may resize the GGO potion image and the solid potion image to the same size.

다음으로, 폐암 종양 크기 측정 장치(100)는 제1 딥러닝 모듈로 GGO 포션 영상을 입력하여 GGO 포션 영상에서 GGO 부분의 경계를 검출한다(S 111). 제1 딥러닝 모듈은 폐암 종양 크기 측정 장치(100) 내에 구현될 수 있으나, 이에 한정되는 것은 아니며 폐암 종양 크기 측정 장치(100)와 연동되는 외부 장치 또는 시스템으로 구현될 수도 있다. Next, the lung cancer tumor size measuring apparatus 100 detects the boundary of the GGO portion in the GGO portion image by inputting the GGO portion image into the first deep learning module (S111). The first deep learning module may be implemented in the lung cancer tumor size measuring apparatus 100, but is not limited thereto, and may be implemented as an external device or system interworking with the lung cancer tumor size measuring apparatus 100.

다음으로, 폐암 종양 크기 측정 장치(100)는 제2 딥러닝 모듈로 솔리드 포션 영상 및 GGO 포션 영상에서 GGO 부분의 경계 정보를 입력하여 솔리드 포션 영상에서 솔리드 부분의 경계를 검출한다(S 113). 제2 딥러닝 모듈은 제1 딥러닝 모듈과는 독립된 딥러닝을 수행하는 것으로, 폐암 종양 크기 측정 장치(100) 내에 구현될 수 있으나, 이에 한정되는 것은 아니며 폐암 종양 크기 측정 장치(100)와 연동되는 외부 장치 또는 시스템으로 구현될 수도 있다. Next, the lung cancer tumor size measuring apparatus 100 detects the boundary of the solid portion in the solid portion image by inputting the boundary information of the GGO portion in the solid portion image and the GGO portion image with the second deep learning module (S 113). The second deep learning module performs deep learning independent of the first deep learning module, and may be implemented in the lung cancer tumor size measuring apparatus 100, but is not limited thereto, and is interlocked with the lung cancer tumor size measuring apparatus 100. It may be implemented as an external device or system.

다음으로, 폐암 종양 크기 측정 장치(100)는 GGO 부분의 경계를 기반으로 종양 촬영 영상에서 GGO 부분의 크기를 측정하고(S 115), 솔리드 부분의 경계를 기반으로 종양 촬영 영상에서 솔리드 부분의 크기를 측정한다(S 117).Next, the lung cancer tumor size measuring apparatus 100 measures the size of the GGO portion in the tumor imaging image based on the boundary of the GGO portion (S 115), and the size of the solid portion in the tumor imaging image based on the boundary of the solid portion Is measured (S 117).

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.In this specification, a module may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the "module" may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and does not necessarily mean a physically connected code or a type of hardware. .

도 7은 본 발명의 실시예에 따른 딥러닝에 의한 경계 검출과 전문가에 의한 경계 검출을 비교한 도면이다. 도 7에서 Gold Standard는 폐암 전문 의사에 의한 경계 검출을 나타낸다. 7 is a diagram comparing boundary detection by deep learning and boundary detection by an expert according to an embodiment of the present invention. In FIG. 7, Gold Standard indicates boundary detection by a lung cancer specialist.

도 7을 참조하면, 종양 촬영 영상(원영상)에서 폐암 전문의(Gold Standard)가 검출한 GGO 부분 경계 및 솔리드 부분 경계와 본 발명의 실시예에 따른 딥 러닝에 의해 검출한 GGO 부분 경계 및 솔리드 부분 경계가 거의 동일한 것을 볼 수 있다. Referring to FIG. 7, a GGO partial boundary and a solid partial boundary detected by a lung cancer specialist in a tumor imaging image (original image) and a GGO partial boundary and solid detected by deep learning according to an embodiment of the present invention You can see that the partial boundaries are almost the same.

도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.8 is a block diagram illustrating and illustrating a computing environment 10 that includes a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 폐암 종양 크기 측정 장치(100)일 수 있다. The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be lung cancer tumor size measurement device 100.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer readable storage medium 16 and a communication bus 18. The processor 14 can cause the computing device 12 to operate in accordance with the exemplary embodiment mentioned above. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16. The one or more programs can include one or more computer-executable instructions, which, when executed by processor 14, configure computing device 12 to perform operations in accordance with an exemplary embodiment. Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and/or other suitable types of information. The program 20 stored on the computer readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer readable storage medium 16 is a memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, other types of storage media that can be accessed by the computing device 12 and store desired information, or suitable combinations thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects various other components of the computing device 12, including a processor 14 and a computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more I/O interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more I/O devices 24. The input/output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22. Exemplary input/output devices 24 include pointing devices (such as a mouse or trackpad), keyboards, touch input devices (such as touch pads or touch screens), voice or sound input devices, various types of sensor devices, and/or imaging devices. Input devices and/or output devices such as display devices, printers, speakers and/or network cards. The exemplary input/output device 24 is a component constituting the computing device 12 and may be included inside the computing device 12 or may be connected to the computing device 12 as a separate device distinct from the computing device 12. It might be.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the exemplary embodiments of the present invention have been described in detail above, those skilled in the art to which the present invention pertains will understand that various modifications are possible within the limits of the embodiments described above without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims to be described later, but also by the claims and equivalents.

100 : 폐암 종양 크기 측정 장치
102 : 영상 획득부
104 : 제1 경계 검출부
106 : 제2 경계 검출부
108 : 크기 측정부
111 : 제1 영상 변환부
113 : 제1 영상 리사이징부
115 : 제1 딥러닝부
121 : 제2 영상 변환부
123 : 제2 영상 리사이징부
125 : 제2 딥러닝부100: lung cancer tumor size measuring device
102: image acquisition unit
104: first boundary detection unit
106: second boundary detection unit
108: size measuring unit
111: first image conversion unit
113: 1st video resizing unit
115: first deep learning unit
121: second image conversion unit
123: second image resizing unit
125: second deep learning unit

Claims (11)

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
환자의 종양 부분을 촬영한 종양 촬영 영상을 획득하는 영상 획득부;
제1 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 GGO(Ground Glass Opacity) 부분의 경계를 검출하는 제1 경계 검출부;
제2 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 솔리드(Solid) 부분의 경계를 검출하는 제2 경계 검출부; 및
상기 검출된 GGO 부분의 경계를 기반으로 상기 GGO 부분의 크기를 측정하고, 상기 검출된 솔리드 부분의 경계를 기반으로 상기 솔리드 부분의 크기를 측정하는 크기 측정부를 포함하는, 컴퓨팅 장치.
One or more processors, and
A computing device having a memory for storing one or more programs executed by the one or more processors,
An image acquiring unit acquiring a tumor imaging image of a patient's tumor portion;
A first boundary detection unit that detects a boundary of a GGO (Ground Glass Opacity) portion in the tumor imaging image through a first deep learning module;
A second boundary detection unit that detects a boundary of a solid portion in the tumor imaging image through a second deep learning module; And
And a size measuring unit that measures the size of the GGO portion based on the boundary of the detected GGO portion, and measures the size of the solid portion based on the boundary of the detected solid portion.
청구항 1에 있어서,
상기 제1 경계 검출부는,
상기 종양 촬영 영상을 기 설정된 제1 하운스필드 단위 레인지를 가지는 제1 윈도우를 통해 영상 변환하여 GGO 포션 영상을 생성하는 제1 영상 변환부; 및
상기 GGO 포션 영상을 입력 받아 상기 GGO 포션 영상에서 GGO 부분의 경계를 검출하는 제1 딥러닝부를 포함하는, 컴퓨팅 장치.
The method according to claim 1,
The first boundary detection unit,
A first image converter configured to generate a GGO potion image by converting the tumor imaging image through a first window having a preset first sound field field range; And
And a first deep learning unit that receives the GGO portion image and detects a boundary of a GGO portion in the GGO portion image.
청구항 2에 있어서,
상기 제1 윈도우는,
하운스필드 단위의 기 설정된 제1 윈도우 레벨을 기준으로 기 설정된 제1 윈도우 폭을 가지도록 마련되는, 컴퓨팅 장치.
The method according to claim 2,
The first window,
The computing device is provided to have a preset first window width based on a preset first window level in units of a hounds field.
청구항 2에 있어서,
상기 컴퓨팅 장치는,
상기 생성된 GGO 포션 영상을 기 설정된 사이즈로 리사이징하고, 리사이징된 GGO 포션 영상을 상기 제1 딥러닝부로 전달하는 제1 영상 리사이징부를 더 포함하는, 컴퓨팅 장치.
The method according to claim 2,
The computing device,
And a first image resizing unit for resizing the generated GGO potion image to a preset size and delivering the resized GGO potion image to the first deep learning unit.
청구항 2에 있어서,
상기 제1 딥러닝부는,
GGO 포션 영상이 입력되는 경우, 입력된 GGO 포션 영상에서 GGO 부분의 경계를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 포함하는, 컴퓨팅 장치.
The method according to claim 2,
The first deep learning unit,
When a GGO portion image is input, a computing device including a convolution neural network (CNN) trained to detect and output a boundary of a GGO portion from the input GGO portion image.
청구항 2에 있어서,
상기 제2 경계 검출부는,
상기 종양 촬영 영상을 기 설정된 제2 하운스필드 단위 레인지를 가지는 제2 윈도우를 통해 영상 변환하여 솔리드 포션 영상을 생성하는 제2 영상 변환부; 및
상기 솔리드 포션 영상 및 상기 GGO 부분의 경계 정보를 입력 받아 상기 솔리드 포션 영상에서 솔리드 부분의 경계를 검출하는 제2 딥러닝부를 포함하는, 컴퓨팅 장치.
The method according to claim 2,
The second boundary detection unit,
A second image converter configured to convert the tumor imaging image through a second window having a preset second sound field field range to generate a solid portion image; And
And a second deep learning unit that receives boundary information of the solid portion image and the GGO portion and detects a boundary of the solid portion in the solid portion image.
청구항 6에 있어서,
상기 제2 윈도우는,
상기 제1 윈도우 레벨 보다 하운스필드 단위 값이 높은 제2 윈도우 레벨을 기준으로 상기 제1 윈도우 폭보다 좁은 범위의 제2 윈도우 폭을 가지도록 마련되는, 컴퓨팅 장치.
The method according to claim 6,
The second window,
And a second window width having a narrower range than the first window width based on a second window level having a higher value of a hounds field unit than the first window level.
청구항 6에 있어서,
상기 컴퓨팅 장치는,
상기 생성된 솔리드 포션 영상을 기 설정된 사이즈로 리사이징하고, 리사이징 된 솔리드 포션 영상을 상기 제2 딥러닝부로 전달하는 제2 영상 리사이징부를 더 포함하는, 컴퓨팅 장치.
The method according to claim 6,
The computing device,
And a second image resizing unit for resizing the generated solid portion image to a predetermined size and transferring the resized solid portion image to the second deep learning unit.
청구항 6에 있어서,
상기 제2 딥러닝부는,
솔리드 포션 영상 및 GGO 부분의 경계 정보가 입력되는 경우, 입력된 솔리드 포션 영상에서 솔리드 부분의 경계를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 포함하는, 컴퓨팅 장치.
The method according to claim 6,
The second deep learning unit,
Computing device comprising a convolutional neural network (CNN) trained to detect and output the boundary of a solid portion from the input solid portion image when the boundary information of the solid portion image and the GGO portion is input.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
환자의 종양 부분을 촬영한 종양 촬영 영상을 획득하는 단계;
제1 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 GGO(Ground Glass Opacity) 부분의 경계를 검출하는 단계;
제2 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 솔리드(Solid) 부분의 경계를 검출하는 단계;
상기 검출된 GGO 부분의 경계를 기반으로 상기 GGO 부분의 크기를 측정하는 단계; 및
상기 검출된 솔리드 부분의 경계를 기반으로 상기 솔리드 부분의 크기를 측정하는 단계를 포함하는, 폐암 종양 크기 측정 방법.
One or more processors, and
A method performed in a computing device having a memory that stores one or more programs executed by the one or more processors,
Obtaining a tumor imaging image of a patient's tumor;
Detecting a boundary of a GGO (Ground Glass Opacity) portion in the tumor imaging image through a first deep learning module;
Detecting a boundary of a solid portion in the tumor imaging image through a second deep learning module;
Measuring the size of the GGO portion based on the boundary of the detected GGO portion; And
And measuring the size of the solid part based on the boundary of the detected solid part.
비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
환자의 종양 부분을 촬영한 종양 촬영 영상을 획득하고,
제1 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 GGO(Ground Glass Opacity) 부분의 경계를 검출하고,
제2 딥러닝 모듈을 통해 상기 종양 촬영 영상에서 솔리드(Solid) 부분의 경계를 검출하고,
상기 검출된 GGO 부분의 경계를 기반으로 상기 GGO 부분의 크기를 측정하고, 그리고
상기 검출된 솔리드 부분의 경계를 기반으로 상기 솔리드 부분의 크기를 측정하도록 하는, 컴퓨터 프로그램.

A computer program stored in a non-transitory computer readable storage medium,
The computer program includes one or more instructions, and when the instructions are executed by a computing device having one or more processors, cause the computing device to:
Obtain an oncology image of a patient's tumor,
The first deep learning module detects the boundary of the GGO (Ground Glass Opacity) portion in the tumor imaging image,
A boundary of a solid portion in the tumor imaging image is detected through a second deep learning module,
Measuring the size of the GGO portion based on the boundary of the detected GGO portion, and
A computer program configured to measure the size of the solid part based on the boundary of the detected solid part.

KR1020190001001A 2019-01-04 2019-01-04 Method for measuring lung cancer tumor size and apparatus for executint the method KR102236617B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190001001A KR102236617B1 (en) 2019-01-04 2019-01-04 Method for measuring lung cancer tumor size and apparatus for executint the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190001001A KR102236617B1 (en) 2019-01-04 2019-01-04 Method for measuring lung cancer tumor size and apparatus for executint the method

Publications (2)

Publication Number Publication Date
KR20200085012A true KR20200085012A (en) 2020-07-14
KR102236617B1 KR102236617B1 (en) 2021-04-06

Family

ID=71526597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190001001A KR102236617B1 (en) 2019-01-04 2019-01-04 Method for measuring lung cancer tumor size and apparatus for executint the method

Country Status (1)

Country Link
KR (1) KR102236617B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186594A1 (en) * 2021-03-04 2022-09-09 주식회사 뷰노 Medical-image-based lesion analysis method
KR20230005633A (en) * 2021-07-01 2023-01-10 주식회사 유엑스엔터프라이즈 Calculating method for volume of ovarian endometrioma, predicting method and apparatus for prognosis of endometriosis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009165615A (en) * 2008-01-16 2009-07-30 Fujifilm Corp Tumor region size measurement method, apparatus, and program
JP2015029860A (en) * 2013-08-06 2015-02-16 株式会社東芝 Image processing apparatus and medical image diagnostic apparatus
KR101664159B1 (en) 2011-11-11 2016-10-12 한국전자통신연구원 Lesion feature calculating device and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009165615A (en) * 2008-01-16 2009-07-30 Fujifilm Corp Tumor region size measurement method, apparatus, and program
KR101664159B1 (en) 2011-11-11 2016-10-12 한국전자통신연구원 Lesion feature calculating device and method thereof
JP2015029860A (en) * 2013-08-06 2015-02-16 株式会社東芝 Image processing apparatus and medical image diagnostic apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shengping Wang 외 12명, Quantitative Imaging in Medicine and Surgery, 2018 Jun, 8(5), pp.491~499* *
Xiaoguang Tu 외 8명, "Automatic Categoriztion and Scoring of Solid, Part-Solid and Non-Solid Pulmonary Nodules in CT Images with Convolutional Neural Network", SCIENTIFIC REPORTS (2017.09.01.)* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186594A1 (en) * 2021-03-04 2022-09-09 주식회사 뷰노 Medical-image-based lesion analysis method
KR20230005633A (en) * 2021-07-01 2023-01-10 주식회사 유엑스엔터프라이즈 Calculating method for volume of ovarian endometrioma, predicting method and apparatus for prognosis of endometriosis

Also Published As

Publication number Publication date
KR102236617B1 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110136056B (en) Method and device for reconstructing super-resolution image
CN108399452B (en) Hierarchical learning of weights for neural networks performing multiple analyses
US20210050095A1 (en) Neural network-based object detection in visual input
US20200005013A1 (en) Identifying geometrical properties of rock structure through digital imaging
CN109059902A (en) Relative pose determines method, apparatus, equipment and medium
US11308623B2 (en) System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma
US20160093046A1 (en) Apparatus and method for supporting computer aided diagnosis
KR20190117969A (en) Method for semi supervised reinforcement learning using data with label and data without label together and apparatus using the same
KR102236617B1 (en) Method for measuring lung cancer tumor size and apparatus for executint the method
KR102258756B1 (en) Determination method for stage of cancer based on medical image and analyzing apparatus for medical image
WO2019056611A1 (en) Touch screen handwriting curve generating method, apparatus, device and storage medium
KR102267739B1 (en) Method for dental diagnostic and computing device for executing the method
US20160360185A1 (en) Three-dimensional imaging sensor calibration
US11282203B2 (en) Method and system for image analysis
JP2022538361A (en) Image segmentation confidence determination
KR20200092466A (en) Device for training analysis model of medical image and training method thereof
KR20170130389A (en) Space-time compressed flight time technology for imaging
US20230035477A1 (en) Method and device for depth map completion
CN110333252A (en) Dual intensity detection method and device
CN113192031B (en) Vascular analysis method, vascular analysis device, vascular analysis computer device, and vascular analysis storage medium
Wu et al. Histogram analysis of native T1 mapping and its relationship to left ventricular late gadolinium enhancement, hypertrophy, and segmental myocardial mechanics in patients with hypertrophic cardiomyopathy
US11636592B2 (en) Medical object detection and identification via machine learning
Barath Recovering affine features from orientation-and scale-invariant ones
CN111125564B (en) Thermodynamic diagram generation method, thermodynamic diagram generation device, thermodynamic diagram generation computer device and thermodynamic diagram generation storage medium
CN114332273A (en) Scattering correction method, device, electronic equipment and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant