KR102152385B1 - Apparatus and method for detecting singularity - Google Patents

Apparatus and method for detecting singularity Download PDF

Info

Publication number
KR102152385B1
KR102152385B1 KR1020190096991A KR20190096991A KR102152385B1 KR 102152385 B1 KR102152385 B1 KR 102152385B1 KR 1020190096991 A KR1020190096991 A KR 1020190096991A KR 20190096991 A KR20190096991 A KR 20190096991A KR 102152385 B1 KR102152385 B1 KR 102152385B1
Authority
KR
South Korea
Prior art keywords
boundary line
unit
medical image
diagnostic
nodule
Prior art date
Application number
KR1020190096991A
Other languages
Korean (ko)
Inventor
최우식
김태규
이호
박무성
Original Assignee
주식회사 딥노이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥노이드 filed Critical 주식회사 딥노이드
Priority to KR1020190096991A priority Critical patent/KR102152385B1/en
Application granted granted Critical
Publication of KR102152385B1 publication Critical patent/KR102152385B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/037Emission tomography
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

A diagnostic device is provided. A diagnosis apparatus includes: an acquisition unit for obtaining a medical image photographing an organ inside the body; and a search unit for searching for singular points protruding or depressed from a boundary line of the organ included in the medical image. The present invention can automatically diagnose protrusion-shaped lesions generated on one side of the organ such as a lung nodule accurately and quickly.

Description

특이점 진단 장치 및 진단 방법{APPARATUS AND METHOD FOR DETECTING SINGULARITY}Singularity diagnostic device and diagnostic method {APPARATUS AND METHOD FOR DETECTING SINGULARITY}

본 발명은 신체 장기의 일면에 돌출되거나 함몰된 특이점을 진단하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for diagnosing a singularity protruding or depressing on one surface of a body organ.

폐 결절(Solitary Pulmonary Nodule)은 폐 내부에 생긴 지름 3cm 이하의 작은 구상 병변이다. 보통 1개만 있어서 고립성 폐결절이라고도 한다. 병변의 크기가 지름 3cm를 초과할 때는 결절이 아닌, 종양 또는 혹이라고 부른다.Solitary Pulmonary Nodule is a small globular lesion less than 3cm in diameter inside the lung. There is usually only one, so it is also called an isolated pulmonary nodule. When the size of the lesion exceeds 3cm in diameter, it is called a tumor or lump, not a nodule.

보통 무증상인 관계로 건강검진시 흉부 X선이나 CT 촬영을 통해 발견된다. 최근에는 CT가 보편화되면서 이전에는 발견되지 못했던 1cm 이하의 간유리음영(ground-glass opacity)을 보이는 병변도 고립성 폐결절에 준하여 임상적인 접근을 하고 있다.As it is usually asymptomatic, it is detected through chest X-rays or CT scans during a medical examination. In recent years, as CT has become more common, lesions with ground-glass opacity less than 1cm, which have not been found before, are also clinically approached in accordance with isolated pulmonary nodules.

한국등록특허공고 제1887194호에는 피검체의 흉부 영상이 입력되면 딥 러닝 모델에 기초하여 흉부 영상을 판독하는 내용이 나타나 있다.In Korean Patent Publication No. 1887194, when a chest image of a subject is input, the contents of reading a chest image based on a deep learning model are shown.

한국등록특허공고 제1887194호Korean Patent Registration No. 1887194

본 발명은 폐 결절과 같이 장기의 일면에 생성된 돌기 형상의 병변 등을 정확하고 신속하게 자동으로 진단하는 장치 및 방법을 제공하기 위한 것이다.An object of the present invention is to provide an apparatus and method for accurately and quickly automatically diagnosing protrusion-shaped lesions generated on one side of an organ such as a lung nodule.

본 발명의 진단 장치는 신체 내부의 장기를 촬영한 의료 영상을 획득하는 획득부; 상기 의료 영상에 포함된 상기 장기의 경계선에서 돌출되거나 함몰된 특이점을 탐색하는 탐색부;를 포함할 수 있다.The diagnosis apparatus of the present invention includes: an acquisition unit for obtaining a medical image photographing an organ inside a body; It may include; a search unit for searching for a singular point protruding or depressed from the boundary line of the organ included in the medical image.

본 발명의 진단 장치는 흉부의 의료 영상을 이용해 흉막 결절을 진단하는 제1 진단 유니트; 상기 의료 영상을 이용해 폐 결절을 진단하는 제2 진단 유니트; 상기 제1 진단 유니트의 진단 결과와 상기 제2 진단 유니트의 진단 결과를 통합하는 통합 유니트;를 포함할 수 있다.The diagnostic apparatus of the present invention comprises: a first diagnostic unit for diagnosing a pleural nodule using a medical image of the chest; A second diagnostic unit for diagnosing a lung nodule using the medical image; And an integrated unit that integrates the diagnosis result of the first diagnosis unit and the diagnosis result of the second diagnosis unit.

본 발명의 진단 방법은 의료 영상에 포함된 장기의 경계선을 대상으로 그라디언트를 계산하며, 상기 경계선 상에서 상기 그라디언트의 변화량 또는 변화율이 설정값을 만족하는 특이점을 탐색할 수 있다.In the diagnosis method of the present invention, a gradient is calculated for a boundary line of an organ included in a medical image, and a singular point in which the change amount or rate of change of the gradient satisfies a set value may be searched on the boundary line.

본 발명의 진단 방법은 흉부의 CT(computed tomography) 영상이 입력되면, 영상 처리를 통해 폐 경계선이 구분되는 바이너리 마스크를 추출하는 단계; 상기 바이너리 마스크를 이용해 설정 두께의 폐 경계선을 추출하는 단계; 상기 폐 경계선을 대상으로 3D 그라디언트를 계산하는 단계; 흉막 결절 부분에 대한 그라디언트의 변화값이 설정 조건을 만족하는 사실을 역으로 이용하여, 상기 3D 그라디언트의 변화가 상기 설정 조건을 만족하는 부분을 탐색하는 단계; 탐색된 부분을 3D 큐브 패치의 형태로 추출하는 단계; 상기 흉막 결절만을 대상으로 한 기계 학습을 통해 도출된 흉막 결절 분류 모델을 이용해서 상기 3D 큐브 패치의 흉막 결절 여부를 진단하는 단계;를 포함할 수 있다.The diagnostic method of the present invention includes the steps of: when a computed tomography (CT) image of the chest is input, extracting a binary mask from which a lung boundary line is divided through image processing; Extracting a closed boundary line of a set thickness using the binary mask; Calculating a 3D gradient for the lung boundary line; Searching for a portion in which the change in the 3D gradient satisfies the set condition by using the fact that the change value of the gradient for the pleural nodule portion satisfies the set condition; Extracting the searched part in the form of a 3D cube patch; And diagnosing whether the 3D cube patch has a pleural nodule using a pleural nodule classification model derived through machine learning for only the pleural nodule.

본 발명의 진단 장치 및 진단 방법은 촬영된 의료 영상에 포함된 장기의 경계선에 대해 그라디언트(gradients) 계산하는 방법을 통해, 장기의 일면(경계선)에 돌출되거나 함몰된 특이점을 파악할 수 있다.In the diagnostic apparatus and method of the present invention, a singular point protruding or depressing on one surface (boundary line) of an organ may be identified through a method of calculating gradients on the boundary line of an organ included in a photographed medical image.

해당 특이점은 의료진에게 제공되거나 자동으로 변병을 진단하는데 이용될 수 있다.The peculiarity can be provided to the medical staff or used to automatically diagnose feces.

특정 환자의 의료 영상 내에서 특이점이 포함된 일부의 조각 영상(의심 영역)만을 떼어내고, 해당 조각 영상에 대해 집중적으로 자동 진단이 이루어질 수 있다. 이때의 자동 진단은 기계 학습에 의해 생성된 진단 모델을 통해 이루어질 수 있다. 진단 모델의 진단 대상이 의료 영상 전체 또는 전체 경계선이 아니라 일부의 조각 영상에 한정되므로, 진단 모델은 적은 부하, 적은 저장 공간을 사용하여 고속으로 변병을 진단할 수 있다.Only a partial fragment image (suspicious region) including a singular point in a medical image of a specific patient may be removed, and an automatic diagnosis may be performed intensively for the corresponding fragment image. The automatic diagnosis at this time may be performed through a diagnosis model generated by machine learning. Since the diagnosis object of the diagnosis model is limited to a partial image of the medical image, not the entire or the entire boundary line, the diagnosis model can diagnose the disease at high speed using a small load and a small storage space.

특히, 본 발명에 따르면, 폐 결절 중 자동 진단이 어려운 흉막 결절의 자동 진단에 매우 유용할 수 있다. 폐 결절의 자동 진단은 의료 영상에서 폐가 아니면서 원형의 형상을 탐색하는 방법에 의해 이루어질 수 있다. 흉막에 형성된 흉막 결절은 원형이 아니라 일부가 흉막이 붙어있는 반구형을 띠므로, 자동 탐색이 쉽지 않다.In particular, according to the present invention, it may be very useful for automatic diagnosis of pleural nodules, which are difficult to automatically diagnose among lung nodules. Automatic diagnosis of pulmonary nodules can be made by a method of searching for a circular shape without a lung in a medical image. The pleural nodules formed on the pleura are not circular, but have a hemispherical shape with a pleura attached thereto, making automatic detection difficult.

본 발명은 흉막이 폐 영상의 경계선에 해당되는 점에 착안하여, 경계선의 그라디언트 변화가 급격한 부분을 흉막 결절로 파악하거나 추정할 수 있다. In the present invention, focusing on the point where the pleura corresponds to the boundary line of the lung image, a portion where the gradient change of the boundary line is abrupt can be identified or estimated as a pleural nodule.

또한, 본 발명에 따르면, 검출 및 분류가 어려운 흉막 결절만을 집중적으로 학습한 AI 모델을 이용해 흉막 결절이 진단될 수 있다. 따라서, 흉막 결절의 진단 성능이 개선되고, 전체 폐 결절 검출 모델 성능까지 개선될 수 있다.In addition, according to the present invention, pleural nodules can be diagnosed using an AI model that intensively learns only pleural nodules that are difficult to detect and classify. Accordingly, the diagnostic performance of pleural nodules can be improved, and even the performance of the entire lung nodule detection model can be improved.

또한, 폐 경계선의 전영역을 일괄적으로 3D 큐브 패치 상태로 추출하고, 모든 3D 큐브 패치에 대해 흉막 결절 여부를 판단해야 하는 비교 실시예가 마련될 수 있다. 본 발명은 비교 실시예에 비해, Gradients 계산을 이용해 흉막 결절 의심 영역만을 선택적으로 추출해 분류함으로써 소요 시간이 절약(적은 수의 큐브 패치만 판단하면 됨)되고, 메모리가 절약(모든 큐브 패치를 저장할 필요 없음)될 수 있다.In addition, a comparative example in which the entire area of the lung boundary is collectively extracted as a 3D cube patch state and it is necessary to determine whether or not a pleural tubercle is formed for all 3D cube patches may be prepared. Compared to the comparative examples, the present invention selectively extracts and classifies only suspected pleural nodules using gradients calculation, thereby saving time required (only a small number of cube patches need to be determined) and memory saving (requires storing all cube patches) None) can be.

도 1은 본 발명의 진단 장치를 나타낸 개략도이다.
도 2는 결절의 종류를 나타낸 사진이다.
도 3은 흉막 결절을 나타낸 사진이다.
도 4는 패치를 나타낸 사진이다.
도 5는 추출부의 동작을 나타낸 개략도이다.
도 6은 본 발명의 다른 진단 장치를 나타낸 블록도이다.
도 7은 본 발명의 진단 방법을 나타낸 흐름도이다.
도 8은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
1 is a schematic diagram showing a diagnostic device of the present invention.
2 is a photograph showing the types of nodules.
3 is a photograph showing a pleural nodule.
4 is a photograph showing a patch.
5 is a schematic diagram showing the operation of the extraction unit.
6 is a block diagram showing another diagnostic device of the present invention.
7 is a flow chart showing a diagnosis method of the present invention.
8 is a diagram illustrating a computing device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the embodiments of the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.In this specification, redundant descriptions of the same components are omitted.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.In addition, in the present specification, when a component is referred to as being'connected' or'connected' to another component, it may be directly connected or connected to the other component, but other components in the middle It should be understood that may exist. On the other hand, in the present specification, when it is mentioned that a certain element is'directly connected' or'directly connected' to another element, it should be understood that no other element exists in the middle.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.In addition, terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. In addition, in the present specification, a singular expression may include a plurality of expressions unless the context clearly indicates otherwise.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.In addition, in the present specification, terms such as'include' or'have' are only intended to designate the existence of features, numbers, steps, actions, components, parts, or a combination thereof described in the specification, and one or more It is to be understood that the presence or addition of other features, numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance the possibility of being excluded.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.In addition, in this specification, the term'and/or' includes a combination of a plurality of listed items or any of a plurality of listed items. In the present specification,'A or B'may include'A','B', or'both A and B'.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.In addition, in this specification, detailed descriptions of known functions and configurations that may obscure the subject matter of the present invention will be omitted.

도 1은 본 발명의 진단 장치를 나타낸 개략도이다.1 is a schematic diagram showing a diagnostic device of the present invention.

도 1에 도시된 진단 장치는 획득부(110), 추출부(130), 탐색부(150), 판단부(170)를 포함할 수 있다.The diagnostic apparatus illustrated in FIG. 1 may include an acquisition unit 110, an extraction unit 130, a search unit 150, and a determination unit 170.

획득부(110)는 신체 내부의 장기를 촬영한 의료 영상을 획득할 수 있다. 획득부(110)에는 의료 영상을 촬영하는 촬영 수단이 마련되거나, 외부 촬영 수단으로부터 의료 영상을 전달받는 유무선 통신 수단이 마련될 수 있다.The acquisition unit 110 may acquire a medical image photographing an organ inside the body. The acquisition unit 110 may be provided with a photographing means for photographing a medical image, or a wired or wireless communication means for receiving a medical image from an external photographing means.

신체 내부의 장기는 환자의 내장 기관을 의미할 수 있다. 형태적, 기능적으로 공통성이 있으며, 상호보완적으로 작용하는 기관으로부터 이루어지는 계를 기관계라고 한다. 특히, 소화기계, 호흡기계, 비뇨생식기계, 내분비계를 합쳐 내장계라고 하기도 한다. 장기의 일면에는 각종 요인에 의해 결절, 종양, 상처 등의 특이점이 발생될 수 있다. 해당 특이점은 장기의 일면 표면에 돌출 형성되거나 함몰 형성될 수 있다.The internal organs of the body may refer to the internal organs of the patient. A system consisting of organs that are morphologically and functionally common and that act complementarily is called an organ system. In particular, the digestive system, respiratory system, genitourinary system, and endocrine system are combined to be called visceral system. Singularities such as nodules, tumors, and wounds may occur on one side of the organ due to various factors. The singularity may protrude or be recessed on one surface of the organ.

의료 영상은 CT(computed tomography), MRI(magnetic resonance imaging), X-Ray, PET(positron emission tomography) 등을 통해 생성될 수 있다. 의료 영상은 환자의 신체 내부의 장기를 타겟으로 촬영된 것으로, 장기를 나타내는 이미지가 포함될 수 있다. 의료 영상을 분석하면, 각종 특이점이 파악될 수 있다. 예를 들어 CT 영상에 표시된 폐의 이미지를 분석해서 폐 결절을 검출하는 딥러닝 모델이 존재할 수 있다. 폐 결절의 검출은 결절의 종류에 따라 검출 난이도 및 성능면에서 큰 차이가 나타날 수 있다.Medical images may be generated through computed tomography (CT), magnetic resonance imaging (MRI), X-ray, positron emission tomography (PET), or the like. The medical image is photographed by targeting an organ inside the patient's body, and may include an image representing the organ. By analyzing medical images, various singularities can be identified. For example, there may be a deep learning model that detects lung nodules by analyzing images of lungs displayed on CT images. The detection of a pulmonary nodule can have a large difference in detection difficulty and performance depending on the type of nodule.

도 2는 결절의 종류를 나타낸 사진이다.2 is a photograph showing the types of nodules.

도 2와 같이 결절의 종류는 위치 기준으로 폐 영역 내부의 원형으로 된 결절(well-circumscribed nodule, 도 2의 맨 좌측 사진), 혈관과 붙어 있는 결절(juxta-vascular nodule, 도 2에서 좌측으로부터 두번째 사진), 흉막과 가늘게 연결된 결절(nodule with a pleural tail, 도 2에서 좌측으로부터 세번째 사진), 흉막에 붙어 있는 결절(juxta-pleural nodule, 도 2에서 좌측으로부터 네번째 사진 또는 맨 우측 사진) 총 4가지로 분류될 수 있다.As shown in FIG. 2, the type of nodule is a circular nodule inside the lung area (well-circumscribed nodule, the leftmost picture in FIG. 2), a nodule attached to the blood vessel (juxta-vascular nodule, second from the left in FIG. 2). Photo), a nodule with a pleural tail (third picture from the left in Fig. 2), a nodule attached to the pleura (juxta-pleural nodule, a fourth picture from the left or far right picture in Fig. 2) It can be classified as

이 중에서 흉막에 붙어 있는 결절(이하, '흉막 결절'이라 칭함)의 경우 반구형(semispherical)으로 형성된다. 일반적으로 원형(spherical)인 다른 결절과 형태가 다른 점, 흉막 영역과 흉막 결절의 voxel값(intensity)이 유사한 점 때문에 흉막 결절에 대한 딥러닝 모델의 검출 성능은 현저하게 낮다. 이로 인해 현재 흉막 결절의 검출에 집중하는 기능을 가진 폐암 검출 딥러닝 모델이 없는 상황이다. 또한, 다른 결절보다 검출 난이도가 높은 흉막 결절만을 집중 관리할 수 있는 알고리즘이 없다. 또한, 소요 시간, 메모리 사용량, 비용 등에 대한 고려도 필요한데, 일반적인 의료 딥러닝 분야에서 전체 영상에 대해 일괄적으로 패치를 추출하는 고비용의 알고리즘을 흉막 결절과 같은 특정 병변에 집중하는 알고리즘에 적용하는 것도 곤란하다.Among them, the nodules attached to the pleura (hereinafter referred to as'pleural nodules') are formed in a semispherical shape. In general, the detection performance of the deep learning model for pleural nodules is remarkably low because of the difference in shape from other spherical nodules and the similarity of voxel values between the pleural region and pleural nodules. For this reason, there is currently no deep learning model for lung cancer detection that has the function of focusing on the detection of pleural nodules. In addition, there is no algorithm capable of intensively managing only pleural nodules with higher detection difficulty than other nodules. In addition, it is necessary to consider the time required, memory usage, and cost.In general medical deep learning, it is also possible to apply a high-cost algorithm that extracts patches for all images at once to an algorithm that focuses on specific lesions such as pleural nodules. It is difficult.

따라서, 저비용의 흉막 결절 집중 알고리즘을 통해 흉막 결절 검출 성능을 높인다면, 폐 결절 검출 모델의 실용성 역시 더욱 높아질 것으로 기대될 수 있다. 본 발명은 검출이 까다로운 흉막 결절을 포함한 다양한 특이점을 간소한 구성으로 신속하게 검출하거나 진단할 수 있는 방안을 제공할 수 있다. 해당 방안은 탐색부(150)에 의해 수행될 수 있다.Therefore, if the performance of detecting pleural nodules is improved through a low-cost pleural nodule concentration algorithm, the practicality of the pulmonary nodule detection model can also be expected to increase. The present invention can provide a method for rapidly detecting or diagnosing various peculiar points including a pleural nodule, which is difficult to detect, with a simple configuration. This method may be performed by the search unit 150.

탐색부(150)는 의료 영상에 포함된 장기(이미지)의 경계선에서 돌출되거나 함몰된 특이점을 탐색할 수 있다.The search unit 150 may search for a singular point protruding or depressing from a boundary line of an organ (image) included in the medical image.

장기의 경계선은 장기의 표면을 나타낼 수 있다. 따라서, 장기의 표면으로부터 돌출된 특이점은 결절, 종양, 혹 등의 병변을 나타낼 수 있다. 장기의 표면으로부터 함몰된 특이점은 상처, 움푹 패인 병변 등을 나타낼 수 있다.Organ boundaries can represent the surface of the organ. Therefore, the singularity protruding from the surface of the organ may indicate a lesion such as a nodule, a tumor, or a lump. Singularities depressed from the surface of the organ may indicate wounds, dent lesions, and the like.

탐색부(150)는 신속하고 정확하게 특이점을 찾을 필요가 있다.The search unit 150 needs to quickly and accurately find outliers.

도 3은 흉막 결절을 나타낸 사진이다.3 is a photograph showing a pleural nodule.

탐색부(150)는 의료 영상에서 장기(organ, viscera)의 경계선을 대상으로 3차원 그라디언트를 계산할 수 있다. 3차원 그라디언트 연산에 따르면, 경계선의 기울기, 구배가 산출될 수 있다. 탐색부(150)는 3차원 그라디언트의 변화량 또는 3차원 그라디언트의 변화율을 다시 한번 산출할 수 있다. 일 예로, 그라디언트의 변화량 또는 그라디언트의 변화율은 최초 그라디언트 연산의 결과를 정규화하고, 정규화된 그라디언 연산의 결과를 다시 한번 그라디언트 연산해서 획득될 수 있다. The search unit 150 may calculate a 3D gradient targeting a boundary line of an organ (viscera) in a medical image. According to the 3D gradient operation, a slope and a gradient of a boundary line may be calculated. The search unit 150 may calculate a change amount of the 3D gradient or a rate of change of the 3D gradient once again. For example, the amount of change of the gradient or the rate of change of the gradient may be obtained by normalizing the result of the initial gradient operation and calculating the gradient once again on the result of the normalized gradient operation.

그라디언트 연산은 예를 들어 HOG(Histogram of gradients)를 이용할 수 있다. 도 3에서 장기의 경계선(내벽면 경계)에 수직하게 그려진 화살표가 HOG를 이용한 그라디언트 연산의 결과일 수 있다. 화살표의 방향이 급격하게 변화되는 구간이 특이점으로 추정될 수 있다. 이때, '급격'하다는 의미는 실제의 특이점에 그라디언트 연산을 적용했을 때 출력된 값 또는 조건을 만족하는 것을 의미할 수 있다.Gradient operation may use, for example, Histogram of gradients (HOG). In FIG. 3, an arrow drawn perpendicular to the boundary line of the organ (the boundary of the inner wall surface) may be a result of a gradient operation using HOG. A section in which the direction of the arrow rapidly changes can be estimated as a singular point. In this case, "abrupt" may mean that a value or condition outputted when a gradient operation is applied to an actual singular point is satisfied.

의료 영상이 서로 직교하는 x축, y축, z축이 형성하는 3차원 공간의 데이터를 포함하는 경우, 그라디언트 연산은 3차원적으로 수행될 수 있다. When the medical image includes data in a 3D space formed by the x-axis, y-axis, and z-axis that are orthogonal to each other, the gradient operation may be performed three-dimensionally.

탐색부(150)는 그라디언트의 변화량 또는 그라디언트의 변화율을 이용해서 특이점을 탐색할 수 있다. 일 예로, 탐색부(150)는 주변 경계선의 그라디언트의 변화율보다 설정값 이상 차이나는 그라디언트의 변화율을 갖는 부분을 특이점으로 선정할 수 있다.The search unit 150 may search for a singularity using a gradient change amount or a gradient change rate. For example, the search unit 150 may select, as a singular point, a portion having a rate of change of a gradient that differs by more than a set value than a rate of change of the gradient of a peripheral boundary line.

획득부(110)는 흉막 영상을 획득할 수 있다. 이때, 탐색부(150)는 흉막의 경계선을 대상으로 3차원 그라디언트를 계산하고, 그라디언트를 이용해서 흉막의 경계선으로부터 반구형으로 돌출된 흉막 결절(juxta-pleural nodule)을 탐색할 수 있다.The acquisition unit 110 may acquire a pleural image. In this case, the search unit 150 may calculate a three-dimensional gradient targeting the boundary line of the pleura, and use the gradient to search for a juxta-pleural nodule protruding from the boundary line of the pleura in a hemispherical shape.

탐색부(150)에 의해 탐색된 흉막 결절 등의 특이점은 장기의 내벽면, 표면 등에 돌출된 돌기, 함몰된 홈 등을 나타내는 것으로 실제의 변병 여부는 추가 판단 절차를 통해 이루어질 수 있다. 추가 판단 절차는 의료진에 의해 수행되거나, 판단부(170)를 통해 자동으로 수행될 수 있다.The peculiar points such as the pleural nodules searched for by the search unit 150 indicate protrusions, recessed grooves, etc. on the inner wall of the organ, the surface, etc., and the actual presence of the disease may be determined through an additional determination procedure. The additional determination procedure may be performed by a medical staff or may be automatically performed through the determination unit 170.

판단부(170)는 정확한 변병 여부의 판단을 위해 탐색부(150)의 동작 필요 시간보다 많은 시간동안 연산할 수 있다. 결국, 진단 장치 전체의 동작 시간을 단축시키기 위해서는 탐색부(150)의 동작 필요 시간뿐만 아니라 판단부(170)의 동작 필요 시간 역시 단축시킬 필요가 있다.The determination unit 170 may perform calculations for a time longer than the required operation time of the search unit 150 in order to accurately determine whether or not to change the disease. Consequently, in order to shorten the operation time of the entire diagnosis apparatus, it is necessary to shorten not only the operation time required for the search unit 150 but also the operation time required for the determination unit 170.

판단부(170)의 동작 필요 시간이 단축되도록, 탐색부(150)는 특이점이 검색되면 의료 영상에서 특이점이 포함된 의심 영역을 추출할 수 있다. 이때, 판단부(170)는 기계 학습에 의해 획득된 진단 모델을 이용해 의심 영역의 의료상 이상 유무를 판단할 수 있다. 판단부(170)는 의료 영상에서 의심 영역만을 판단 대상으로 한정하는 것을 통해, 처리 부하 및 처리 시간을 단축시킬 수 있다.In order to shorten the time required for the operation of the determination unit 170, the search unit 150 may extract a suspicious region including the singularity from the medical image when the singularity is detected. In this case, the determination unit 170 may determine the presence or absence of a medical abnormality in the suspicious area using the diagnostic model acquired by machine learning. The determination unit 170 may reduce a processing load and a processing time by limiting only the suspicious region in the medical image as a determination object.

탐색부(150)는 특이점이 탐색되면, 장기의 전체 경계선 중에서 특이점 s 및 특이점 s에 연결된 일부의 주변 경계선 o에 해당하는 패치 p를 추출할 수 있다.When the singular point is searched, the search unit 150 may extract a patch p corresponding to the singular point s and a peripheral boundary line o connected to the singular point s from the entire boundary line of the organ.

도 4는 패치를 나타낸 사진이다.4 is a photograph showing a patch.

패치 p는 특이점 s 및 특이점 s에 연결된 일부의 주변 경계선 o를 포함하는 영상 데이터를 포함할 수 있다. 패치 p는 평면적으로 형성되거나 3차원적으로 형성될 수 있다. 3차원적으로 형성된 패치 p는 큐빅과 같은 육면체 등의 다면체 형상으로 형성될 수 있다.The patch p may include image data including a singular point s and a peripheral boundary line o connected to the singular point s. The patch p may be formed in a plane or three-dimensionally. The three-dimensionally formed patch p may be formed in a polyhedral shape such as a hexahedron such as a cubic.

판단부(170)는 의료 영상 및 장기의 전체 경계선을 배제하고, 패치 p만을 이용해서 장기의 이상 유무를 판단할 수 있다.The determination unit 170 may exclude the medical image and the entire boundary line of the organ, and determine whether there is an abnormality in the organ using only the patch p.

도 5는 추출부(130)의 동작을 나타낸 개략도이다.5 is a schematic diagram showing the operation of the extraction unit 130.

특이점을 탐색하기 위해 탐색부(150)는 의료 영상에 포함된 장기의 경계선을 파악할 필요가 있다. 이때, 경계선의 파악에 추출부(130)가 이용될 수 있다.In order to search for a singular point, the search unit 150 needs to grasp a boundary line of an organ included in the medical image. In this case, the extraction unit 130 may be used to determine the boundary line.

추출부(130)는 획득부(110)에 의해 획득된 의료 영상에서 장기의 경계선만을 추출하고, 경계선만 포함된 경계 영상 i1을 생성할 수 있다. 이때, 탐색부(150)는 의료 영상 대신 경계 영상 i1을 이용해서 특이점을 탐색할 수 있다. 탐색부(150)는 원래의 의료 영상 대신 적은 데이터량을 갖는 경계 영상 i1만 분석하면 되므로, 처리 시간이 단축될 수 있다.The extraction unit 130 may extract only a boundary line of an organ from the medical image obtained by the acquisition unit 110 and generate a boundary image i1 including only the boundary line. In this case, the search unit 150 may search for a singular point using the boundary image i1 instead of the medical image. Since the search unit 150 only needs to analyze the boundary image i1 having a small amount of data instead of the original medical image, processing time may be shortened.

도 5의 (b)에 도시된 바와 같이, 추출부(130)는 의료 영상을 이용해서 장기의 에지(edge)에 제1 값이 마스킹되고 나머지 영역에 제2 값이 마스킹된 제1 바이너리 마스크 m1을 추출할 수 있다. 예를 들어, 바이너리 마스크에서 제1 값은 '1'로, 투명 상태(도면에서는 하얗게 표시)일 수 있다. 바이너리 마스크에서 제2 값은 '0'으로, 불투명 상태(도면에서는 검게 표시)일 수 있다.As shown in (b) of FIG. 5, the extraction unit 130 uses a medical image to mask the first value m1 on the edge of the organ and the second value on the remaining area. Can be extracted. For example, in the binary mask, the first value may be '1' and may be in a transparent state (indicated in white in the drawing). In the binary mask, the second value may be '0' and may be in an opaque state (shown in black in the drawing).

추출부(130)는 제1 바이너리 마스크 m1을 이용해 설정 두께의 경계선을 추출할 수 있다. 예를 들어, 추출부(130)는 의료 영상에 제1 바이너리 마스크 m1을 씌우는 윈도우 처리를 통해 경계선을 추출할 수 있다. 해당 윈도우 처리를 통해 경계선만 포함된 경계 영상 i1이 획득될 수 있다. 추출부(130)는 추출된 경계선 또는 경계 영상 i1을 탐색부(150)로 전달할 수 있다. 탐색부(150)는 추출부(130)로부터 전달받은 경계선 또는 경계 영상 i1을 대상으로 특이점 탐색으로 위한 그라디언트 연산을 수행할 수 있다.The extraction unit 130 may extract the boundary line of the set thickness using the first binary mask m1. For example, the extraction unit 130 may extract the boundary line through window processing in which the first binary mask m1 is applied to the medical image. A boundary image i1 including only the boundary line may be obtained through the corresponding window processing. The extraction unit 130 may transmit the extracted boundary line or boundary image i1 to the search unit 150. The search unit 150 may perform a gradient operation for searching for a singular point on the boundary line or boundary image i1 received from the extraction unit 130.

도 6은 본 발명의 다른 진단 장치를 나타낸 블록도이다.6 is a block diagram showing another diagnostic device of the present invention.

도 6에 도시된 진단 장치는 전처리 유니트(10), 제1 진단 유니트(100), 제2 진단 유니트(200), 통합 유니트(30)를 포함할 수 있다.The diagnostic apparatus illustrated in FIG. 6 may include a pretreatment unit 10, a first diagnostic unit 100, a second diagnostic unit 200, and an integrated unit 30.

전처리 유니트(10)는 흉부 CT 영상 등의 의료 영상이 입수되면, 해당 의료 영상을 설정 사이즈로 리사이징하거나 이미지 정규화를 수행할 수 있다.When a medical image such as a chest CT image is obtained, the preprocessing unit 10 may resize the medical image to a set size or perform image normalization.

제1 진단 유니트(100)는 도 1에 도시된 진단 장치에 해당될 수 있다. 제1 진단 유니트(100)는 흉부의 의료 영상을 이용해 흉막 결절을 진단할 수 있다.The first diagnostic unit 100 may correspond to the diagnostic device illustrated in FIG. 1. The first diagnosis unit 100 may diagnose a pleural nodule using a medical image of the chest.

제1 진단 유니트(100)는 폐의 에지(edge)에 대한 제1 바이너리 마스크 m1을 추출할 수 있다. 의료 영상 상에서 폐의 에지는 폐의 경계일 수 있다.The first diagnostic unit 100 may extract a first binary mask m1 for an edge of the lung. On the medical image, the edge of the lung may be the boundary of the lung.

제1 진단 유니트(100)는 제1 바이너리 마스크 m1을 이용해서 폐의 경계선을 추출할 수 있다.The first diagnostic unit 100 may extract the boundary line of the lung using the first binary mask m1.

제1 진단 유니트(100)는 경계선의 그라디언트(gradients)를 계산할 수 있다.The first diagnostic unit 100 may calculate gradients of a boundary line.

제1 진단 유니트(100)는 그라디언트의 계산 결과를 이용해 흉막 결절로 의심되는 돌기가 포함된 3차원 다면체의 제1 패치를 추출할 수 있다.The first diagnostic unit 100 may extract a first patch of a three-dimensional polyhedron including a protrusion suspected of being a pleural nodule using the calculation result of the gradient.

제1 진단 유니트(100)는 제1 패치를 이용해 흉막 결절을 진단할 수 있다.The first diagnosis unit 100 may diagnose a pleural nodule using the first patch.

제2 진단 유니트(200)는 의료 영상을 이용해 폐 결절을 진단할 수 있다.The second diagnosis unit 200 may diagnose a lung nodule using a medical image.

제2 진단 유니트(200)는 폐의 내부와 폐의 외부가 구분되는 제2 바이너리 마스크 m2를 추출할 수 있다. 예를 들어, 제2 진단 유니트(200)는 의료 영상의 영상 처리를 통해 폐 내부가 '1'인 투명으로 처리되고, 폐 외부가 '0'인 불투명으로 처리된 제2 바이너리 마스크 m2를 생성할 수 있다.The second diagnostic unit 200 may extract a second binary mask m2 from which the inside of the lung and the outside of the lung are divided. For example, the second diagnostic unit 200 may generate a second binary mask m2 in which the inside of the lung is treated as '1' transparent and the outside of the lung is treated as opaque '0' through image processing of the medical image. I can.

제2 진단 유니트(200)는 제2 바이너리 마스크 m2를 이용해서 폐의 내부 영역 전체를 추출할 수 있다. 일 예로, 제2 진단 유니트(200)는 의료 영상에 제2 바이너리 마스크 m2를 씌우는 윈도우 처리를 통해 폐의 내부 영역에 대한 이미지 데이터만 포함된 영역 영상 i2를 생성할 수 있다.The second diagnostic unit 200 may extract the entire inner region of the lung using the second binary mask m2. As an example, the second diagnosis unit 200 may generate an area image i2 including only image data for an inner area of the lung through window processing in which a second binary mask m2 is applied to the medical image.

제2 진단 유니트(200)는 영역 영상 i2를 이용해서 폐의 내부 영역을 설정 사이즈의 3차원 다면체의 제2 패치로 분할할 수 있다.The second diagnostic unit 200 may divide the inner region of the lung into second patches of a 3D polyhedron having a set size using the region image i2.

제2 진단 유니트(200)는 제2 패치를 이용해 폐 결절을 진단할 수 있다.The second diagnostic unit 200 may diagnose a lung nodule using the second patch.

제2 진단 유니트(200)는 도 2에 도시된 바와 같이, 각종 원형의 결절을 높은 정확도로 탐색하고 진단할 수 있다. 제2 진단 유니트(200)는 기존의 폐 결절 진단 장비로 대체될 수 있다. 그러나, 제2 진단 유니트(200)는 흉막에 붙어서 형성된 흉막 결절을 진단하기 어려운 문제가 있다. 본 발명에 따르면, 흉막 결절은 제1 진단 유니트(100)에 의해 진단될 수 있다.As illustrated in FIG. 2, the second diagnosis unit 200 may search and diagnose various circular nodules with high accuracy. The second diagnostic unit 200 may be replaced with an existing pulmonary nodule diagnostic equipment. However, the second diagnosis unit 200 has a problem in that it is difficult to diagnose a pleural nodule formed by being attached to the pleura. According to the present invention, the pleural nodule can be diagnosed by the first diagnostic unit 100.

통합 유니트(30)는 흉막 결절의 진단 결과와 폐 결절의 진단 결과가 통합된 최종 진단 결과를 생성할 수 있다. 최종 진단 결과는 흉막 결절이 포함된 모든 폐 결절과 관련된 변병에 대한 진단 결과에 해당될 수 있으며, 의료진에게 큰 도움이 될 수 있다.The integrated unit 30 may generate a final diagnosis result in which the diagnosis result of the pleural nodule and the diagnosis result of the pulmonary nodule are integrated. The final diagnosis result may correspond to the diagnosis result for all pulmonary nodules-related feces including pleural nodules, and can be of great help to medical personnel.

본 발명에 따르면, 의료 영상에 포함된 장기의 경계선을 대상으로 그라디언트를 계산하며, 경계선 상에서 그라디언트의 변화량 또는 변화율이 설정값을 만족하는 특이점을 탐색하는 진단 방법이 제공될 수 있다. 해당 진단 방법은 경계선 중 특이점이 탐색된 의심 영역을 추출하고, 의심 영역만을 대상으로 기계 학습에 기초하여 결절 여부를 진단할 수 있다. 본 발명의 진단 방법을 구체적으로 나타내면 도 7과 같다.According to the present invention, a diagnostic method for calculating a gradient targeting a boundary line of an organ included in a medical image and searching for a singular point in which a change amount or rate of change of the gradient satisfies a set value may be provided. The corresponding diagnosis method may extract a suspicious area in which a singularity is detected among the boundary lines, and diagnose whether a nodule has occurred based on machine learning for only the suspicious area. 7 is a detailed illustration of the diagnostic method of the present invention.

도 7은 본 발명의 진단 방법을 나타낸 흐름도이다.7 is a flow chart showing a diagnosis method of the present invention.

먼저, CT(computed tomography) 등의 흉부 의료 영상을 설정 사이즈로 리사이징하거나 정규화할 수 있다(S 510). 해당 동작은 전처리 유니트(10)에 의해 수행될 수 있다.First, a chest medical image such as computed tomography (CT) may be resized or normalized to a set size (S510). This operation may be performed by the preprocessing unit 10.

전처리된 흉부의 의료 영상이 입력되면, 영상 처리를 통해 폐 경계선이 구분되는 제1 바이너리 마스크 m1을 추출할 수 있다. 제1 바이너리 마스크 m1을 이용해 설정 두께의 폐 경계선 o를 추출할 수 있다(S 520). 추출부(130)에 의해 이루어지는 동작으로, 의료 영상에서 폐 경계선 o만 남은 경계 영상 i1이 생성될 수 있다.When the pre-processed medical image of the chest is input, a first binary mask m1 for dividing the lung boundary line may be extracted through image processing. The lung boundary line o having a set thickness may be extracted using the first binary mask m1 (S520). As an operation performed by the extraction unit 130, a boundary image i1 remaining only the lung boundary line o in the medical image may be generated.

폐 경계선 o를 대상으로 3D 그라디언트를 계산할 수 있다. 탐색부(150)에 의해 수행되는 동작으로, HOG(Histogram of gradients)가 이용될 수 있다(S 530). 탐색부(150)는 흉막 결절 부분에 대한 그라디언트의 변화값이 설정 조건을 만족하는 사실을 역으로 이용하여, 3D 그라디언트의 변화가 설정 조건을 만족하는 부분을 탐색할 수 있다(S 540). 탐색부(150)는 탐색된 부분(의심 영역)을 3D 큐브 패치의 형태로 추출할 수 있다(S 550).A 3D gradient can be calculated for the lung boundary line o. As an operation performed by the search unit 150, a histogram of gradients (HOG) may be used (S530). The search unit 150 may search for a portion in which the change in the 3D gradient satisfies the set condition by using the fact that the change value of the gradient for the pleural nodule portion satisfies the set condition (S540). The search unit 150 may extract the searched part (suspect area) in the form of a 3D cube patch (S550).

흉막 결절만을 대상으로 한 기계 학습을 통해 도출된 흉막 결절 분류 모델을 이용해서 3D 큐브 패치의 흉막 결절 여부를 진단할 수 있다(S 560). 판단부(170)에 의해 수행되는 동작일 수 있따. 판단부(170)는 전체 경계선을 대상으로 하지 않고, 탐색부(150)로부터 전달받은 패치만을 대상으로 흉막 결절 여부를 진단할 수 있다.Using a pleural nodule classification model derived through machine learning targeting only pleural nodules, it is possible to diagnose whether a 3D cube patch has a pleural nodule (S560). It may be an operation performed by the determination unit 170. The determination unit 170 may diagnose whether or not a pleural nodule is detected using only the patch received from the search unit 150 without targeting the entire boundary line.

본 발명의 진단 방법에 따르면, 검출이 까다로운 흉막 결절의 검출 성능이 개선될 수 있다. 또한, 흉막 결절의 진단에 필요한 소요 시간, 메모리 사용량과 관련된 비용 효율적인 검출 알고리즘을 통해 저비용 고효율의 폐 결절 검출이 가능하다.According to the diagnostic method of the present invention, the detection performance of a pleural nodule, which is difficult to detect, can be improved. In addition, it is possible to detect pulmonary nodules with low cost and high efficiency through a cost-effective detection algorithm related to the time required for diagnosis of pleural nodules and memory usage.

도 8은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 8의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 진단 장치 또는 제1 진단 유니트 등) 일 수 있다. 8 is a diagram illustrating a computing device according to an embodiment of the present invention. The computing device TN100 of FIG. 8 may be a device (eg, a diagnostic device or a first diagnostic unit) described herein.

도 8의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 8, the computing device TN100 may include at least one processor TN110, a transmission/reception device TN120, and a memory TN130. In addition, the computing device TN100 may further include a storage device TN140, an input interface device TN150, an output interface device TN160, and the like. Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed. The processor TN110 may be configured to implement procedures, functions, and methods described in connection with an embodiment of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to an operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may be configured with at least one of a volatile storage medium and a nonvolatile storage medium. For example, the memory TN130 may be composed of at least one of a read only memory (ROM) and a random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.The transmission/reception device TN120 may transmit or receive a wired signal or a wireless signal. The transmission/reception device TN120 may be connected to a network to perform communication.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. Meanwhile, the embodiment of the present invention is not implemented only through the apparatus and/or method described so far, but may be implemented through a program that realizes a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded. In addition, such an implementation can be easily implemented by a person skilled in the art from the description of the above-described embodiments.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of the skilled person using the basic concept of the present invention defined in the following claims are also present. It is within the scope of the invention.

10...전처리 유니트 30...통합 유니트
100...제1 진단 유니트 110...획득부
130...추출부 150...탐색부
170...판단부 200...제2 진단 유니트
10... pretreatment unit 30... integrated unit
100...1st diagnostic unit 110...acquisition section
130...extracting section 150...finding section
170... judgment part 200... second diagnostic unit

Claims (12)

신체 내부의 장기를 촬영한 의료 영상을 획득하는 획득부;
상기 의료 영상에 포함된 상기 장기의 경계선으로부터 연속되게 돌출된 돌기 또는 상기 경계선으로부터 연속되게 함몰된 홈에 해당하는 특이점을 탐색하는 탐색부;
를 포함하는 진단 장치.
An acquisition unit that acquires a medical image photographing organs inside the body;
A search unit for searching for a singular point corresponding to a protrusion continuously protruding from a boundary line of the organ included in the medical image or a groove continuously depressed from the boundary line;
Diagnostic device comprising a.
제1항에 있어서,
상기 획득부에 의해 획득된 상기 의료 영상에서 상기 장기의 경계선만을 추출하고, 상기 경계선만 포함된 경계 영상을 생성하는 추출부가 마련되고,
상기 탐색부는 상기 의료 영상 대신 상기 경계 영상을 이용해서 상기 특이점을 탐색하는 진단 장치.
The method of claim 1,
An extraction unit for extracting only the boundary line of the organ from the medical image obtained by the acquisition unit and generating a boundary image including only the boundary line is provided,
The diagnostic apparatus for the search unit to search for the singular point using the boundary image instead of the medical image.
제1항에 있어서,
상기 의료 영상을 이용해서 상기 장기의 에지(edge)에 제1 값이 마스킹되고 나머지 영역에 제2 값이 마스킹된 바이너리 마스크를 추출하는 추출부가 마련되고,
상기 추출부는 상기 바이너리 마스크를 이용해 설정 두께의 상기 경계선을 추출하며, 추출된 상기 경계선을 상기 탐색부로 전달하는 진단 장치.
The method of claim 1,
An extraction unit is provided for extracting a binary mask in which a first value is masked on an edge of the organ and a second value is masked in the remaining area using the medical image,
The extraction unit extracts the boundary line of a set thickness using the binary mask, and transmits the extracted boundary line to the search unit.
제1항에 있어서,
상기 탐색부는 상기 경계선을 대상으로 3차원 그라디언트(3D gradients)를 계산하고,
상기 탐색부는 주변 경계선의 그라디언트의 변화율보다 설정값 이상 차이나는 그라디언트의 변화율을 갖는 부분을 상기 특이점으로 선정하는 진단 장치.
The method of claim 1,
The search unit calculates 3D gradients for the boundary line,
The search unit is a diagnostic device for selecting, as the singularity, a portion having a change rate of a gradient that differs by more than a set value than a change rate of a gradient of a peripheral boundary line.
제1항에 있어서,
상기 획득부는 흉막 영상을 획득하고,
상기 탐색부는 흉막의 경계선을 대상으로 3차원 그라디언트를 계산하고, 상기 그라디언트를 이용해서 상기 흉막의 경계선으로부터 반구형으로 돌출된 흉막 결절(juxta-pleural nodule)을 탐색하는 진단 장치.
The method of claim 1,
The acquisition unit acquires a pleural image,
The search unit calculates a three-dimensional gradient targeting the boundary line of the pleura, and uses the gradient to search for a juxta-pleural nodule protruding from the boundary line of the pleura in a hemispherical shape.
제1항에 있어서,
상기 탐색부는 상기 특이점이 탐색되면, 상기 의료 영상에서 상기 특이점이 포함된 의심 영역을 추출하고,
기계 학습에 의해 획득된 진단 모델을 이용해 상기 의심 영역의 의료상 이상 유무를 판단하는 판단부가 마련된 진단 장치.
The method of claim 1,
When the search unit detects the singularity, extracts a suspicious region including the singularity from the medical image,
A diagnostic device provided with a determination unit for determining the presence or absence of a medical abnormality in the suspicious region using a diagnostic model obtained by machine learning.
제1항에 있어서,
상기 탐색부는 상기 특이점이 탐색되면, 상기 장기의 전체 경계선 중에서 상기 특이점이 포함된 일부의 경계선에 해당하는 패치를 추출하고,
상기 의료 영상 및 상기 장기의 전체 경계선을 배제하고, 상기 패치만을 이용해서 상기 장기의 이상 유무를 판단하는 판단부가 마련된 진단 장치.
The method of claim 1,
When the singular point is detected, the search unit extracts a patch corresponding to a partial boundary line including the singular point from the entire boundary line of the organ,
A diagnosis apparatus including a determination unit configured to exclude the medical image and the entire boundary line of the organ, and to determine whether or not the organ is abnormal using only the patch.
흉부의 의료 영상을 이용해 흉막 결절을 진단하는 제1 진단 유니트;
상기 의료 영상을 이용해 폐 결절을 진단하는 제2 진단 유니트;
상기 제1 진단 유니트의 진단 결과와 상기 제2 진단 유니트의 진단 결과를 통합하는 통합 유니트;를 포함하고,
상기 제1 진단 유니트는,
상기 의료 영상에 포함된 장기의 경계선으로부터 연속되게 돌출된 돌기 또는 상기 경계선으로부터 연속되게 함몰된 홈에 해당하는 특이점을 탐색하고, 상기 특이점을 이용해서 상기 흉막 결절을 진단하는 진단 장치.
A first diagnostic unit for diagnosing a pleural nodule using a medical image of the chest;
A second diagnostic unit for diagnosing a lung nodule using the medical image;
And an integrated unit that integrates the diagnosis result of the first diagnosis unit and the diagnosis result of the second diagnosis unit,
The first diagnostic unit,
A diagnostic apparatus for diagnosing the pleural nodule by searching for a singular point corresponding to a protrusion continuously protruding from the boundary line of the organ included in the medical image or a groove continuously depressed from the boundary line.
제8항에 있어서,
상기 제1 진단 유니트는,
상기 폐의 에지(edge)에 대한 바이너리 마스크를 추출하고,
상기 바이너리 마스크를 이용해서 상기 폐의 경계선을 추출하며,
상기 경계선의 그라디언트(gradients)를 계산하고,
상기 그라디언트의 계산 결과를 이용해 상기 흉막 결절로 의심되는 돌기가 포함된 3차원 다면체의 제1 패치를 추출하며,
상기 제1 패치를 이용해 상기 흉막 결절을 진단하고,

상기 제2 진단 유니트는,
상기 폐의 내부와 상기 폐의 외부가 구분되는 바이너리 마스크를 추출하며,
상기 바이너리 마스크를 이용해서 상기 폐의 내부 영역 전체를 추출하고,
상기 폐의 내부 영역을 설정 사이즈의 3차원 다면체의 제2 패치로 분할하며,
상기 제2 패치를 이용해 상기 폐 결절을 진단하고,

상기 통합 유니트는 상기 흉막 결절의 진단 결과와 상기 폐 결절의 진단 결과가 통합된 최종 진단 결과를 생성하는 진단 장치.
The method of claim 8,
The first diagnostic unit,
Extracting a binary mask for the edge of the lung,
Extracting the boundary line of the lung using the binary mask,
Calculate the gradients of the boundary line,
Extracting a first patch of a three-dimensional polyhedron containing a protrusion suspected as the pleural nodule using the calculation result of the gradient,
Diagnosing the pleural nodule using the first patch,

The second diagnostic unit,
Extracting a binary mask that separates the inside of the lung and the outside of the lung,
Extracting the entire inner region of the lung using the binary mask,
Dividing the inner region of the lung into a second patch of a three-dimensional polyhedron of a set size,
Diagnosing the lung nodule using the second patch,

The integrated unit is a diagnostic device for generating a final diagnosis result in which the diagnosis result of the pleural nodule and the diagnosis result of the pulmonary nodule are integrated.
의료 영상에 포함된 장기의 경계선으로부터 연속되게 돌출된 돌기 또는 상기 경계선으로부터 연속되게 함몰된 홈에 해당하는 특이점을 탐색하는 진단 장치에 의해 수행되는 진단 방법에 있어서,
의료 영상에 포함된 장기의 경계선을 대상으로 그라디언트를 계산하며, 상기 경계선 상에서 상기 그라디언트의 변화량 또는 변화율이 설정값을 만족하는 특이점을 탐색하는 진단 방법.
A diagnostic method performed by a diagnostic device for searching for a singular point corresponding to a protrusion continuously protruding from a boundary line of an organ included in a medical image or a groove continuously depressed from the boundary line,
A diagnostic method in which a gradient is calculated for a boundary line of an organ included in a medical image, and a singular point in which the change amount or rate of change of the gradient satisfies a set value on the boundary line.
제10항에 있어서,
상기 경계선 중 상기 특이점이 탐색된 의심 영역을 추출하고, 상기 의심 영역만을 대상으로 기계 학습에 기초하여 결절 여부를 진단하는 진단 방법.
The method of claim 10,
A diagnostic method of extracting a suspicious region in which the singularity is searched among the boundary lines, and diagnosing a nodule based on machine learning for only the suspicious region.
의료 영상에 포함된 장기의 경계선으로부터 연속되게 돌출된 돌기 또는 상기 경계선으로부터 연속되게 함몰된 홈에 해당하는 특이점을 탐색하는 진단 장치에 의해 수행되는 진단 방법에 있어서,
흉부의 의료 영상이 입력되면, 영상 처리를 통해 폐 경계선이 구분되는 바이너리 마스크를 추출하는 단계;
상기 바이너리 마스크를 이용해 설정 두께의 폐 경계선을 추출하는 단계;
상기 폐 경계선을 대상으로 3D 그라디언트를 계산하는 단계;
흉막 결절 부분에 대한 그라디언트의 변화값이 설정 조건을 만족하는 사실을 역으로 이용하여, 상기 3D 그라디언트의 변화가 상기 설정 조건을 만족하는 부분을 탐색하는 단계;
탐색된 부분을 3D 큐브 패치의 형태로 추출하는 단계;
상기 흉막 결절만을 대상으로 한 기계 학습을 통해 도출된 흉막 결절 분류 모델을 이용해서 상기 3D 큐브 패치의 흉막 결절 여부를 진단하는 단계;
를 포함하는 진단 방법.
A diagnostic method performed by a diagnostic device for searching for a singular point corresponding to a protrusion continuously protruding from a boundary line of an organ included in a medical image or a groove continuously depressed from the boundary line,
When a medical image of the chest is input, extracting a binary mask from which a lung boundary line is divided through image processing;
Extracting a closed boundary line of a set thickness using the binary mask;
Calculating a 3D gradient for the lung boundary line;
Searching for a portion in which the change in the 3D gradient satisfies the set condition by using the fact that the change value of the gradient for the pleural nodule portion satisfies the set condition;
Extracting the searched part in the form of a 3D cube patch;
Diagnosing whether the 3D cube patch has a pleural nodule using a pleural nodule classification model derived through machine learning targeting only the pleural nodule;
Diagnosis method comprising a.
KR1020190096991A 2019-08-08 2019-08-08 Apparatus and method for detecting singularity KR102152385B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190096991A KR102152385B1 (en) 2019-08-08 2019-08-08 Apparatus and method for detecting singularity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190096991A KR102152385B1 (en) 2019-08-08 2019-08-08 Apparatus and method for detecting singularity

Publications (1)

Publication Number Publication Date
KR102152385B1 true KR102152385B1 (en) 2020-09-04

Family

ID=72470715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190096991A KR102152385B1 (en) 2019-08-08 2019-08-08 Apparatus and method for detecting singularity

Country Status (1)

Country Link
KR (1) KR102152385B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145841A1 (en) * 2020-12-30 2022-07-07 주식회사 피노맥스 Method for interpreting lesion and apparatus therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070083388A (en) * 2004-05-20 2007-08-24 메딕사이트 피엘씨. Nodule detection
KR20140091176A (en) * 2013-01-10 2014-07-21 삼성전자주식회사 Apparatus and method for lesion diagnosis
KR20180051267A (en) * 2016-11-08 2018-05-16 경기대학교 산학협력단 Apparatus and method for measuring bone level
KR101887194B1 (en) 2018-06-20 2018-08-10 주식회사 뷰노 Method for facilitating dignosis of subject based on medical imagery thereof, and apparatus using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070083388A (en) * 2004-05-20 2007-08-24 메딕사이트 피엘씨. Nodule detection
KR20140091176A (en) * 2013-01-10 2014-07-21 삼성전자주식회사 Apparatus and method for lesion diagnosis
KR20180051267A (en) * 2016-11-08 2018-05-16 경기대학교 산학협력단 Apparatus and method for measuring bone level
KR101887194B1 (en) 2018-06-20 2018-08-10 주식회사 뷰노 Method for facilitating dignosis of subject based on medical imagery thereof, and apparatus using the same

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HEEWON CHUNG 외 4명, Automatic Lung Segmentation With Juxta-Pleural Nodule Identification Using Active Contour Model and Bayesian Approach, IEEE J of Trans Health and Medicine, VOL 6, 2018 *
S Saraswathi 외 1명, Detection of Juxtapleural Nodules in Lung Cancer Cases Using an Optimal Critical Point Selection Algorithm, Asian Pac J Cancer Prev, 18 (11), 3143-3148, 2017 *
Shen S, Bui AT, Cong J, William Hsu (2014). An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy. Comput Biol Med, 57, 139-49. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145841A1 (en) * 2020-12-30 2022-07-07 주식회사 피노맥스 Method for interpreting lesion and apparatus therefor

Similar Documents

Publication Publication Date Title
US10362941B2 (en) Method and apparatus for performing registration of medical images
US10383592B2 (en) Apparatus and method for aiding imaging diagnosis
US8406496B2 (en) Method and system for left ventricle detection in 2D magnetic resonance images
Wiemker et al. Aspects of computer-aided detection (CAD) and volumetry of pulmonary nodules using multislice CT
US8213700B2 (en) Systems and methods for identifying suspicious anomalies using information from a plurality of images of an anatomical colon under study
US9117259B2 (en) Method and system for liver lesion detection
US9218542B2 (en) Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
US9230320B2 (en) Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules
KR102205898B1 (en) Method and Apparatus for registering medical images
US20020164061A1 (en) Method for detecting shapes in medical images
US8175348B2 (en) Segmenting colon wall via level set techniques
US20070165917A1 (en) Fully automatic vessel tree segmentation
US20050107695A1 (en) System and method for polyp visualization
JP2003225231A (en) Method and system for detecting lung disease
JP4640845B2 (en) Image processing apparatus and program thereof
CN106470613B (en) Lesion signatures to characterize pathology for specific subjects
El-Baz et al. A new CAD system for early diagnosis of detected lung nodules
US9547896B2 (en) Lesion classification apparatus, and method of modifying lesion classification data
KR102150682B1 (en) Apparatus and method for classifying singularity
US20100220913A1 (en) System and Method for Detection of Lesions in Three-Dimensional Digital Medical Image
JP2006034585A (en) Picture display device and picture display method, and program thereof
KR102132566B1 (en) Apparatus and method for distinguishing lesion
KR102152385B1 (en) Apparatus and method for detecting singularity
US20050002548A1 (en) Automatic detection of growing nodules
US20150282782A1 (en) System and method for detection of lesions

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant