KR20210142993A - The method and system for automatic detection of breast mass - Google Patents

The method and system for automatic detection of breast mass Download PDF

Info

Publication number
KR20210142993A
KR20210142993A KR1020200059843A KR20200059843A KR20210142993A KR 20210142993 A KR20210142993 A KR 20210142993A KR 1020200059843 A KR1020200059843 A KR 1020200059843A KR 20200059843 A KR20200059843 A KR 20200059843A KR 20210142993 A KR20210142993 A KR 20210142993A
Authority
KR
South Korea
Prior art keywords
mass
view image
region
breast
linear distance
Prior art date
Application number
KR1020200059843A
Other languages
Korean (ko)
Other versions
KR102396911B1 (en
Inventor
김광기
유은영
김영재
박성진
Original Assignee
가천대학교 산학협력단
(의료)길의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단, (의료)길의료재단 filed Critical 가천대학교 산학협력단
Priority to KR1020200059843A priority Critical patent/KR102396911B1/en
Publication of KR20210142993A publication Critical patent/KR20210142993A/en
Application granted granted Critical
Publication of KR102396911B1 publication Critical patent/KR102396911B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/502—Clinical applications involving diagnosis of breast, i.e. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

The present invention relates to a method for automatically detecting a breast mass using a mammogram image, which prevents false detections occurring in a pectoral muscle region and nipple region of the mammogram image, and a system thereof. According to one embodiment of the present invention, the method comprises the following steps by a processor: applying a first view image and second view image of the breast to an artificial intelligence (AI) model; detecting at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image; calculating the coordinates of a mass detected in the pectoral muscle region in the first view image or the second view image to remove the mass from the pectoralis muscle region and calculating the coordinates of the mass detected in the nipple region to remove the mass from the nipple region; calculating a first straight line distance between a nipple point and a mass point in the first view image; calculating a second straight line distance between the nipple point and the mass point in the second view image; comparing the first linear distance with the second linear distance; and when determining that the first linear distance and the second linear distance are similar, determining that the mass is benign.

Description

유방 종괴 자동 검출 방법 및 시스템{The method and system for automatic detection of breast mass}The method and system for automatic detection of breast mass

본 발명은 유방 촬영술에 관한 것으로, 보다 상세하게는 유방 종괴 자동 검출 방법, 시스템 및 프로그램 에 관한 것이다.The present invention relates to mammography, and more particularly, to a method, system and program for automatic breast mass detection.

유방암은 전세계적으로 여성에게 가장 빈번하게 발생하면서도 위험도가 높은 암으로, 특히 우리나라에서 유방암은 2002년 이후로 여성에게 발생하는 암 중 1위를 차지하는 질환으로 유방암의 조기 진단이 점점 더 중요시되고 있다.Breast cancer is the most frequent and high-risk cancer among women worldwide. In particular, in Korea, breast cancer has been the number one cancer among women since 2002, and early diagnosis of breast cancer is increasingly important.

유방암의 예후인자는 조직학적 분화도, 액와림프절 전이, 종양의 크기, 발병 당시 연령, 에스트로겐 및 프로게스테론 수용체 양성 여부, c-erbB2 수용체 양성 여부 등 생리학적으로 중요한 인자들이 있지만 최근 유방촬영술(mammography)의 발달로 이와 같은 인자를 확인하기 전 조기 선별 검사로 유방 X선 영상이 많이 사용되고 있다.The prognostic factors for breast cancer include physiologically important factors such as histological differentiation, axillary lymph node metastasis, tumor size, age at onset, estrogen and progesterone receptor positivity, c-erbB2 receptor positivity, etc. However, the recent development of mammography Therefore, mammograms are widely used as an early screening test before identifying these factors.

북미와 유럽에서는 1960년대부터 국가의 지원 하에 선별 유방촬영술을 시행하여 유방암 조기 발견에 노력한 결과 유방암으로 인한 사망률이 감소하였음을 보고하고 있다.In North America and Europe, it has been reported that the mortality rate from breast cancer has decreased as a result of efforts to detect breast cancer early by implementing screening mammography with national support since the 1960s.

유방 X선 영상에서는 주로 종괴(mass)나 미세석회화 (microcalcification)를 검출하여 유방암의 위험도를 측정하고 있다. In mammograms, the risk of breast cancer is measured mainly by detecting a mass or microcalcification.

무증상 여성에게 시행되는 선별 유방 촬영술은 50세 이상의 연령에서 사망률을 30%, 40세 내지 50세 이하 여성에서 사망률을 17% 정도 낮추었다. 하지만 한국을 포함한 아시아 여성은 치밀한 방사선 비 투과성의 유방조직을 가지고 있기 때문에, 유방암 진단에 어려움이 많은 한계가 있는데, 이로 인하여 유방암의 약 15% 내지 20%를 놓치게 된다.Selected mammography for asymptomatic women reduced the mortality rate by 30% in women over 50 years of age and by 17% in women 40 to 50 years of age or younger. However, because Asian women including Korea have dense radiopaque breast tissue, there are many limitations in diagnosing breast cancer, which results in about 15% to 20% of breast cancer being missed.

전체 유방암 중 95%는 종괴가 발전한 것이므로, 종괴 검출은 상당히 중요하다. 그러나, 이러한 종괴의 검출률은 80% 초중반으로 낮은 수준이다.Since 95% of all breast cancers have advanced mass, mass detection is very important. However, the detection rate of such a mass is low at an early to mid 80% level.

컴퓨터 보조 진단 기법을 통해 자동으로 종괴를 검출하는 연구들이 많이 진행되고 있으나, 종괴와 비슷한 픽셀 강도를 보이는 유두 및 흉근 영역을 위주로 오검출이 많이 발생하며 치밀 유방에서도 종괴와 유방의 구분이 어려워 오검출이 많이 발생하는 문제점이 있다.Although many studies are being conducted to automatically detect masses through computer-aided diagnostic techniques, many false detections occur mainly in the nipple and pectoral muscle areas, which have pixel intensity similar to masses, and it is difficult to distinguish between masses and breasts in dense breasts. There are many problems with this.

(KR) 등록특허 제 10-1111055 호(KR) Registered Patent No. 10-1111055 (KR) 공개특허 제 10-2020-0008251호(KR) Patent Publication No. 10-2020-0008251 (KR) 공개특허 제 10-2016-0117807호(KR) Patent Publication No. 10-2016-0117807

본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 맘모그램(Mammogram) 이미지를 활용하여 자동으로 유방 종괴를 검출하는 방법 및 장치를 제공하고자 한다. The present invention has been devised to solve the above problems, and an object of the present invention is to provide a method and an apparatus for automatically detecting a breast mass by using a mammogram image.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 프로세서를 포함하는 장치에 의해 수행되는 것으로, The automatic breast mass detection method according to an embodiment of the present invention is performed by a device including a processor,

상기 프로세서가 유방에 대한 제1 뷰 이미지와 제2 뷰 이미지를 인공지능 모델에 적용하는 단계;applying, by the processor, a first view image and a second view image of the breast to an artificial intelligence model;

상기 프로세서가 상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지로부터 유두 영역, 종괴 영역, 흉근 영역 중 적어도 어느 하나의 영역을 검출하는 단계;detecting, by the processor, at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image;

상기 프로세서가 상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지 중 흉근 영역에서 검출된 종괴의 좌표를 산출하여 흉근 영역에서 종괴를 제거하고, 유두 영역에서 검출된 종괴의 좌표를 산출하여 유두 영역에서 종괴를 제거하는 단계;The processor calculates the coordinates of the mass detected in the pectoral muscle region in the first view image or the second view image to remove the mass in the pectoralis muscle region, calculates the coordinates of the mass detected in the nipple region, and removes the mass in the nipple region removing;

상기 프로세서가 상기 제1 뷰 이미지에서 유두 지점과 종괴 지점의 제1 직선 거리를 산출하는 단계;calculating, by the processor, a first straight line distance between the nipple point and the mass point in the first view image;

상기 프로세서가 상기 제2 뷰 이미지에서 유두 지점과 종괴 지점의 제2 직선 거리를 산출하는 단계;calculating, by the processor, a second straight line distance between the nipple point and the mass point in the second view image;

상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 단계; 및comparing, by the processor, the first linear distance with the second linear distance; and

상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 경우, 상기 종괴를 양성인 것으로 판단하는 단계;를 포함할 수 있다.When the processor determines that the first linear distance and the second linear distance are similar, determining that the mass is benign; may include.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은,Automatic breast mass detection method according to an embodiment of the present invention,

상기 프로세서가 상기 제1 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 단계;dividing, by the processor, a predetermined number of breast regions from a pectoral muscle point to a nipple point with respect to the first view image;

상기 프로세서가 제2 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 단계;dividing, by the processor, a predetermined number of breast regions from the pectoral muscle point to the nipple point with respect to the second view image;

상기프로세서가 상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한지 비교하는 단계; 및comparing, by the processor, whether the region including the mass in the first view image and the region including the mass in the second view image are the same; and

상기 프로세서가 상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한 경우, 상기 종괴를 양성인 것으로 판단하는 단계;를 포함할 수 있다.determining, by the processor, that the mass is benign when the area including the mass in the first view image and the area including the mass in the second view image are the same.

본 발명의 일 실시예에 따른 제1 뷰 이미지는 CC 뷰(view)이고 본 발명의 일 실시예에 따른 제2 뷰 이미지는 MLO 뷰(View)일 수 있다.A first view image according to an embodiment of the present invention may be a CC view, and a second view image according to an embodiment of the present invention may be an MLO view.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법에서, 상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 단계는,In the automatic breast mass detection method according to an embodiment of the present invention, the step of the processor comparing the first linear distance with the second linear distance comprises:

상기 제1 직선 거리와 상기 제2 직선 거리의 차가 소정의 임계치 내인 경우, 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 것 일 수 있다.When the difference between the first linear distance and the second linear distance is within a predetermined threshold, it may be determined that the first linear distance and the second linear distance are similar.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 시스템은, 유방 영상 촬영부; 상기 유방 영상 촬영부에서 획득한 유방 영상을 처리하는 프로세서를 포함하고,Automatic breast mass detection system according to an embodiment of the present invention, a breast imaging unit; A processor for processing the breast image acquired by the breast imaging unit,

상기 프로세서는, The processor is

유방에 대한 제1 뷰 이미지와 제2 뷰 이미지를 인공지능 모델에 적용하고,Applying the first view image and the second view image of the breast to the artificial intelligence model,

상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지로부터 유두 영역, 종괴 영역, 흉근 영역 중 적어도 어느 하나의 영역을 검출하며,detecting at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image,

상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지 중 흉근 영역에서 검출된 종괴의 좌표를 산출하여 흉근 영역에서 종괴를 제거하고, 유두 영역에서 검출된 종괴의 좌표를 산출하여 유두 영역에서 종괴를 제거하고,In the first view image or the second view image, the coordinates of the mass detected in the pectoralis muscle region are calculated to remove the mass in the pectoralis muscle region, and the coordinates of the mass detected in the nipple region are calculated to remove the mass in the nipple region,

상기 제1 뷰 이미지에서 유두 지점과 종괴 지점의 제1 직선 거리를 산출하고,calculating a first straight line distance between the nipple point and the mass point in the first view image,

상기 제2 뷰 이미지에서 유두 지점과 종괴 지점의 제2 직선 거리를 산출하며,calculating a second straight line distance between the nipple point and the mass point in the second view image,

상기 제1 직선 거리와 상기 제2 직선 거리를 비교하며,Comparing the first linear distance and the second linear distance,

상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 경우, 상기 종괴를 양성인 것으로 판단하는 것을 특징으로 할 수 있다.When it is determined that the first linear distance and the second linear distance are similar, it may be characterized in that the mass is determined to be benign.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 시스템의 상기 프로세서는,The processor of the automatic breast mass detection system according to an embodiment of the present invention,

상기 제1 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하고;dividing the breast region from the pectoral muscle point to the nipple point by a preset number with respect to the first view image;

상기 제2 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하며;dividing a breast region from a pectoral muscle point to a nipple point by a preset number with respect to the second view image;

상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한지 비교하고,Comparing whether the area including the mass in the first view image and the area including the mass in the second view image are the same,

상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한 경우, 상기 종괴를 양성인 것으로 판단할 수 있다.When the area including the mass in the first view image and the area including the mass in the second view image are the same, it may be determined that the mass is benign.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 시스템의 상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 과정은,The process in which the processor of the automatic breast mass detection system according to an embodiment of the present invention compares the first linear distance and the second linear distance,

상기 제1 직선 거리와 상기 제2 직선 거리의 차가 소정의 임계치 내인 경우, 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 것일 수 있다.When the difference between the first linear distance and the second linear distance is within a predetermined threshold, it may be determined that the first linear distance and the second linear distance are similar.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 프로그램은 프로세서와 결합되어, 컴퓨터로 판독가능한 기록 매체에 저장된 것으로, The automatic breast mass detection program according to an embodiment of the present invention is combined with a processor and stored in a computer-readable recording medium,

상기 프로세서는 상기 기록 매체에 저장된 오퍼레이션을 수행하며,The processor performs an operation stored in the recording medium,

상기 기록 매체는,The recording medium is

유방에 대한 제1 뷰 이미지와 제2 뷰 이미지를 인공지능 모델에 적용하는 오퍼레이션;an operation of applying the first view image and the second view image of the breast to the artificial intelligence model;

상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지로부터 유두 영역, 종괴 영역, 흉근 영역 중 적어도 어느 하나의 영역을 검출하는 오퍼레이션;an operation of detecting at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image;

상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지 중 흉근 영역에서 검출된 종괴의 좌표를 산출하여 흉근 영역에서 종괴를 제거하고, 유두 영역에서 검출된 종괴의 좌표를 산출하여 유두 영역에서 종괴를 제거하는 오퍼레이션;An operation of calculating the coordinates of the mass detected in the pectoral muscle region among the first view image or the second view image to remove the mass from the pectoral muscle region, and calculating the coordinates of the mass detected in the nipple region to remove the mass from the nipple region ;

상기 제1 뷰 이미지에서 유두 지점과 종괴 지점의 제1 직선 거리를 산출하는 오퍼레이션;calculating a first straight line distance between the nipple point and the mass point in the first view image;

상기 제2 뷰 이미지에서 유두 지점과 종괴 지점의 제2 직선 거리를 산출하는 오퍼레이션;calculating a second straight line distance between the nipple point and the mass point in the second view image;

상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 오퍼레이션; 및comparing the first linear distance with the second linear distance; and

상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 경우, 상기 종괴를 양성인 것으로 판단하는 오퍼레이션;을 포함할 수 있다.When it is determined that the first linear distance and the second linear distance are similar, an operation of determining that the mass is benign; may include.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 프로그램은,The automatic breast mass detection program according to an embodiment of the present invention,

상기 제1 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 오퍼레이션;an operation of dividing a breast region from a pectoral muscle point to a nipple point by a preset number with respect to the first view image;

상기 제2 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 오퍼레이션;dividing the breast region from the pectoral muscle point to the nipple point by a preset number with respect to the second view image;

상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한지 비교하는 오퍼레이션,an operation of comparing whether the area including the mass in the first view image and the area including the mass in the second view image are the same;

상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한 경우, 상기 종괴를 양성인 것으로 판단하는 오퍼레이션을 더 포함할 수 있다.The method may further include an operation of determining that the mass is benign when the area including the mass in the first view image and the area including the mass in the second view image are the same.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 프로그램에서,In the automatic breast mass detection program according to an embodiment of the present invention,

상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 오퍼레이션은,The operation of comparing the first linear distance and the second linear distance,

상기 제1 직선 거리와 상기 제2 직선 거리의 차가 소정의 임계치 내인 경우, 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 것일 수 있다.When the difference between the first linear distance and the second linear distance is within a predetermined threshold, it may be determined that the first linear distance and the second linear distance are similar.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 맘모그램 이미지의 흉근 영역 및 유두 영역에서 발생하는 오검출을 방지할 수 있다.The automatic breast mass detection method according to an embodiment of the present invention can prevent erroneous detection occurring in the pectoral muscle region and the nipple region of the mammogram image.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 임상의사로 하여금 유방 종괴에 대한 위양성 제거를 자동으로 할 수 있게 하여 번거롭던 수작업으로 인한 진단소요 시간을 단축시킬 수 있다. The method for automatically detecting a breast mass according to an embodiment of the present invention enables a clinician to automatically remove false positives for a breast mass, thereby reducing the time required for diagnosis due to cumbersome manual work.

나아가, 본 발명은 유방 종괴를 객관적으로 측정하여 유방암의 진단 정확도를 높일 수 있다. Furthermore, the present invention can increase the accuracy of diagnosis of breast cancer by objectively measuring a breast mass.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법의 상세 순서도이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 모델 학습에 사용된 맘모그램 데이터를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 모델 학습 구조를 나타내는 도면으로, (A)는 ResNet-152 아키텍처 구조를 나타내며, (B)는 RetinaNet 아키텍처 구조를 나타낸다.
도 5는 본 발명의 일 실시예에 따라 흉근 분할에 사용된 U-Net 딥러닝 아키텍처 구조를 나타낸다.
도 6은 본 발명의 일 실시예에 따라 딥러닝 알고리즘을 통해 검출된 유두 영역을 나타낸다.
도 7은 본 발명의 일 실시예에 따라 딥러닝 알고리즘을 통해 분할된 흉근 영역을 나타낸 도면이다.
도 8a는 본 발명의 일 실시예에 따라 CC 뷰에서 검출된 종괴의 위치 측정 방법을 나타내고, 도 8b는 본 발명의 일 실시예에 따라 MLO 뷰에서 검출된 종괴의 위치 측정 방법을 나타낸다.
도 9a는 본 발명의 다른 실시예에 따라 CC 뷰에서 검출된 종괴의 위치 측정 방법을 나타내고, 도 9b는 본 발명의 다른 실시예에 따라 MLO 뷰에서 검출된 종괴의 위치 측정 방법을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 유방종괴 자동 검출 방법으로 검출된 종괴 결과를 나타내는 도면이다.1 is a flowchart of a method for automatically detecting a breast mass according to an embodiment of the present invention.
2 is a detailed flowchart of a method for automatically detecting a breast mass according to an embodiment of the present invention.
3A to 3D show mammogram data used for model learning according to an embodiment of the present invention.
4 is a view showing a model learning structure according to an embodiment of the present invention, (A) shows the ResNet-152 architecture structure, (B) shows the RetinaNet architecture structure.
5 shows the U-Net deep learning architecture structure used for pectoral muscle segmentation according to an embodiment of the present invention.
6 shows a nipple region detected through a deep learning algorithm according to an embodiment of the present invention.
7 is a diagram illustrating a pectoral muscle region divided through a deep learning algorithm according to an embodiment of the present invention.
8A shows a method for measuring a location of a mass detected in a CC view according to an embodiment of the present invention, and FIG. 8B shows a method for measuring a location of a mass detected in an MLO view according to an embodiment of the present invention.
9A shows a method for measuring the location of a mass detected in a CC view according to another embodiment of the present invention, and FIG. 9B shows a method for measuring a location of a mass detected in an MLO view according to another embodiment of the present invention.
10 is a view showing a result of a mass detected by the method for automatically detecting a breast mass according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments will be described in detail with reference to the drawings. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. and/or includes a combination of a plurality of related description items or any of a plurality of related description items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it should be understood that other components may exist in between. something to do. On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.It should also be understood that the terms "first" and "second" are used herein for distinguishing purposes only, and are not meant to indicate or anticipate sequences or priorities in any way.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다. Throughout the specification and claims, when a part includes a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법, 시스템, 및 그 프로그램은 딥러닝을 기반으로 흉근 자동 검출 알고리즘을 제공하여 흉근 영역에서 발생하는 종괴 오검출을 방지할 수 있다. The method, system, and program for automatic breast mass detection according to an embodiment of the present invention provide an automatic chest muscle detection algorithm based on deep learning to prevent erroneous detection of a mass occurring in the chest muscle region.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법, 시스템, 및 그 프로그램은 딥러닝을 기반으로 유두 자동 검출 알고리즘을 제공하여 유두 영역에서 발생하는 종괴 오검출을 방지할 수 있다.The method, system, and program for automatic breast mass detection according to an embodiment of the present invention can prevent erroneous detection of a mass occurring in the nipple region by providing an automatic nipple detection algorithm based on deep learning.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법, 시스템, 및 그 프로그램은 검출된 흉근 영역과 유두 영역을 기초로하여 유방 영역을 소정의 영역으로 구분 짓고, 동일 유방에서 촬영된 CC View와 MLO View의 비교를 통해 동일 영역에 존재하지 않는 종괴 좌표를 제거함으로써, 위양성률을 낮출 수 있다.A breast mass automatic detection method, system, and program according to an embodiment of the present invention divide the breast region into predetermined regions based on the detected pectoral muscle region and nipple region, and CC View and MLO photographed from the same breast By removing mass coordinates that do not exist in the same area through comparison of views, the false positive rate can be reduced.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법, 시스템, 및 그 프로그램은 검출된 유두 영역과 종괴 영역의 직선거리를 측정하고, 동일 유방에서 촬영된 CC View와 MLO View의 비교를 통해 직선거리가 서로 다른 종괴 좌표를 제거하여 위양성률을 낮출 수 있다.The method, system, and program for automatic breast mass detection according to an embodiment of the present invention measure the linear distance between the detected nipple region and the mass region, and compare the CC View and MLO View taken in the same breast to determine the linear distance can reduce the false-positive rate by removing different mass coordinates.

명세서 전체에서 CC 뷰(view) 맘모그램 영상은 유방을 위에서 아래로 향하는 방향으로 찍은 영상을 의미하고, MLO 뷰(view) 맘모그램 영상은 유방을 대각선 방향으로 찍은 영상을 의미한다.Throughout the specification, a CC view mammogram image refers to an image taken in a direction from the top to the bottom of the breast, and an MLO view mammogram image refers to an image taken in a diagonal direction of the breast.

도 1은 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법의 순서도이다. 도 1을 참조하여, 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법을 설명한다. 1 is a flowchart of a method for automatically detecting a breast mass according to an embodiment of the present invention. 1, a method for automatically detecting a breast mass according to an embodiment of the present invention will be described.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 유방에 대한 제1 뷰 이미지와 제2 뷰 이미지를 인공지능 모델에 적용하는 단계(S110);The method for automatically detecting a breast mass according to an embodiment of the present invention includes the steps of applying a first view image and a second view image of the breast to an artificial intelligence model (S110);

상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지로부터 유두 영역, 종괴 영역, 흉근 영역 중 적어도 어느 하나의 영역을 검출하는 단계(S120);detecting at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image (S120);

상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지 중 흉근 영역에서 검출된 종괴의 좌표를 산출하여 흉근 영역에서 종괴를 제거하고, 유두 영역에서 검출된 종괴의 좌표를 산출하여 유두 영역에서 종괴를 제거하는 단계(S130);removing the mass from the pectoralis muscle area by calculating the coordinates of the mass detected in the pectoral muscle region in the first view image or the second view image, and calculating the coordinates of the mass detected in the nipple area to remove the mass from the nipple area (S130);

상기 제1 뷰 이미지에서 유두 지점과 종괴 지점의 제1 직선 거리를 산출하는 단계(S140);calculating a first straight line distance between the nipple point and the mass point in the first view image (S140);

상기 제2 뷰 이미지에서 유두 지점과 종괴 지점의 제2 직선 거리를 산출하는 단계(S150);calculating a second linear distance between the nipple point and the mass point in the second view image (S150);

상기 제1 직선 거리와 상기 제2 직선 거리가 유사한지 비교하는 단계(S160);comparing whether the first linear distance and the second linear distance are similar (S160);

상기 제1뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 같은지 비교하는 단계(S170);Comparing whether the area including the mass in the first view image and the area including the mass in the second view image are the same (S170);

상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하고, 상기 제1뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 같은 경우, 검출된 종괴를 양성인 것으로 판단하는 단계(S180)를 포함할 수 있다.If it is determined that the first linear distance and the second linear distance are similar, and the area including the mass in the first view image and the area including the mass in the second view image are the same, the detected mass is considered positive. It may include a determining step (S180).

한편, 본 발명의 일 실시예에 따른 제1 뷰 이미지는 CC 뷰(view) 맘모그램 영상을 의미하고, 제2 뷰 이미지는 MLO 뷰(view) 맘모그램 영상을 의미할 수 있다.Meanwhile, the first view image according to an embodiment of the present invention may mean a CC view mammogram image, and the second view image may mean an MLO view mammogram image.

도 2는 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법의 상세 순서도이다. 도 2를 참조하여, 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법을 보다 상세하게 설명한다.2 is a detailed flowchart of a method for automatically detecting a breast mass according to an embodiment of the present invention. With reference to FIG. 2, a method for automatically detecting a breast mass according to an embodiment of the present invention will be described in more detail.

본 발명은 유방 영상 촬영부(미도시)를 통해 제1 뷰 이미지인 CC 뷰 맘모그램 영상을 획득하고(S210), 제2 뷰 이미지인 MLO 뷰 맘모그램 영상을 획득한다(S220).The present invention acquires a CC view mammogram image that is a first view image through a breast imaging unit (not shown) (S210), and acquires an MLO view mammogram image that is a second view image (S220).

그리고 본 발명은 CC 뷰 맘모그램 영상을 유두 검출 딥러닝 모델에 적용하여 학습시키고(S211), 종괴 검출 딥러닝 모델에 적용하여 학습시킨다(S212).And the present invention is trained by applying the CC view mammogram image to the nipple detection deep learning model (S211), and learning by applying to the mass detection deep learning model (S212).

본 발명은 MLO 뷰 맘모그램 영상을 종괴 검출 딥러닝 모델(S221), 유두 검출 딥러닝 모델(S222) 및 흉근 분할 딥러닝 모델 (S223)에 적용하여 학습시킨다.The present invention learns by applying the MLO view mammogram image to the mass detection deep learning model (S221), the nipple detection deep learning model (S222) and the pectoral muscle division deep learning model (S223).

본 발명은 상기 CC 뷰 맘모그램 영상으로부터 유두 영역 검출(S213)과 종괴 영역 검출 (S214)을 진행한다. 한편, 상기 유두 영역에 종괴가 검출되는 경우, 유두 영역에서 포함된 종괴의 검출 좌표는 제거된다(S215).In the present invention, the nipple region detection (S213) and the mass region detection (S214) are performed from the CC view mammogram image. On the other hand, when a mass is detected in the nipple region, the detection coordinates of the mass included in the nipple region are removed (S215).

본 발명은 상기 MLO 뷰 맘모그램 영상을 상기 종괴 검출 딥러닝 모델(S221), 유두 검출 딥러닝 모델(S222) 및 흉근 분할 딥러닝 모델 (S223)을 적용하여 종괴 영역(S224)과 유두 영역(S225)을 검출하고, 흉근 영역(S226)을 분할할 수 있다. 그리고 흉근 영역에서 종괴가 검출되는 경우, 흉근 영역에 포함된 종괴의 검출 좌표는 제거될 수 있고(S227), 상기 유두 영역에 종괴가 검출되는 경우, 유두 영역에서 포함된 종괴의 검출 좌표는 제거된다(S228).The present invention applies the MLO view mammogram image to the mass detection deep learning model (S221), nipple detection deep learning model (S222), and pectoral muscle division deep learning model (S223) to apply the mass region (S224) and the nipple region (S225) ) can be detected, and the pectoral muscle region S226 can be divided. And when a mass is detected in the pectoral muscle region, the detection coordinates of the mass included in the pectoral muscle region may be removed (S227), and when the mass is detected in the nipple region, the detection coordinates of the mass included in the nipple region are removed (S228).

본 발명은 상기 CC 뷰 맘모그램 영상에서 유두 영역의 종괴 검출 좌표가 제거된 영상(S215)과 상기 MLO 뷰 맘모그램 영상에서 흉근 영역 및 유두 영역의 종괴 검출 좌표가 제거된 영상(S227, S228)을 종합하여 전체 종괴 검출 좌표를 획득할 수 있다(S230).The present invention is an image (S215) in which the mass detection coordinates of the nipple region are removed from the CC view mammogram image and images (S227, S228) from which the mass detection coordinates of the pectoral muscle region and the nipple region are removed from the MLO view mammogram image. In total, it is possible to obtain the coordinates of the detection of the entire mass (S230).

본 발명은 전체 종괴 검출 좌표를 이용하여, 유두 영역과 종괴 영역의 직선 거리가 CC View 맘모그램 영상과 MLO View 맘모그램 영상에서 유사한지 비교하여(S217), 상기 두 개의 영상에서 유두 영역과 종괴 영역의 직선 거리가 유사하면, 상기 종괴 검출 좌표에서의 종괴를 최종적으로 종괴인 것으로 판단할 수 있다(S232).The present invention compares whether the linear distance between the nipple area and the mass area is similar in the CC View mammogram image and the MLO View mammogram image using the total mass detection coordinates (S217), and the nipple area and the mass area in the two images If the linear distances of are similar, it can be determined that the mass at the mass detection coordinates is finally a mass (S232).

본 발명은 또한 종괴를 더욱 정확하게 검출하기 위하여, 동일 유방에서 촬영된 CC View와 MLO View에서 유방을 소정의 영역으로 분할하고, CC View와 MLO View의 비교를 통해 동일 영역에 존재하는 종괴 검출 좌표에서의 종괴를 최종적으로 종괴인 것으로 판단할 수 있다(S231).The present invention also divides the breast into predetermined areas in CC View and MLO View taken from the same breast in order to more accurately detect a mass, and compares the CC View and MLO View in the mass detection coordinates present in the same area. It can be determined that the mass of the final mass (S231).

한편, 본 발명의 일 실시예에서 분할하는 소정의 영역은 3 영역으로 분할하는 것일 수 있으나, 반드시 이에 제한되는 것은 아니다. Meanwhile, in an embodiment of the present invention, a predetermined region to be divided may be divided into three regions, but the present invention is not limited thereto.

도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 모델 학습에 사용된 맘모그램 데이터를 나타낸다. 3A to 3D show mammogram data used for model learning according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 유방 영상 촬영부를 통해, 왼쪽 유방의 CC 뷰 맘모그램 영상(도 3a), 왼쪽 유방의 MLO 뷰 맘모그램 영상(도 3b), 오른쪽 유방의 CC 뷰 맘모그램 영상(도 3c), 오른쪽 유방의 MLO 뷰 맘모그램 영상(도 3d)이 획득될 수 있다. 그리고 상기 유방을 찍는 방향에 따라 구별되는 4가지의 영상을 구분하여 딥러닝 모델에 적용한다.Through the breast imaging unit according to an embodiment of the present invention, a CC view mammogram image of the left breast (Fig. 3a), an MLO view mammogram image of the left breast (Fig. 3b), and a CC view mammogram image of the right breast (Fig. 3c), an MLO view mammogram image of the right breast ( FIG. 3D ) may be acquired. Then, four types of images that are distinguished according to the direction in which the breast is taken are divided and applied to the deep learning model.

도 4는 본 발명의 일 실시예에 따른 모델 학습 구조를 나타내는 도면으로, (A)는 ResNet-152 아키텍처 구조를 나타내며, (B)는 RetinaNet 아키텍처 구조를 나타낸다. 4 is a diagram showing a model learning structure according to an embodiment of the present invention, (A) shows the ResNet-152 architecture structure, (B) shows the RetinaNet architecture structure.

도 4를 참조하여 본 발명의 일 실시예에 따라 종괴 검출 딥러닝 모델과 유두 검출 딥러닝 모델을 상세히 설명한다.A mass detection deep learning model and a nipple detection deep learning model according to an embodiment of the present invention will be described in detail with reference to FIG. 4 .

도 4에 도시된 모델은 맘모그램 영상에서 종괴 영역 및 유두 영역을 검출하는 알고리즘의 아키텍처 구조를 나타내는 도면으로, 우선 종괴 영역을 검출하는 딥러닝 모델에 대하여 설명한다.The model shown in FIG. 4 is a diagram showing the architectural structure of an algorithm for detecting a mass region and a nipple region in a mammogram image. First, a deep learning model for detecting a mass region will be described.

1332장의 맘모그램 영상을 학습하여 얻어진 모델이다. 맘모그램 영상에서 종괴 영역 좌표를 획득하기 위해, ResNet-152(A)를 Backbone으로 하는 RetinanNet(B) 구조가 사용된다. It is a model obtained by learning 1332 mammogram images. RetinanNet(B) structure with ResNet-152(A) as backbone is used to acquire mass region coordinates from mammogram images.

본 발명의 일 실시예에 따른 딥러닝 모델은 49개의 컨볼루션 레이어(7X7 커널 1개, 1x1 커널 100개, 3x3 커널 50개)와 1개의 폴링 레이어로 이루어진 ResNet-152(A) 구조를 갖고, 상기 구조를 통해 추출된 특징을 특징 피라미드(Feature Pyramid Network, FPN)를 이용하여 사각형의 오브젝트 좌표와 스코어가 획득될 수 있다. The deep learning model according to an embodiment of the present invention has a ResNet-152 (A) structure consisting of 49 convolutional layers (1 7X7 kernel, 100 1x1 kernels, 50 3x3 kernels) and 1 polling layer, Object coordinates and scores of a rectangle may be obtained by using the feature extracted through the structure using a feature pyramid (FPN).

따라서, 상기 획득된 오브젝트 좌표와 스코어를 통해 종괴 영역이 검출 될 수 있다.Therefore, the mass region can be detected through the obtained object coordinates and scores.

이어서, 유두 영역을 검출하는 딥러닝 모델을 설명하고, 유두 영역을 검출하는 방법을 설명한다.Next, a deep learning model for detecting the nipple region will be described, and a method for detecting the nipple region will be described.

맘모그램 영상에서 유두 영역을 검출하는 알고리즘은, 1141장의 맘모그램 영상을 학습하여 얻어진 모델로 맘모그램의 유두 영역의 좌표를 획득할 수 있다.The algorithm for detecting the nipple region in the mammogram image can acquire the coordinates of the nipple region of the mammogram with a model obtained by learning 1141 mammogram images.

유두 영역 검출 알고리즘은 종괴 검출 알고리즘과 동일하게 ResNet-152(A)을 Backbone으로 하는 RetinaNet 구조(B)가 사용된다. 하나의 맘모그램 영상에서 하나의 유두가 존재하기 때문에 본 발명의 일 실시예에 따른 유두 영역 검출 알고리즘은 획득된 스코어 중에서 가장 높은 하나의 스코어를 가지는 좌표만 남길 수 있도록 한다.The nipple area detection algorithm uses RetinaNet structure (B) with ResNet-152(A) as the backbone in the same way as the mass detection algorithm. Since there is one nipple in one mammogram image, the nipple region detection algorithm according to an embodiment of the present invention allows only the coordinates having the highest score among the obtained scores to be left.

상술한 내용에 따라 검출된 유두영역과 종괴영역이 겹쳐지는 좌표가 있는 경우, 종괴 검출 알고리즘이 유두 영역을 종괴로 착각하여 검출한 위양성 케이스로 판단하고, 본 발명은 상기 유두영역과 종괴영역이 겹쳐지는 종괴영역 검출 좌표를 제거한다.If there is a coordinate where the nipple area and the mass area overlapped according to the above contents, the mass detection algorithm determines that the nipple area is mistaken for a mass and is detected as a false-positive case, and the present invention provides that the nipple area and the mass area overlap Remove the mass area detection coordinates.

도 5는 본 발명의 일 실시예에 따라 흉근 분할에 사용된 U-Net 딥러닝 아키텍처 구조를 나타낸다. 도 5를 참조하여 흉근 분할 딥러닝 모델을 설명하고, 흉근 영역을 분할하는 방법을 설명한다.5 shows the U-Net deep learning architecture structure used for pectoral muscle segmentation according to an embodiment of the present invention. A pectoral muscle division deep learning model will be described with reference to FIG. 5 , and a method of dividing a pectoral muscle region will be described.

본 발명의 일 실시예에 따라 맘모그램 영상에서 흉근 영역을 분할하는 알고리즘은 2000장의 맘모그램 이미지를 학습하여 얻어진 모델로, 맘모그램의 흉근 영역의 마스크를 획득할 수 있다. 본 발명의 일 실시예에 따른 알고리즘은 U-Net 구조를 사용하며, 10개의 컨볼루션 레이어(3x3 커널)와 4개의 폴링 레이어(2x2 폴링 사이즈)를 거쳐서 획득한 feature를 8개의 컨볼루션 레이어(3x3 커널)와 4개의 Concatenate 레이어를 통해 처음 입력 이미지의 크기로 Upsampling하여 흉근 영역을 획득할 수 있다.The algorithm for segmenting the pectoral muscle region in the mammogram image according to an embodiment of the present invention is a model obtained by learning 2000 mammogram images, and it is possible to obtain a mask of the pectoral muscle region of the mammogram image. The algorithm according to an embodiment of the present invention uses a U-Net structure, and 8 convolutional layers (3x3 kernels) and 8 convolutional layers (3x3) Kernel) and 4 concatenate layers, the pectoral muscle area can be obtained by upsampling to the size of the first input image.

본 발명의 일 실시예에 따라 분할된 흉근 영역에 종괴가 검출 되었을 경우, 본 발명은 종괴 검출 알고리즘에서 유방 영역을 벗어나 검출된 위양성 케이스로 판단하고 상기 흉근 영역에서 검출된 종괴영역의 검출 좌표를 제거할 수 있다.When a mass is detected in the pectoral muscle region divided according to an embodiment of the present invention, the present invention determines as a false-positive case detected outside the breast region in the mass detection algorithm, and removes the detection coordinates of the mass region detected in the pectoral muscle region can do.

도 6은 본 발명의 일 실시예에 따라 딥러닝 알고리즘을 통해 검출된 유두 영역을 나타낸다. 6 shows a nipple region detected through a deep learning algorithm according to an embodiment of the present invention.

도 6에서 적색 영역은 딥러닝 모델을 통해 검출된 유두 영역을 나타내고, 도 6에서 녹색 영역은 맘모그램 이미지를 눈으로 직접 확인한 유두 영역(Ground Truth)을 나타낸다. 본 발명의 일 실시예에 따른 딥러닝 알고리즘을 통해 검출된 유두 영역은 직접 눈으로 확인한 유두 영역(Ground Truth)과 일치하는 것을 확인할 수 있다.In FIG. 6 , the red region indicates the nipple region detected through the deep learning model, and the green region in FIG. 6 indicates the nipple region (Ground Truth) directly confirmed by the mammogram image. It can be confirmed that the nipple region detected through the deep learning algorithm according to an embodiment of the present invention coincides with the ground truth directly confirmed by the eye.

도 7은 본 발명의 일 실시예에 따라 딥러닝 알고리즘을 통해 분할된 흉근 영역을 나타낸 도면이다.7 is a diagram illustrating a pectoral muscle region divided through a deep learning algorithm according to an embodiment of the present invention.

맘모그램 영상 원본(71)을 직접 확인하여 흉근 영역을 분할하면, (72) 이미지 (Ground Truth)가 획득될 수 있다.When the pectoral muscle region is segmented by directly checking the mammogram image original 71 , the (72) image (Ground Truth) can be obtained.

그리고 맘모그램 영상 원본(71)을 딥러닝 모델에 적용하여 흉근 영역 분할 영상(73)이 획득될 수 있다.And by applying the original mammogram image 71 to the deep learning model, the pectoral muscle region segmentation image 73 may be obtained.

그리고 상기 맘모그램 영상 원본(71), Ground Truth 이미지(72) 및 딥러닝 모델 적용하여 분할된 흉근 영역 이미지(73)을 결합한 이미지(74)가 생성될 수 있다.And the image 74 combining the pectoral muscle region image 73 divided by applying the mammogram image original 71, the ground truth image 72, and the deep learning model may be generated.

도 8a는 본 발명의 일 실시예에 따라 CC 뷰에서 검출된 종괴의 위치 측정 방법을 나타내고, 도 8b는 본 발명의 일 실시예에 따라 MLO 뷰에서 검출된 종괴의 위치 측정 방법을 나타낸다.8A shows a method for measuring the location of a mass detected in a CC view according to an embodiment of the present invention, and FIG. 8B shows a method for measuring a location of a mass detected in an MLO view according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 CC 뷰(도 8a)에서의 유두(20)와 종괴(100) 사이의 제1 직선거리(r1)와 MLO 뷰(도 8b)에서의 유두(20)와 종괴(100) 사이의 제2 직선거리(r2)를 산출한다.The method for automatically detecting a breast mass according to an embodiment of the present invention is a first linear distance r1 between the nipple 20 and the mass 100 in the CC view (FIG. 8A) and the nipple in the MLO view (FIG. 8B). A second linear distance (r2) between (20) and the mass (100) is calculated.

그리고 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 상기 제1 직선거리(r1)와 제2 직선거리(r2)를 비교하여, 상기 직선거리들이 유사하다고 판단하는 경우, 종괴(100)를 양성인 것으로 판단한다. 만약, 상기 제1 직선거리(r1)와 상기 제2 직선거리(r2)가 유사하지 않으면, 위양성으로 판단하여, 종괴로 검출된 좌표는 제거한다.And the automatic breast mass detection method according to an embodiment of the present invention compares the first linear distance r1 and the second linear distance r2, and when it is determined that the linear distances are similar, the mass 100 is judged to be positive. If the first linear distance r1 and the second linear distance r2 are not similar, it is determined as a false positive, and the coordinates detected as a mass are removed.

한편, CC 뷰에서의 제1 직선 거리와 MLO 뷰에서의 제2 직선 거리를 비교하는 방법은 제1 직선 거리와 제2 직선 거리의 차가 소정의 임계치 내인 경우, 본 발명은 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단할 수 있다.On the other hand, in the method of comparing the first linear distance in the CC view and the second linear distance in the MLO view, when the difference between the first linear distance and the second linear distance is within a predetermined threshold, the present invention provides the first linear distance and It may be determined that the second linear distances are similar.

도 9a는 본 발명의 다른 실시예에 따라 CC 뷰에서 검출된 종괴의 위치 측정 방법을 나타내고, 도 9b는 본 발명의 다른 실시예에 따라 MLO 뷰에서 검출된 종괴의 위치 측정 방법을 나타낸다.9A shows a method for measuring the location of a mass detected in a CC view according to another embodiment of the present invention, and FIG. 9B shows a method for measuring a location of a mass detected in an MLO view according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 유방 종괴 자동 검출 방법은 같은 유방에 대하여 획득된 CC 뷰의 유방 영역과 MLO 뷰의 유방 영역을 기 설정된 개수만큼의 소정 영역으로 분할하고, 종괴가 포함된 CC 뷰에서의 영역과 MLO 뷰에서의 영역이 같은지 비교한다. The method for automatically detecting a breast mass according to another embodiment of the present invention divides the breast region of the CC view and the breast region of the MLO view acquired for the same breast into a predetermined number of predetermined regions, and in the CC view including the mass Compares the area of ' and the area in the MLO view to see if they are the same

CC view에서 검출된 종괴 영역이 포함된 유방 영역과 MLO view에서 검출된 종괴 영역이 포함된 유방 영역이 서로 같은 경우 검출된 종괴는 양성인 것으로 판단하고, 그렇지 않은 경우 위양성으로 판단하여 검출 좌표를 제거한다.If the breast area containing the mass area detected in the CC view and the breast area containing the mass area detected in the MLO view are the same, the detected mass is judged as benign, otherwise it is determined as false positive and the detection coordinates are removed. .

한편, 본 발명의 실시예에 따르면, CC view 및 MLO view의 유방 영역은 3개의 영역으로 분할될 수 있으나, 반드시 이에 한정되는 것은 아니다.Meanwhile, according to an embodiment of the present invention, the breast region of the CC view and the MLO view may be divided into three regions, but is not limited thereto.

도 9a 및 도 9b를 참조하면, 같은 유방을 촬영한 CC view와 MLO view의 유방 영역을 유두(20)에서 흉근(10)까지 3 영역으로 구분한다. Referring to FIGS. 9A and 9B , the breast region of the CC view and the MLO view in which the same breast is photographed is divided into three regions from the nipple 20 to the pectoral muscle 10 .

예컨대, 도 9a에 도시된 CC 뷰의 유방은 유두(20)에서 흉근(10)까지 직교 거리(d1)를 기준으로 균등하게 A1, B1, C1으로 분할될 수 있다. 분할되는 영역은 A1, B1, C1으로 레이블링된다. 그리고 도 9b에 도시된 MLO 뷰의 유방은 유두(20)에서 흉근(10)까지 직교 거리(d2)를 기준으로 균등하게 A2, B2, C2으로 분할될 수 있다. 분할되는 영역은 A2, B2, C2으로 레이블링된다. For example, the breast of the CC view shown in FIG. 9A may be equally divided into A1, B1, and C1 based on the orthogonal distance d1 from the nipple 20 to the pectoral muscle 10 . The divided regions are labeled A1, B1, and C1. In addition, the breast of the MLO view shown in FIG. 9B may be equally divided into A2, B2, and C2 based on the orthogonal distance d2 from the nipple 20 to the pectoral muscle 10 . The divided regions are labeled A2, B2, and C2.

CC 뷰(도 9a)에서 종괴(100)가 포함된 영역은 A1 및 B1이고, MLO 뷰(도 9b)에서 종괴(100)가 포함된 영역은 A2 및 B2 이다. 따라서 도 9a 및 도 9b에 도시된 종괴(100)는 CC 뷰 와 MLO 뷰에서 포함된 영역의 레이블링이 같으므로, 상기 종괴는 양성인 것으로 판단될 수 있다. 만약, 종괴가 포함된 영역의 레이블링이 CC 뷰 와 MLO 뷰에서 서로 다르다면, 위양성으로 판단되어 종괴로 검출된 좌표는 제거될 수 있다.In the CC view ( FIG. 9A ), the regions including the mass 100 are A1 and B1 , and in the MLO view ( FIG. 9B ), the regions including the mass 100 are A2 and B2 . Accordingly, since the mass 100 shown in FIGS. 9A and 9B has the same labeling of the region included in the CC view and the MLO view, it can be determined that the mass 100 is benign. If the labeling of the area including the mass is different in the CC view and the MLO view, the coordinates detected as a mass as a false positive may be removed.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 도 8a 및 도 8b에서 상술한 유방과 종괴 사이의 직선거리의 유사 비교를 통한 검출 방법과 도 9a 및 도 9b에서 상술한 분할된 유방 영역의 레이블링이 같은지 비교하는 검출 방법을 모두 적용하여, 위양성 케이스의 종괴 좌표를 제거할 수 있다. 따라서 본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법에 따라 최종적으로 검출된 종괴 영역은 위양성률이 감소된다.The automatic breast mass detection method according to an embodiment of the present invention includes the detection method through similar comparison of the linear distance between the breast and the mass described above in FIGS. 8A and 8B and the divided breast region described above in FIGS. 9A and 9B. By applying all detection methods comparing whether labeling is the same, mass coordinates in false-positive cases can be removed. Therefore, in the mass region finally detected according to the automatic breast mass detection method according to an embodiment of the present invention, the false-positive rate is reduced.

도 10은 본 발명의 일 실시예에 따른 유방종괴 자동 검출 방법으로 검출된 종괴 결과를 나타내는 도면이다. 10 is a view showing a result of a mass detected by the method for automatically detecting a breast mass according to an embodiment of the present invention.

도 10을 참조하면, 위양성 제거가 적용되지 않은 일반적인 딥러닝 모델을 통해 종괴가 검출된 이미지(101)가 도시되고, 본 발명의 일 실시예에 따른 흉근영역 검출 기반의 위양성 제거 방법이 적용된 종괴 검출 이미지가 도시되고(102), 본 발명의 일 실시예에 따른 유두 영역 검출 기반의 위양성 제거 방법이 적용된 종괴 검출 이미지가 도시된다(103). Referring to FIG. 10 , an image 101 in which a mass is detected through a general deep learning model to which false-positive removal is not applied is shown. An image is shown ( 102 ), and a mass detection image to which the nipple region detection-based false positive removal method according to an embodiment of the present invention is applied is shown ( 103 ).

그리고, 본 발명의 일 실시예에 따라 CC뷰 및 MLO 뷰의 종괴 거리 비교 및 동일 유방 영역 비교를 통한 위양성 제거 방법이 적용된 종괴 검출 이미지가 도시된다(104).Then, according to an embodiment of the present invention, a mass detection image to which a method of removing false positives through comparison of mass distances of CC view and MLO view and comparison of the same breast area is applied is shown ( 104 ).

이미지들에서 녹색 영역은 Ground Truth, 적색 영역은 종괴 검출 알고리즘 결과이다.In the images, the green area is the ground truth, and the red area is the mass detection algorithm result.

도 10의 이미지들을 참조하면, 본 발명의 일 실시예에 따라 CC뷰 및 MLO 뷰의 종괴 거리 비교 및 동일 유방 영역 비교를 통한 위양성 제거 방법을 적용하면(104 이미지), (101) 이미지에서 검출된 흉근 영역의 종괴와, (102) 이미지에서 검출된 유두 영역의 종괴와 (102) 이미지 및 (103) 이미지에서 검출된 유방 내에서 검출된 종괴가 모두 제거된다. Referring to the images of FIG. 10 , when the method of removing false positives through comparison of mass distances of CC view and MLO view and comparison of the same breast area according to an embodiment of the present invention is applied (104 images), (101) detected in the images The mass in the pectoral muscle region, the mass in the nipple region detected in the (102) image, and the mass detected in the breast detected in the images (102) and (103) are all removed.

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 맘모그램 영상에서 흉근을 분할하고, 유두를 검출함으로써, 불필요한 영역에서 검출된 좌표를 제거할 수 있고, 따라서, 위양성률(False Positive)를 줄이는 효과를 달성할 수 있다.The automatic breast mass detection method according to an embodiment of the present invention divides the pectoral muscle in the mammogram image, and by detecting the nipple, it is possible to remove the coordinates detected in the unnecessary area, thus reducing the false positive rate (False Positive) can be achieved

본 발명의 일 실시예에 따른 유방 종괴 자동 검출 방법은 획득된 종괴 좌표를 CC view와 MLO view를 종합하여 판단함으로써, 모두 동일한 종괴인지 여부를 판단할 수 있다. 따라서 동일 유방에서 촬영되었음에도 불구하고 한쪽 View에서만 존재하는 종괴를 제거하여 위양성률(False Positive)를 줄이는 효과를 달성할 수 있다.The breast mass automatic detection method according to an embodiment of the present invention can determine whether all masses are the same by synthesizing the obtained mass coordinates with the CC view and the MLO view. Therefore, it is possible to achieve the effect of reducing the false positive rate by removing the mass present in only one view even though it was taken from the same breast.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and a person of ordinary skill in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims (12)

프로세서를 포함하는 장치에 의해 수행되는 유방 종괴 자동 검출 방법에 있어서,
상기 프로세서가 유방에 대한 제1 뷰 이미지와 제2 뷰 이미지를 인공지능 모델에 적용하는 단계;
상기 프로세서가 상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지로부터 유두 영역, 종괴 영역, 흉근 영역 중 적어도 어느 하나의 영역을 검출하는 단계;
상기 프로세서가 상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지 중 흉근 영역에서 검출된 종괴의 좌표를 산출하여 흉근 영역에서 종괴를 제거하고, 유두 영역에서 검출된 종괴의 좌표를 산출하여 유두 영역에서 종괴를 제거하는 단계;
상기 프로세서가 상기 제1 뷰 이미지에서 유두 지점과 종괴 지점의 제1 직선 거리를 산출하는 단계;
상기 프로세서가 상기 제2 뷰 이미지에서 유두 지점과 종괴 지점의 제2 직선 거리를 산출하는 단계;
상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 단계; 및
상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 경우, 상기 종괴를 양성인 것으로 판단하는 단계;를 포함하는 유방 종괴 자동 검출 방법.
In the automatic breast mass detection method performed by a device comprising a processor,
applying, by the processor, a first view image and a second view image of the breast to an artificial intelligence model;
detecting, by the processor, at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image;
The processor calculates the coordinates of the mass detected in the pectoral muscle region in the first view image or the second view image to remove the mass in the pectoralis muscle region, calculates the coordinates of the mass detected in the nipple region, and removes the mass in the nipple region removing;
calculating, by the processor, a first straight line distance between the nipple point and the mass point in the first view image;
calculating, by the processor, a second straight line distance between the nipple point and the mass point in the second view image;
comparing, by the processor, the first linear distance with the second linear distance; and
When the processor determines that the first linear distance and the second linear distance are similar, determining that the mass is benign; automatic breast mass detection method comprising a.
 제1항에 있어서,
상기 프로세서가 상기 제1 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 단계;
상기 프로세서가 제2 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 단계;
상기프로세서가 상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한지 비교하는 단계;
상기 프로세서가 상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한 경우, 상기 종괴를 양성인 것으로 판단하는 단계;를 포함하는 유방 종괴 자동 검출 방법.
According to claim 1,
dividing, by the processor, a predetermined number of breast regions from a pectoral muscle point to a nipple point with respect to the first view image;
dividing, by the processor, a predetermined number of breast regions from the pectoral muscle point to the nipple point with respect to the second view image;
comparing, by the processor, whether the region including the mass in the first view image and the region including the mass in the second view image are the same;
and determining, by the processor, that the mass is benign when the area including the mass in the first view image and the area including the mass in the second view image are the same.
 제1항에 있어서,
상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 단계는,
상기 제1 직선 거리와 상기 제2 직선 거리의 차가 소정의 임계치 내인 경우, 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 것인 유방 종괴 자동 검출 방법.
According to claim 1,
Comparing, by the processor, the first linear distance and the second linear distance,
When the difference between the first linear distance and the second linear distance is within a predetermined threshold, it is determined that the first linear distance and the second linear distance are similar to each other.
 제1항에 있어서,
상기 제1 뷰 이미지는 CC 뷰(view)이고,
상기 제2 뷰 이미지는 MLO 뷰(View)인 유방 종괴 자동 검출 방법.
According to claim 1,
The first view image is a CC view,
The second view image is an MLO view (View) of the breast mass automatic detection method.
 유방 영상 촬영부; 상기 유방 영상 촬영부에서 획득한 유방 영상을 처리하는 프로세서를 포함하고,
상기 프로세서는,
유방에 대한 제1 뷰 이미지와 제2 뷰 이미지를 인공지능 모델에 적용하고,
상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지로부터 유두 영역, 종괴 영역, 흉근 영역 중 적어도 어느 하나의 영역을 검출하며,
상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지 중 흉근 영역에서 검출된 종괴의 좌표를 산출하여 흉근 영역에서 종괴를 제거하고, 유두 영역에서 검출된 종괴의 좌표를 산출하여 유두 영역에서 종괴를 제거하고,
상기 제1 뷰 이미지에서 유두 지점과 종괴 지점의 제1 직선 거리를 산출하고,
상기 제2 뷰 이미지에서 유두 지점과 종괴 지점의 제2 직선 거리를 산출하며,
상기 제1 직선 거리와 상기 제2 직선 거리를 비교하며,
상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 경우, 상기 종괴를 양성인 것으로 판단하는 것을 특징으로 유방 종괴 자동 검출 시스템.
breast imaging unit; A processor for processing the breast image acquired by the breast imaging unit,
The processor is
Applying the first view image and the second view image of the breast to the artificial intelligence model,
detecting at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image,
In the first view image or the second view image, the coordinates of the mass detected in the pectoral muscle region are calculated to remove the mass in the pectoralis muscle region, and the coordinates of the mass detected in the nipple region are calculated to remove the mass in the nipple region,
calculating a first straight line distance between the nipple point and the mass point in the first view image,
calculating a second straight line distance between the nipple point and the mass point in the second view image,
Comparing the first linear distance and the second linear distance,
When it is determined that the first linear distance and the second linear distance are similar, the automatic breast mass detection system, characterized in that it is determined that the mass is benign.
 제5항에 있어서,
상기 프로세서는,
상기 제1 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하고;
상기 제2 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하며;
상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한지 비교하고,
상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한 경우, 상기 종괴를 양성인 것으로 판단하는 유방 종괴 자동 검출 시스템.
6. The method of claim 5,
The processor is
dividing the breast region from the pectoral muscle point to the nipple point by a preset number with respect to the first view image;
dividing a breast region from a pectoral muscle point to a nipple point by a preset number with respect to the second view image;
Comparing whether the area including the mass in the first view image and the area including the mass in the second view image are the same,
When the area including the mass in the first view image and the area including the mass in the second view image are the same, the automatic breast mass detection system determines that the mass is benign.
 제5항에 있어서,
상기 프로세서가 상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 과정은,
상기 제1 직선 거리와 상기 제2 직선 거리의 차가 소정의 임계치 내인 경우, 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 것인 유방 종괴 자동 검출 시스템.
6. The method of claim 5,
The process of the processor comparing the first linear distance and the second linear distance,
When the difference between the first linear distance and the second linear distance is within a predetermined threshold, the automatic breast mass detection system for determining that the first linear distance and the second linear distance are similar.
 제5항에 있어서,
상기 제1 뷰 이미지는 CC 뷰(view)이고,
상기 제2 뷰 이미지는 MLO 뷰(View)인 유방 종괴 자동 검출 시스템.
6. The method of claim 5,
The first view image is a CC view,
The second view image is an MLO view (View) breast mass automatic detection system.
 프로세서와 결합되어, 컴퓨터로 판독가능한 기록 매체에 저장된 유방 종괴 자동 검출 프로그램에 있어서,
상기 프로세서는 상기 기록 매체에 저장된 오퍼레이션을 수행하며,
상기 기록 매체는,
유방에 대한 제1 뷰 이미지와 제2 뷰 이미지를 인공지능 모델에 적용하는 오퍼레이션;
상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지로부터 유두 영역, 종괴 영역, 흉근 영역 중 적어도 어느 하나의 영역을 검출하는 오퍼레이션;
상기 제1 뷰 이미지 또는 상기 제2 뷰 이미지 중 흉근 영역에서 검출된 종괴의 좌표를 산출하여 흉근 영역에서 종괴를 제거하고, 유두 영역에서 검출된 종괴의 좌표를 산출하여 유두 영역에서 종괴를 제거하는 오퍼레이션;
상기 제1 뷰 이미지에서 유두 지점과 종괴 지점의 제1 직선 거리를 산출하는 오퍼레이션;
상기 제2 뷰 이미지에서 유두 지점과 종괴 지점의 제2 직선 거리를 산출하는 오퍼레이션;
상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 오퍼레이션; 및
상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 경우, 상기 종괴를 양성인 것으로 판단하는 오퍼레이션;을 포함하는 것인 유방 종괴 자동 검출 프로그램.
In combination with a processor, the automatic breast mass detection program stored in a computer-readable recording medium,
The processor performs an operation stored in the recording medium,
The recording medium is
an operation of applying the first view image and the second view image of the breast to the artificial intelligence model;
an operation of detecting at least one of a nipple region, a mass region, and a pectoral muscle region from the first view image or the second view image;
An operation of calculating the coordinates of the mass detected in the pectoral muscle region among the first view image or the second view image to remove the mass from the pectoral muscle region, and calculating the coordinates of the mass detected in the nipple region to remove the mass from the nipple region ;
calculating a first straight line distance between the nipple point and the mass point in the first view image;
calculating a second straight line distance between the nipple point and the mass point in the second view image;
comparing the first linear distance with the second linear distance; and
When it is determined that the first linear distance and the second linear distance are similar, the operation of determining that the mass is benign; the automatic breast mass detection program comprising a.
 제9항에 있어서,
상기 기록 매체는 상기 제1 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 오퍼레이션;
상기 제2 뷰 이미지에 대하여 흉근 지점부터 유두 지점까지의 유방 영역을 기 설정된 개수만큼 분할하는 오퍼레이션;
상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한지 비교하는 오퍼레이션,
상기 제1 뷰 이미지에서 종괴가 포함된 영역과 상기 제2 뷰 이미지에서 종괴가 포함된 영역이 동일한 경우, 상기 종괴를 양성인 것으로 판단하는 오퍼레이션을 더 포함하는 유방 종괴 자동 검출 프로그램.
10. The method of claim 9,
The recording medium may include: an operation of dividing a breast area from a pectoral muscle point to a nipple point by a preset number with respect to the first view image;
dividing the breast region from the pectoral muscle point to the nipple point by a preset number with respect to the second view image;
an operation of comparing whether the area including the mass in the first view image and the area including the mass in the second view image are the same;
The automatic breast mass detection program further comprising an operation of determining that the mass is benign when the area including the mass in the first view image and the area including the mass in the second view image are the same.
 제9항에 있어서,
상기 제1 직선 거리와 상기 제2 직선 거리를 비교하는 오퍼레이션은,
상기 제1 직선 거리와 상기 제2 직선 거리의 차가 소정의 임계치 내인 경우, 상기 제1 직선 거리와 상기 제2 직선 거리가 유사하다고 판단하는 것인, 유방 종괴 자동 검출 프로그램.
10. The method of claim 9,
The operation of comparing the first linear distance and the second linear distance,
When the difference between the first linear distance and the second linear distance is within a predetermined threshold, it is determined that the first linear distance and the second linear distance are similar, the breast mass automatic detection program.
 제9항에 있어서,
상기 제1 뷰 이미지는 CC 뷰(view)이고,
상기 제2 뷰 이미지는 MLO 뷰(View)인 유방 종괴 자동 검출 프로그램.10. The method of claim 9,
The first view image is a CC view,
The second view image is an automatic breast mass detection program that is an MLO view.
KR1020200059843A 2020-05-19 2020-05-19 The method and system for automatic detection of breast mass KR102396911B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200059843A KR102396911B1 (en) 2020-05-19 2020-05-19 The method and system for automatic detection of breast mass

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200059843A KR102396911B1 (en) 2020-05-19 2020-05-19 The method and system for automatic detection of breast mass

Publications (2)

Publication Number Publication Date
KR20210142993A true KR20210142993A (en) 2021-11-26
KR102396911B1 KR102396911B1 (en) 2022-05-11

Family

ID=78700353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200059843A KR102396911B1 (en) 2020-05-19 2020-05-19 The method and system for automatic detection of breast mass

Country Status (1)

Country Link
KR (1) KR102396911B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565222B1 (en) * 2022-06-21 2023-08-08 가천대학교 산학협력단 Method for providing information on breast mass detection and device using the same
KR20230138704A (en) 2022-03-24 2023-10-05 인하대학교 산학협력단 Breast cancer detection method using high resolution mammographic images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287957A (en) * 1999-04-03 2000-10-17 Konica Corp Mammogram image diagnostic supporting apparatus
US6553356B1 (en) * 1999-12-23 2003-04-22 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Multi-view computer-assisted diagnosis
KR101111055B1 (en) 2009-10-12 2012-02-15 서울대학교산학협력단 Method for Automatic Breast Density Measurement on Digital Mammogram
KR20150098119A (en) * 2014-02-19 2015-08-27 삼성전자주식회사 System and method for removing false positive lesion candidate in medical image
KR20160117807A (en) 2015-03-31 2016-10-11 한국전자통신연구원 Method and apparatus for breast lesion diagnosis
KR102067340B1 (en) * 2018-07-16 2020-01-16 한국과학기술원 Method for generating breast masses according to the lesion characteristics and the system thereof
KR20200008251A (en) 2018-07-16 2020-01-28 연세대학교 산학협력단 Apparatus and method for reconstructing digital breast tomosynthesis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287957A (en) * 1999-04-03 2000-10-17 Konica Corp Mammogram image diagnostic supporting apparatus
US6553356B1 (en) * 1999-12-23 2003-04-22 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Multi-view computer-assisted diagnosis
KR101111055B1 (en) 2009-10-12 2012-02-15 서울대학교산학협력단 Method for Automatic Breast Density Measurement on Digital Mammogram
KR20150098119A (en) * 2014-02-19 2015-08-27 삼성전자주식회사 System and method for removing false positive lesion candidate in medical image
KR20160117807A (en) 2015-03-31 2016-10-11 한국전자통신연구원 Method and apparatus for breast lesion diagnosis
KR102067340B1 (en) * 2018-07-16 2020-01-16 한국과학기술원 Method for generating breast masses according to the lesion characteristics and the system thereof
KR20200008251A (en) 2018-07-16 2020-01-28 연세대학교 산학협력단 Apparatus and method for reconstructing digital breast tomosynthesis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230138704A (en) 2022-03-24 2023-10-05 인하대학교 산학협력단 Breast cancer detection method using high resolution mammographic images
KR102565222B1 (en) * 2022-06-21 2023-08-08 가천대학교 산학협력단 Method for providing information on breast mass detection and device using the same

Also Published As

Publication number Publication date
KR102396911B1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
EP0731952B1 (en) Automated method and system for improved computerized detection and classification of masses in mammograms
US4907156A (en) Method and system for enhancement and detection of abnormal anatomic regions in a digital image
Lai et al. On techniques for detecting circumscribed masses in mammograms
EP1035508B1 (en) Automated method and system for the segmentation of medical images
US8687867B1 (en) Computer-aided detection and classification of suspicious masses in breast imagery
US9159127B2 (en) Detecting haemorrhagic stroke in CT image data
US8340388B2 (en) Systems, computer-readable media, methods, and medical imaging apparatus for the automated detection of suspicious regions of interest in noise normalized X-ray medical imagery
US20110026791A1 (en) Systems, computer-readable media, and methods for classifying and displaying breast density
El-Baz et al. A novel level set-based computer-aided detection system for automatic detection of lung nodules in low dose chest computed tomography scans
US20110206250A1 (en) Systems, computer-readable media, and methods for the classification of anomalies in virtual colonography medical image processing
MacMahon et al. Computer-aided diagnosis in chest radiology
WO2021179491A1 (en) Image processing method and apparatus, computer device and storage medium
US10296808B2 (en) Method and X-ray system for computer aided detection of structures in X-ray images
KR102396911B1 (en) The method and system for automatic detection of breast mass
US20230127530A1 (en) Mammography apparatus
Kefel et al. Adaptable texture‐based segmentation by variance and intensity for automatic detection of semitranslucent and pink blush areas in basal cell carcinoma
JP3852125B2 (en) Pattern detection method and apparatus for two-dimensional multi-tone image
CN105374025B (en) Breast image acquisition methods and device, mammography system
Gómez et al. Automatic pectoral muscle removal and microcalcification localization in digital mammograms
KR20070091714A (en) Method and apparatus of diagnosis micro-calcification
KR101494975B1 (en) Nipple automatic detection system and the method in 3D automated breast ultrasound images
Samulski et al. Matching mammographic regions in mediolateral oblique and cranio caudal views: a probabilistic approach
Rebelo et al. Automatic epicardial fat segmentation and volume quantification on non-contrast cardiac Computed Tomography
JPH02152443A (en) Automatic detecting and display method,system and device for anatomically abnormal portion in digital x-ray image
Nguyen et al. Detect abnormalities in mammograms by local contrast thresholding and rule-based classification

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant