KR20200015379A - Artificial Intelligence based system and method for predicting bone mineral density using dental radiographs - Google Patents
Artificial Intelligence based system and method for predicting bone mineral density using dental radiographs Download PDFInfo
- Publication number
- KR20200015379A KR20200015379A KR1020190087472A KR20190087472A KR20200015379A KR 20200015379 A KR20200015379 A KR 20200015379A KR 1020190087472 A KR1020190087472 A KR 1020190087472A KR 20190087472 A KR20190087472 A KR 20190087472A KR 20200015379 A KR20200015379 A KR 20200015379A
- Authority
- KR
- South Korea
- Prior art keywords
- bone density
- bone
- dental
- unread
- score
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 26
- 210000000988 bone and bone Anatomy 0.000 title claims description 55
- 238000000034 method Methods 0.000 title claims description 53
- 229910052500 inorganic mineral Inorganic materials 0.000 title claims description 20
- 239000011707 mineral Substances 0.000 title claims description 20
- 230000037182 bone density Effects 0.000 claims abstract description 237
- 238000002601 radiography Methods 0.000 claims abstract description 51
- 238000013135 deep learning Methods 0.000 claims abstract description 31
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 107
- 210000003823 hyoid bone Anatomy 0.000 claims description 71
- 208000001132 Osteoporosis Diseases 0.000 claims description 63
- 210000004373 mandible Anatomy 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 208000029725 Metabolic bone disease Diseases 0.000 claims description 17
- 206010049088 Osteopenia Diseases 0.000 claims description 17
- 210000001847 jaw Anatomy 0.000 claims description 14
- 238000007635 classification algorithm Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000006378 damage Effects 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 abstract description 3
- 230000001054 cortical effect Effects 0.000 description 28
- 201000010099 disease Diseases 0.000 description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 12
- 230000000877 morphologic effect Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 206010017076 Fracture Diseases 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 208000010392 Bone Fractures Diseases 0.000 description 2
- 238000001739 density measurement Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000020084 Bone disease Diseases 0.000 description 1
- 208000014151 Stomatognathic disease Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000000326 densiometry Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009547 dual-energy X-ray absorptiometry Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
본 발명은 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템 및 이에 의한 골밀도 예측 방법에 관한 것이며, 상세하게는 치과용 방사선 사진으로부터 골밀도점수와 골밀도 정도(정상, 골감소증, 골다공증 또는 심한 골다공증)를 예측하여, 골다공증 관련 질환을 사전 스크리닝할 수 있는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템 및 이에 의한 골밀도 예측 방법에 관한 것이다. The present invention relates to a bone density prediction system using artificial intelligence-based dental radiographs and to a method for predicting bone density. Specifically, the bone density score and the degree of bone density (normal, osteopenia, osteoporosis or severe osteoporosis) are predicted from dental radiographs. In addition, the present invention relates to a bone density prediction system using an artificial intelligence-based dental radiograph that can pre-screen osteoporosis-related diseases, and a method for predicting bone density by the same.
전 세계적으로 고령화가 진행되고 있으며, 대한민국도 2017년 기준 인구의 14% 이상이 65세 이상인 고령화 사회를 거쳐 초고령화 사회로 진행하고 있다. 이런 사회에서 주의해야 할 질환 중에 하나가 골다공증이다. 골다공증은 골밀도의 감소로 뼈의 취약성이 증가되고 골절이 되기 쉬운 전신 골격계 질환으로, 노인 골절에 따른 환자 생활의 질 저하 및 사망률 상승, 국민 의료비 증대 등이 예상되는 질환이다. Aging is progressing worldwide, and in 2017, more than 14% of the population in Korea is undergoing an aging society through an aging society with age 65 or older. One of the diseases to watch out for in these societies is osteoporosis. Osteoporosis is a systemic skeletal disease that increases bone fragility and is easily fractured due to a decrease in bone mineral density. The osteoporosis is a disease that is expected to decrease the quality of life, increase mortality and increase medical expenses due to elderly fractures.
하지만 질환 특징상 자각증상이 없어, 골다공증 환자의 대다수를 차지하는 폐경 후 여성뿐만 아니라, 과도한 식이조절을 하는 폐경전 여성이나 고령의 남성들 또한 대부분 골다공증 또는 골감소증을 자각하지 못한 채로 골절의 위험성이 높은 상태로 생활을 보내고 있어, 가능한 한 이른 시기에 해당 질환에 대한 검사가 필요하다.However, due to the nature of the disease, there are no subjective symptoms, and not only postmenopausal women, who account for the majority of osteoporosis patients, but also premenopausal women and older men who have excessive dietary control, are most at risk of fracture without awareness of osteoporosis or osteopenia. He is living in the city and needs to be tested for the disease as early as possible.
골다공증에 대한 의과적 진단 방법은 WHO와 국제골다공증재단의 기준으로 골밀도 측정기기(densitometry)를 이용한 골밀도 측정을 통하여 진단 한다. 기존 골밀도를 측정하는 방법에는, 이중에너지 방사선측정법(dual energy X-ray absorptiometry, DEXA), 정량적 전산화단층촬영(quantitative computed tomogram, QCT), 또는 정량적 초음파(quantitative ultrasound, QUS) 등이 사용 된다.The medical diagnosis of osteoporosis is based on bone mineral density measurement using densitometry as a standard of WHO and the International Osteoporosis Foundation. Conventional methods for measuring bone density include dual energy X-ray absorptiometry (DEXA), quantitative computed tomogram (QCT), or quantitative ultrasound (QUS).
그러나 환자 자신이 골다공증을 스스로 의심하거나, 위와 같은 검사에 대해서 전문 의료진의 권유를 통하지 않는 다면, 환자 본인의 골다공증 여부 및 그 정도를 알기 어렵다. 따라서 높은 비용과 측정의 어려움이 있는 골다공증 검사에 대한 적응판단을 위한 다른 보조 사전 진단 방법이나 기구의 필요성이 요구되고 있는 실정이다.However, if the patient himself or herself suspects osteoporosis, or does not go through the advice of a professional medical staff for the above test, it is difficult to know whether or not the patient's own osteoporosis. Therefore, there is a need for other supplementary prediagnostic methods or instruments for the adaptive judgment of osteoporosis screening, which is expensive and difficult to measure.
치과 기본검진 시 활용되는 치과용 방사선 사진의 경우 턱뼈의 전체 및 치조골 과 전체 치아들을 사전진단 할 수 있어 치과 질환의 치료에 도움을 주는 상대적으로 촬영 비용이 저렴한 기본 검진용 방사선 사진이다. In the case of dental radiography, which is used for basic dental examinations, it is a relatively low-cost basic examination radiograph that can help to treat dental diseases because the entire jawbone, alveolar bone and entire teeth can be diagnosed in advance.
비특허문헌 1 내지 비특허문헌 4에 개시된 연구에 따르면, 치과용 방사선 사진으로 관찰되는 하악골의 피질골의 뚜께 또는 특징이나 형태분석을 통하여 골다공증 환자의 사전 스크리닝에 유용한 것으로 판단되고 있다. According to the studies disclosed in Non-Patent Documents 1 to 4, it is judged to be useful for the pre-screening of osteoporosis patients by analyzing the thickness or characteristic or morphology of the cortical bone of the mandibular bone observed by dental radiographs.
치과용 방사선 사진 촬영 장치는 어느 치과의원이라도 있기 때문에, 이것을 골다공증 환자의 사전 스크리닝에 활용하여, 골다공증을 자각하지 못한 환자에 대해서, 추가로 골다공증 정밀 진단 및 이학적 진단을 받을 수 있도록 하는 추천도구로 사용된다면, 골다공증의 조기 발견ㅇ조기 치료에 도움이 될 수 있다.Since dental radiography equipment is available at any dental clinic, it can be used as a preliminary screening for osteoporosis patients, and as a recommendation tool for patients who are not aware of osteoporosis, to receive additional osteoporosis and physical diagnosis. If so, early detection of osteoporosis can help early treatment.
특허문헌 1, 특허문헌 2 및 비특허문헌 1에는 피질골의 공동(결절부위)의 정도에 따른 골다공증의 여부의 판단 방법이 개시되어 있다. 특허문헌 3 및 비특허문헌 2에는 하악골 피질골의 두께에 따른 골다공증 여부의 판단 방법이 개시되어 있다. Patent Literature 1, Patent Literature 2, and Non-Patent Literature 1 disclose a method for determining whether osteoporosis is caused by the degree of cavities (nodal sites) of cortical bone. Patent Literature 3 and Non-Patent Literature 2 disclose a method for determining osteoporosis according to the thickness of the mandibular cortical bone.
하지만 현재까지의 관련 특허문건 중 파노라마 사진 중 하악골 하연의 특정 관찰대상 부위에 대한 이미지 채득과정에 있어, 특허문헌 1에는 판독을 위한 이미지 세그먼트 과정의 자동화 여부 및 이미지 크기에 대한 구체적인 내용이 없다. However, in the process of acquiring an image of a specific observation target area of the lower mandible of the panorama picture among the related patent documents up to now, Patent Document 1 does not have specific details on the automation and image size of the image segment process for reading.
특허문헌 2에는 세그먼트되는 이미지 크기는 언급되어 있으나, 최초 촬영되는 이미지의 해상도 및 크기는 촬영장비에 따라 다름에도 해당 사항을 고려하지 않고 일률적인 값으로 세그먼트 하게 되어, 결과적으로 X-ray 쵤영장비에 따라 세그먼트되는 영역의 크기가 실제 해부학적 구조물의 크기에 동일하게 적용되지 못함이 추정된다. 예컨대, 촬영장비에 따라 파노라마 영상의 크기가 다름을 알게 되었습니다. 예를 들어 2000X1000 해상도에서와 1000X5000 해상도의 파노라마에서 각각 300X300 크기를 추출할 경우 당연히 실제 반영되는 크기가 다르기 때문이다. 아울러, 특허문헌 2에는 세그먼트 과정이 수동적인 방법으로 추정되어 신속하게 골다공증여부를 판단하는데 어려움이 있었다. 특허문헌 3에는 특정 부위의 피질골의 두께를 기준으로 골밀도를 측정하는데, 특정부위 지정의 자동화 여부에 대해 구체화되지 않아, 골밀도 측정의 신뢰도가 낮은 문제점이 있다. Although Patent Document 2 mentions the size of the segmented image, the resolution and size of the first photographed image are segmented into a uniform value without considering the matter, depending on the photographing equipment. Therefore, it is estimated that the size of the segmented region does not equally apply to the size of the actual anatomical structure. For example, the size of the panorama image differs depending on the shooting equipment. For example, when the 300X300 size is extracted from the 2000X1000 resolution and the 1000X5000 resolution panorama, the actual reflected size is different. In addition, Patent Document 2 has a difficulty in determining whether the osteoporosis quickly because the segment process is estimated by a manual method. In Patent Document 3, the bone density is measured based on the thickness of the cortical bone of a specific site, but it is not specified about whether to automate the designation of a specific site, and there is a problem that the reliability of the bone density measurement is low.
비특허문헌 4를 참조하면, 골다공증이 진행되는 환자의 경우 하학 피질골 하연의 하부경계선은 명확하지만, 도 16에 도시된 바와 같이, 상부 경계선은 명확하지 않아 측정 지점 부위 결정에 의한 피질골 두께의 값의 편차가 크게 나타날 수 있는 가능성이 있다. Referring to Non-Patent Document 4, in the case of a patient with osteoporosis, the lower boundary line of the lower margin of the lower cortical bone is clear, but as shown in FIG. 16, the upper boundary line is not clear, so that the value of the cortical bone thickness due to the determination of the measurement site is determined. There is a possibility of large deviations.
도 16은 골밀도 변화에 따른 하악골 하연 피질골의 형태학적 특성에 대한 예시도면이다. 도 16에서, C1은 정상인의 하악골 하연 피질골의 형태학적 특성이고, C2는 골감소증 환자의 하악골 하연 피질골의 형태학적 특성이고, C3는 골다공증 환자의 하악골 하연 피질골의 형태학적 특성이다. Figure 16 is an illustration of the morphological characteristics of the mandibular lower cortical bone according to the change in bone density. In Figure 16, C1 is the morphological characteristics of the mandibular lower cortical bone of a normal person, C2 is the morphological characteristics of the mandible lower cortical bone of osteopenia patients, C3 is the morphological characteristics of the mandible lower cortical bone of osteoporosis patients.
또한, 파노라마 사진 특유의 특징으로 설골그림자가 골다공증 판단을 위한 피질골의 판독 부위와 중첩되는 현상이 있어 판독에 장애가 된다(도 5 참조). In addition, the characteristic characteristic of the panoramic picture is that the hyoid bone is overlapped with the reading area of the cortical bone for osteoporosis determination, which is an obstacle to reading (see FIG. 5).
본 발명은 치과용 방사선 사진으로부터 골밀도점수 및 골밀도 정도(정상, 골감소증 또는 골다공증)를 예측하여, 골다공증 관련 질환을 사전 스크리닝할 수 있는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템 및 이에 의한 골밀도 예측 방법을 제공하는 것을 목적으로 한다. The present invention is to predict the bone mineral density and bone mineral density (normal, osteopenia or osteoporosis) from the dental radiographs, bone density prediction system using artificial intelligence-based dental radiographs that can pre-screen osteoporosis-related diseases and thereby bone density prediction The purpose is to provide a method.
아울러, 본 발명은 하악 피질골 하연과 설골의 중첩부위를 치과용 방사선 사진에서 제거하여, 골밀도 점수 예측시 하악 피질골 하연과 설골의 중첩에 의한 판독 오류 가능성을 배제할 수 있는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템 및 이에 의한 골밀도 예측 방법을 제공하는 것을 목적으로 한다. In addition, the present invention removes the lower portion of the lower cortex and the hyoid bone in the dental radiography, artificial intelligence-based dental radiographs that can eliminate the possibility of reading errors due to the overlap of the lower cortex and lower bone when predicting bone density score An object of the present invention is to provide a bone density prediction system using the same and a method for predicting bone density by the same.
본 발명의 일 실시예에 따른 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템은, 골밀도 점수 및 골밀도 점수에 따른 골밀도 정도에 대한 골밀도 정보를 가진 치과방사선사진이 골밀도 학습데이터로 입력되고, 골밀도 학습데이터를 입력으로 하는 딥러닝을 통해, 턱관절의 골밀도가 딥러닝되어, 골밀도 예측모델이 생성되는 골밀도 학습부; 및 미판독 치과방사선사진이 입력되고, 골밀도 예측모델을 통해, 미판독 치과방사선사진으로부터 골밀도 점수와 골밀도 정도가 예측되는 미판독사진 평가부를 포함하는 것이 바람직하다. In the bone density prediction system using artificial intelligence-based dental radiography according to an embodiment of the present invention, the dental radiograph with bone density information on the bone density degree according to the bone density score and bone density score is input as bone density learning data, bone density learning Bone density learning unit through the deep learning to input data, the bone density of the jaw joint deep learning, the bone density prediction model is generated; And an unread dental radiograph is input, it is preferable to include an unread photograph evaluation unit for predicting the bone density score and bone density degree from the unread dental radiograph through the bone density prediction model.
본 발명의 일 실시예에 따른 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템은, 설골그림자 부위가 지정된 치과방사선사진이 제1 학습데이터로 입력되고, 제1 학습데이터를 입력으로 하는 딥러닝을 통해, 설골그림자 처리모델이 생성되는 설골그림자 학습부; 및 하악골 하연 윤곽선이 지정된 치과방사선사진이 제2 학습데이터로 입력되고, 제2 학습데이터를 입력으로 하는 딥러닝을 통해, 하악골 하연 윤곽선 검출모델이 생성되는 윤곽선 학습부를 더 포함하는 것이 바람직하다. Bone density prediction system using artificial intelligence-based dental radiography according to an embodiment of the present invention, the dental radiograph with the hyoid bone portion is specified as the first learning data, the deep learning to input the first learning data Osteotomy shadow learning unit through which the hyoid bone shadow processing model is generated; And a dental radiograph in which the mandible lower margin is designated as the second learning data, and through the deep learning using the second learning data, the contour learning unit for generating the mandible lower marginal contour detection model is further included.
본 발명의 일 실시예에 있어서, 미판독사진 평가부는, 설골그림자 처리모델을 통해 미판독 치과방사선사진으로부터 설골그림자를 제거하는 설골그림자 처리부; 윤곽선 검출모델을 통해 미판독 치과방사선사진으로부터 하악골 하연의 윤곽선을 검출하는 윤곽선 검출부; 미판독 치과방사선사진에서 기설정된 검출부위 인식 알고리즘을 통해, 하악골 하연의 윤곽선에서, 전악각 함요와 턱끝결절 사이의 영역을 검출부위로 인식하여, 검출부위에 대한 판독용 검출이미지를 생성하는 이미지 전처리부; 및 골밀도 예측모델을 통해, 판독용 검출이미지로부터 골밀도 점수와, 골밀도 점수에 따른 골밀도 정도가 예측되는 골밀도 예측부를 포함하는 것이 바람직하다.In one embodiment of the present invention, the unread picture evaluation unit, the hyoid bone shadow processing unit for removing the hyoid bone shadow from the unread dental radiographs through the hyoid bone shadow processing model; Contour detection unit for detecting the contour of the lower mandibular margin from the unread dental radiograph through the contour detection model; Image preprocessing unit that recognizes the area between the mandibular vertebra and the mandible nodule as a detection site by using a predetermined detection site recognition algorithm in the unread dental radiography, and generates a detection image for reading the detection site. ; And a bone density prediction unit predicting a bone density score and a bone density degree according to the bone density score from the detection image for reading through the bone density prediction model.
본 발명의 일 실시예에 있어서, 이미지 전처리부는, 기설정된 검출부위 인식 알고리즘을 통해, 미판독 치과방사선사진 상의 전악각 함요와 턱끝 결절 사이의 하악골 하연의 곡면 전체를 폭(W)으로 하고, 미판독 치과방사선사진의 전체 높이(H)의 기설정된 비율을 높이로 하여, 전악각 함요 및 턱끝 결절이 포함된 영역을 검출부위로 인식하는 것이 바람직하다. In one embodiment of the present invention, the image preprocessing unit is a width (W) of the entire lower surface of the lower mandible between the mandrel and jaw nodule on the unread dental radiograph using a predetermined detection site recognition algorithm. It is preferable to recognize the area including the mandibular angle recess and the chin tip nodule as the detection site by setting a predetermined ratio of the total height H of the read dental radiograph.
그리고, 이미지 전처리부는, 기설정된 이미지 처리 알고리즘에 따라, 검출부위에 대한 노이즈 제거 및 선명화 처리를 통해 판독용 검출이미지를 생성하는 것이 바람직하다. In addition, the image preprocessing unit may generate a detection image for reading through noise removal and sharpening of the detection region according to a predetermined image processing algorithm.
본 발명의 일 실시예에 있어서, 골밀도 예측부는 기설정된 골밀도 분류 알고리즘을 통해, 골밀도 점수가 -1.0 표준편차 이상이면 "정상", 골밀도 점수가 -1.0 내지 -2.5표준변차 범위 내이면 "골감소증", 골밀도 점수가 -2.5 표준편차 이하이면 "골다공증", 또는 골밀도 점수가 -2.5 표준편차 이하이고 1개 이상의 치명적인 손상을 가진 경우이면 "심한 골다공증"으로 골밀도 정도를 분류하는 것이 바람직하다.In one embodiment of the present invention, the bone density prediction unit through the predetermined bone density classification algorithm, if the bone density score is -1.0 standard deviation or more "normal", if the bone density score is within the range of -1.0 to -2.5 standard deviation, "osteopenia", It is desirable to classify bone density as "osteoporosis" if the bone density score is below -2.5 standard deviations, or "severe osteoporosis" if the bone density score is below -2.5 standard deviations and has one or more fatal injuries.
본 발명의 일 실시예에 있어서, 골밀도 학습부는 미판독사진 평가부의 출력데이터인 골밀도 점수 및 골밀도 정도가 예측된 치과방사선사진을 골밀도 학습데이터로 학습하는 것이 바람직하다.In one embodiment of the present invention, it is preferable that the bone density learning unit learns bone density scores, which are output data of the unread photograph evaluation unit, and dental radiographs in which the degree of bone density is predicted as bone density learning data.
본 발명의 일 실시예에 따른 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법은, (A) 골밀도 점수 및 골밀도 점수에 따른 골밀도 정도에 대한 골밀도 정보를 가진 치과방사선사진을 골밀도 학습데이터로 이용하여, 턱관절의 골밀도가 딥러닝되어, 골밀도 예측모델이 생성되는 단계; (B) 미판독 치과방사선사진이 입력되는 단계; 및 (C) 골밀도 예측모델을 기초하여, 미판독 치과방사선사진으로부터 골밀도 점수와, 골밀도 점수에 따른 골밀도 정도가 예측되는 단계를 포함하는 것이 바람직하다. Bone density prediction method using an artificial intelligence-based dental radiograph according to an embodiment of the present invention, (A) using a dental radiograph with bone density information on the bone density degree according to the bone density score and bone density score as bone density learning data , Deep running the bone density of the jaw joint, generating a bone density prediction model; (B) inputting an unread dental radiograph; And (C) a step of predicting a bone density score from the unread dental radiograph and the degree of bone density according to the bone density score based on the bone density prediction model.
(A) 단계는, (A1) 설골그림자 부위가 지정된 치과방사선사진이 제1 학습데이터로 입력되고, 제1 학습데이터를 입력으로 하는 딥러닝을 통해, 설골그림자 처리모델이 생성되는 단계; 및 (A2) 하악골 하연 윤곽선이 지정된 치과방사선사진이 제2 학습데이터로 입력되고, 제2 학습데이터를 입력으로 하는 딥러닝을 통해, 하악골 하연 윤곽선 검출모델이 생성되는 단계를 더 포함하는 것이 바람직하다. Step (A) includes (A1) generating a hyoid bone shadow processing model through deep learning, in which dental radiography having a hyoid bone shadow portion is designated as first learning data, and using first learning data as input; And (A2) it is preferable to further include the step of generating a mandibular lower marginal contour detection model through the deep learning that the dental radiograph with the lower mandible lower contour is specified as the second learning data, the second learning data as input .
본 발명의 일 실시예에 있어서, (C) 단계는, (C1) 설골그림자 처리모델을 통해 미판독 치과방사선사진으로부터 설골그림자가 제거되는 단계; (C2) 윤곽선 검출모델을 통해 미판독 치과방사선사진으로부터 하악골 하연의 윤곽선을 검출하는 단계; (C3) 기설정된 검출부위 인식 알고리즘을 통해, 미판독 치과방사선사진으로부터 하악골 하연에서 전악각 함요와 턱끝결절이 포함된 영역을 검출부위로 인식하여, 검출부위에 대한 판독용 검출이미지가 생성되는 단계; 및 (C4) 골밀도 예측모델을 통해, 판독용 검출이미지로부터 골밀도 점수와 골밀도 정도가 예측되는 단계를 포함하는 것이 바람직하다. In one embodiment of the present invention, step (C) comprises: (C1) removing the hyoid bone from the unread dental radiograph through the hyoid bone treatment model; (C2) detecting the contour of the lower mandibular margin from the unread dental radiograph through the contour detection model; (C3) recognizing a region including the mandibular angle recession and the mandible nodule in the lower mandible from the unread dental radiography through a preset detection region recognition algorithm as a detection region, and generating a detection image for reading the detection region; And (C4) it is preferable to include a step of predicting the bone density score and the degree of bone density from the detection image for reading through the bone density prediction model.
본 발명의 일 실시예에 있어서, (C3) 단계는, 기설정된 검출부위 인식 알고리즘을 통해, 미판독 치과방사선사진 상의 전악각 함요와 턱끝 결절 사이의 하악골 하연의 곡면 전체를 폭(W)으로 하고, 미판독 치과방사선사진의 전체 높이(H)의 기설정된 비율을 높이로 하여, 전악각 함요 및 턱끝 결절이 포함된 영역을 검출부위로 인식하는 것이 바람직하다. In one embodiment of the present invention, step (C3) is a width (W) of the entire lower surface of the lower mandible between the mandrel and jaw nodule on the unread dental radiograph using a predetermined detection site recognition algorithm. By using a predetermined ratio of the total height H of the unread dental radiography as a height, it is preferable to recognize the area including the mandibular angle recession and the chin tip nodule as a detection site.
본 발명의 일 실시예에 있어서, (C3) 단계는, 기설정된 이미지 처리 알고리즘을 통해, 검출부위에 대한 노이즈 제거 및 선명화 처리를 통해 판독용 검출이미지를 생성하는 것이 바람직하다. In one embodiment of the present invention, step (C3), it is preferable to generate a detection image for reading through the noise removal and sharpening process for the detection region through a predetermined image processing algorithm.
본 발명의 일 실시예에 있어서, (C4) 단계는, 기설정된 골밀도 분류 알고리즘을 통해, 골밀도 점수가 -1.0 표준편차 이상이면 "정상", 골밀도 점수가 -1.0 내지 -2.5표준변차 범위 내이면 "골감소증", 골밀도 점수가 -2.5 표준편차 이하이면 "골다공증", 또는 골밀도 점수가 -2.5 표준편차 이하이고 1개 이상의 치명적인 손상을 가진 경우이면 "심한 골다공증"으로 골밀도 정도가 분류되는 것이 바람직하다.In one embodiment of the present invention, step (C4), through a predetermined bone density classification algorithm, if the bone density score is more than -1.0 standard deviation "normal", if the bone density score is within the range of -1.0 to -2.5 standard deviation " It is desirable to classify bone density as "osteoporosis", "osteoporosis" if the BMD score is below -2.5 standard deviations, or "severe osteoporosis" if the BMD score is below -2.5 standard deviations and has one or more fatal injuries.
본 발명의 일 실시예에 있어서, (C) 단계 후, 골밀도 예측모델에 따라 골밀도 점수 및 골밀도 정도가 예측된 치과방사선사진이 골밀도 학습데이터로 학습되는 것이 바람직하다. In one embodiment of the present invention, after step (C), according to the bone density prediction model, it is preferable that the dental radiographs of which the BMD and BMD are predicted are learned with BMD learning data.
본 발명은 치과용 방사선 사진으로부터 골밀도점수 및 골밀도 정도(정상, 골감소증 또는 골다공증)를 예측하여, 골다공증 관련 질환을 사전 스크리닝할 수 있다.The present invention can predict the bone mineral density and bone mineral density (normal, osteopenia or osteoporosis) from the dental radiograph, to pre-screen osteoporosis-related diseases.
아울러, 본 발명은 하악 피질골 하연과 설골의 중첩부위를 치과용 방사선 사진에서 제거하는 기술을 포함하며, 동시에 하악 피질골 하연 윤곽선 중 다른 그림자 이미지의 영향을 받지 않는 선명도가 높은 윤곽선 부위를 인공지능이 자동으로 인지하여, 골밀도 점수 예측 및 WHO의 골밀도 정도 분류 기준으로의 확률적 예측 시 하악 피질골 하연과 설골의 중첩 및 다른 그림자 이미지에 의한 판독 오류 및 가능성을 배제할 수 있어, 예측된 골밀도 점수의 정확도를 높일 수 있다. In addition, the present invention includes a technique for removing the overlapping areas of the lower cortex and the hyoid bone from the dental radiograph, and at the same time, the artificial intelligence is automatically applied to the high-contrast contour areas that are not affected by other shadow images among the lower cortex. Recognition of the BMD score and the stochastic prediction based on the WHO BMD classification can exclude reading errors and possibilities due to the overlap of mandibular cortex and hyoid bone and other shadow images. It can increase.
또한, 본 발명은 방사선 기기에 따라 영상의 해상도와 영상 크기가 다름으로 일정 픽셀범위로 검출부위가 채득되기 보다는, 영상의 해상도와 영상 크기에 영향을 받지 않고 동일한 해부학적 크기에 해당하는 검출부위로 검출할 수 있다. In addition, the present invention detects the detection region corresponding to the same anatomical size without being affected by the resolution and the image size, rather than being acquired by a predetermined pixel range because the resolution and image size of the image are different depending on the radiation device. can do.
또한, 본 발명은 하악 피질골 하연 및 그 주변부의 텍스처 특징 가우시안 이미지에 대한 유사도와 경계 이미지에 대한 유사도비교를 다중적으로 딥러닝 기반의 유사 이미지 비교 방식으로 비교하기 때문에, 기존의 피질골 두께를 기준으로 이용하여 골다공증 여부를 판정하는 경우에 발생할 수 있는 하악 피질골 하연의 상부경계선이 골다공증 진행이 심할수록 편차가 심해 질 수 있다는 위험성을 회피할 수 있다. In addition, the present invention compares the similarity of the texture-like Gaussian image of the lower jaw cortex and its periphery and the similarity of the boundary image with multiple deep learning-based similar image comparison methods, and thus, based on the existing cortical bone thickness. By using this method, it is possible to avoid the risk that the upper boundary of the lower margin of the mandibular cortical bone, which may occur in determining osteoporosis, may become more severe as osteoporosis progresses.
또한, 본 발명은 골밀도 질환을 단순히 정상, 비정상으로만 구분하는 것이 아니라, 딥러닝 기반으로 치과방사선사진으로부터 골밀도 점수와 더불어 골밀도 정도를 정상, 골감소증, 골다공증 또는 심한 골다공증으로 구체화하여 골밀도 질환 정보를 제공할 수 있다. In addition, the present invention is not merely to distinguish between normal and abnormal bone density disease, but to provide bone density disease information by specifying the bone density degree as normal, osteopenia, osteoporosis or severe osteoporosis in addition to the bone density score from the dental radiograph on the basis of deep learning can do.
아울러, 본 발명은 추가적인 학습 데이터의 증가를 통하여 시스템의 골밀도 점수 예측값의 정밀도를 지속적으로 향상시킬 수 있다.In addition, the present invention can continuously improve the precision of the BMD score of the system by increasing additional learning data.
도 1(a)은 측면에서 바라본 턱관절 개략도이고, 도 1(b)는 정면에서 바라본 턱관절의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템의 구성도를 개략적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법의 순서도를 개략적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에서, 치과방사선사진에서 설골그림자를 처리하는 과정을 설명하기 위한 순서도이다.
도 5는 설골그림자가 하악골 하연 피질골과 겹치는 영상에 대한 예시이다.
도 6 및 도 7은 학습용 치과방사선사진에서 설골그림자의 제거 전후의 치과방사선사진에 대한 예시이다.
도 8은 본 발명의 일 실시예에 따른 설골그림자 처리부에 의해, 미판독 치과방사선사진에서 설골그림자가 제거되는 과정을 설명하기 위한 예시사진이다.
도 9는 윤곽선 학습부에서 윤곽선 검출모델을 생성하고, 윤곽선 검출부에 윤곽선 검출모델이 적용되어 미판독 치과방사선사진으로부터 하악골 하연 윤곽선을 검출하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에서, 하악골 하연 피질골에서 검출부위가 자동인식되는 과정을 설명하기 위한 예시사진이다.
도 11은 설골그림자의 제거된 미판독 치과방사선사진에서 판독용 검출이미지가 추출되는 과정을 설명하기 위한 예시사진이다.
도 12는 이미지 전처리부에서 알고리즘에 따른, 정상인과 증 환자의 이미지 전처리 치과방사선사진을 비교한 예이다.
도 13은 본 발명의 일 실시예에서, 골밀도 학습부에서 골밀도 예측모델이 생성되고, 골밀도 예측부에 골밀도 예측모델이 적용되어, 미판독 치과방사선사진으로부터 골밀도 점수 및 골밀도 점수가 예측되는 과정을 설명하기 위한 도면이다.
도 14는 학습용 검출이미지와 연계된 골밀도 점수표에 대한 것이다.
도 15는 골밀도 정도에 따른 정상, 골감소증 또는 골다공증에 대한 예시사진이다.
도 16은 골밀도 변화에 따른 하악골 하연 피질골의 형태학적 특성에 대한 예시도면이다.
도 17은 골밀도 점수에 따른 골밀도 정도를 분류하는 표이다. Figure 1 (a) is a schematic view of the jaw joint viewed from the side, Figure 1 (b) is a schematic view of the jaw joint viewed from the front.
Figure 2 schematically shows the configuration of a bone density prediction system using artificial intelligence based dental radiography according to an embodiment of the present invention.
FIG. 3 schematically illustrates a flowchart of a method for predicting bone density using artificial intelligence-based dental radiography according to an embodiment of the present invention.
Figure 4 is a flow chart for explaining the process of processing the hyoid bone in the dental radiography in one embodiment of the present invention.
5 is an illustration of an image in which the hyoid bone overlaps with the mandible lower cortex.
6 and 7 are examples of the dental radiograph before and after removal of the hyoid bone in the learning dental radiography.
8 is an exemplary photograph for explaining a process of removing a hyoid bone shadow from an unread dental radiograph by the hyoid bone shadow processing unit according to an embodiment of the present invention.
FIG. 9 is a diagram for describing a process of generating a contour detection model in the contour learning unit and detecting a lower mandible lower contour from an unread dental radiograph by applying the contour detection model to the contour detection unit.
FIG. 10 is an exemplary view for explaining a process of automatically detecting a detection site in the mandible lower cortex bone in one embodiment of the present invention.
FIG. 11 is an exemplary view for explaining a process of extracting a detection image for reading from an unread dental radiograph of a hyoid bone.
12 is an example of comparing image pretreatment dental radiographs of a normal person and a patient with symptoms according to an algorithm in the image preprocessor.
FIG. 13 illustrates a process in which a bone density prediction model is generated in a bone density learning unit, and a bone density prediction model is applied to a bone density prediction unit, thereby predicting a bone density score and a bone density score from an unread dental radiograph in an embodiment of the present invention. It is a figure for following.
14 is for the bone density score table associated with the learning detection image.
15 is an exemplary photograph of normal, osteopenia or osteoporosis according to the degree of bone density.
Figure 16 is an illustration of the morphological characteristics of the mandibular lower cortical bone according to the change in bone density.
17 is a table classifying the degree of bone density according to the bone mineral density score.
이하에서는 첨부도면을 참조하여, 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법에 대해 설명하기로 한다. Hereinafter, with reference to the accompanying drawings, a description will be given of a bone density prediction system using the artificial intelligence-based dental radiography and a bone density prediction method thereby.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템(100)은 설골그림자 학습부(111), 윤곽선 학습부(113), 골밀도 학습부(115), 미판독사진 평가부(130)를 포함한다. 2, the bone
본 발명(100)은, 학습데이터를 입력으로 하는 딥러닝을 통해, 턱관절의 골밀도가 딥러닝되어, 골밀도 예측모델을 생성하고, 골밀도 예측모델을 통해 미판독된 치과방사선사진으로부터 골밀도점수 및 골밀도정도를 확률적인 형태로 예측하고, 골밀도 점수 및 골밀도 정도를 이용자에게 제공하는 기술이다. The
도 2를 참조하면, 설골그림자 학습부(111)는 제1 학습데이터를 입력으로 하는 딥러닝을 통해, 설골그림자 처리모델을 생성한다. 제1 학습데이터는 설골그림자 부위가 지정된 치과방사선사진이다. Referring to FIG. 2, the hyoid bone
도 4을 참조하면, 설골그림자 학습부(111)는 학습용 치과방사선사진이 입력(S1)되고, 학습용 치과방사선사진 상에 설골그림자 부위가 지정(S2)되면, 딥러닝 기반으로 설골그림자를 학습하여, 설골그림자 처리모델을 생성한다(S3). 설골그림자 처리모델은 설골그림자 처리부(131)에 적용된다.Referring to FIG. 4, the hyoid bone
도 5(b), 도 6(b), 도 7(b) 및 도 8(b)는 설골그림자가 존재하는 치과방사선사진의 예시이다. 도 5(b)을 참조하면, 설골그림자는 하악골 하연과 중첩된다. 치과방사선사진 상에 설골그림자가 존재하면, 골밀도 예측시 판독오류를 유발할 수 있다. 본 발명은 치과방사선사진에서 설골그림자를 제거하여, 설골그림자로 인한 골밀도 예측 오류를 배제할 수 있다. 5 (b), 6 (b), 7 (b) and 8 (b) are examples of dental radiographs in which the hyoid bone is present. Referring to Figure 5 (b), the hyoid bone shadow overlaps the mandible lower margin. The presence of hyoid bone on dental radiography can cause reading errors in bone density prediction. The present invention removes the hyoid bone from the dental radiography, it is possible to rule out the bone density prediction error due to the hyoid bone shadow.
도 2 을 참조하면, 윤곽선 학습부(113)는 제2 학습데이터를 입력으로 하는 딥러닝을 통해, 하악골 하연 윤곽선 검출모델을 생성한다. 제2 학습데이터는 하악골 하연 윤곽선이 지정된 치과방사선사진이다. Referring to FIG. 2, the
구체적으로, 도 9를 참조하면, 윤곽선 학습부(113)는 학습용 치과방사선사진이 입력(S4)되고, 학습용 치과방사선사진 상에 하악골 하연 윤곽선이 지정(S5)되면, 딥러닝 기반으로 하악골 하연 윤곽선을 학습하여, 윤곽선 검출모델을 생성(S6)한다. 윤곽선 검출모델은 윤곽선 검출부(133)에 적용된다. Specifically, referring to Figure 9, the
도 2 및 도 13을 참조하면, 골밀도 학습부(115)는 학습데이터를 입력으로 하는 딥러닝을 통해, 골밀도 예측모델을 생성한다. 구체적으로, 골밀도 학습부(115)는 학습용 치과방사선사진과, 학습용 치과방사선사진에 부합하는 골밀도 점수 및 골밀도 정도가 입력(S7, S8)되면, 딥러닝 기반으로 턱관절의 골밀도를 학습하여, 골밀도 예측모델을 생성한다(S9). 골밀도 예측모델은 골밀도 예측부(137)에 적용된다. 2 and 13, the bone
기존의 골밀도 점수(T-Score)를 알고 있는 이미지는 골밀도 점수(T-Score, 도 14 참조)와 연계하여 딥러닝 기반의 인공지능이 학습 및 평가과정을 거쳐 텍스쳐 특징에 따른 대응되는 골밀도 점수를 예측할 수 있는 골밀도 예측모델이 구축된다. 도 14는 검출이미지와 연계된 골밀도 점수표에 대한 것이다. 여기서, 검출이미지는 미판독 치과방사선사진에서 검출부위만 따로 추출하여 생성한 이미지이다. The image knowing the existing bone density score (T-Score) is linked to the bone density score (T-Score (see FIG. 14)) to determine the corresponding bone density score according to texture characteristics through the deep learning-based AI learning and evaluation process. Predictable BMD model is established. Figure 14 is for the bone density score table associated with the detection image. Here, the detection image is an image generated by extracting only the detection site separately from the unread dental radiograph.
골밀도 학습부(115)는 도 15에 도시된 바와 같은 정상군(도 15(c) 참조), 골감소증 환자(도 15(b) 참조), 골다공증 환자(도 15(c) 참조)의 치과방사선사진의 검출부위 이미지를 골밀도 학습데이터로 학습한다. Bone
도 16을 참조하여, 골밀도 정도에 따른 하악골 하연 피질골의 형태학적 특성에 대해 살펴보면, 정상인(C1)의 하악골 하연 피질골 내에 부식이 없고(도 16(b) 참조), 골감소증 환자(C2)는 피질골 상연 껍질이 벗겨지는 모양(peeled shape) 및 피질골 내 부식(erosion ) 미약하게 관찰되며, 골다공증 환자(C3)는 피질골 상연 껍질이 벗겨지는 모양(peeled shape) 및 피질골 내 부식(erosion )이 다수 관찰되는 특성을 나타낸다. 형태학적 특성이란. 피질골 및 해면골의 공동화 정도 및 공동의 분포정도를 의미한다. Referring to Figure 16, when looking at the morphological characteristics of the mandibular lower cortical bone according to the degree of bone density, there is no corrosion in the mandibular lower cortical bone of normal people (C1) (see Figure 16 (b)), osteopenia patients (C2) is cortical bone Peeled shape and erosion in cortical bones are weakly observed, and osteoporosis patients (C3) are characterized by peeled shape and erosion in cortical bones. Indicates. What is morphological property? Means the degree of cavitation and distribution of cavities of the cortical bone and cavernous bone.
골밀도 학습부(115)는 골밀도 분류 알고리즘이 기설정되어, 골밀도 점수에 따른 골밀도 정도가 골밀도 학습데이터로 학습된다. 골밀도 정도는 골밀도 점수에 따라, 정상, 골감소증, 골다공증, 또는 심한 골다공증으로 분류된다. 골밀도 정도 분류 기준은 도 17에 도시된 바와 같다.The bone
이하에서는 설골그림자 처리모델, 윤곽선 검출모델 및 골밀도 예측모델이 적용된 미판독사진 평가부(130)에 대해 설명하기로 한다.Hereinafter, the unread
미판독사진 평가부(130)는 설골그림자 처리부(131), 윤곽선 검출부(133), 이미지 전처리부(135)와 골밀도 예측부(137)를 포함한다. The unread
도 2 및 도 4를 참조하면, 설골그림자 처리부(131)는 설골그림자 처리모델을 통해 미판독 치과방사선사진으로부터 설골그림자를 제거한다. 2 and 4, the hyoid bone
설골그림자 처리부(131)는 미판독 치과방사선사진에서 설골그림자(shadow image of hyoid bone)가 하악 피질골 하연과 중첩되는 경우(도 5(b) 참조), 딥러닝 기반의 인공지능 장치 또는 프로그램이 자동으로 중첩된 설골 그림자 이미지 인식 및 해당 그림자 이미지를 억제하는 알고리즘을 통하여 미판독 치과방사선사진에서 설골 그림자 이미지가 제거된 하악 피질골 하연 이미지만 존재하게 프로그래밍된다.When the hyoid bone
예컨대, 설골그림자 처리부(131)는 입력된 미판독 치과방사선사진(도 8(a)참조)이 설골그림자 학습데이터(예를 들어, 도 6(b), 도 7(b)에 도시된 치과방사선사진)를 기반으로 딥러닝되면서, 미판독 치과방사선사진에서 설골그림자 부위가 자동 인식된다. For example, the hyoid bone
미판독 치과방사선사진에서 설골그림자 부위(도 8(b) 참조)가 인식되면, 도 8(c)에 도시된 바와 같이 미판독 치과방사선사진에서 설골그림자 부위가 제거되게 이미지 처리된다. 설골그림자 이미지가 제거된 미판독 치과방사선사진은 윤곽선 검출부(133)로 제공된다. If the hyoid bone shadow site (refer to FIG. 8 (b)) is recognized in the unread dental radiograph, the hyoid bone shadow site is removed from the unread dental radiograph as shown in FIG. 8 (c). The unread dental radiography from which the hyoid bone image is removed is provided to the
도 2 및 도 9를 참조하면, 윤곽선 검출부(133)는 윤곽선 검출모델을 통해 미판독 치과방사선사진으로부터 하악골 하연의 윤곽선을 검출한다. 2 and 9, the
도 2 및 도 9를 참조하면, 이미지 전처리부(135)는 미판독 치과방사선사진에서 기설정된 검출부위 인식 알고리즘을 통해, 하악골 하연의 윤곽선에서, 전악각 함요와 턱끝결절 사이의 영역을 검출부위로 인식하여, 검출부위에 대한 판독용 검출이미지를 생성한다. 2 and 9, the
검출부위는 치과방사선사신에서 골다공증 정도에 따라 피질골의 변성이 두드러지게 나타나는 부분이 선정된다. 본 실시예에서, 검출부위는 치과방사선사진 상의 전악각 함요와 턱끝 결절 사이의 하악골 하연의 곡면 전체를 폭(W)으로 하고, 미판독 치과방사선사진의 전체 높이(H)의 기설정된 비율을 높이로 하여, 전악각 함요 및 턱끝 결절이 포함된 영역이다. The detection site is selected in the dental radiographs in which the degeneration of cortical bone is prominent according to the degree of osteoporosis. In this embodiment, the detection site is the width (W) of the entire mandible lower edge between the mandibular recess and the jaw tip nodule on the dental radiograph, and the height of the predetermined height of the total height (H) of the unread dental radiograph In other words, the area including the mandibular angulation and the chin tip nodule.
여기서, 기설정된 비율은 미판독 치과방사선사진의 10%비율로 설정될 수 있다. 다만, 검출부위의 높이는 반드시 미판독 치과방사선사진의 10%비율에 한정되지 않고 다양한 비율로 조절가능함은 물론이다. Here, the predetermined ratio may be set to a 10% ratio of the unread dental radiographs. However, the height of the detection site is not necessarily limited to the 10% ratio of the unread dental radiograph, of course, can be adjusted at various ratios.
도 10에 도시된 바와 같이, 한 개의 치과방사선사진에서, 두 개의 검출부위가 인식된다. 즉, 한 개의 치과방사선사진에서, 좌측 전악각 함요(antegonial notch)와 턱끝 결절(mental tubercle) 사이의 영역, 그리고, 우측 전악각 함요와 턱끝결절 사이의 영역이 검출부위로 인식된다. As shown in FIG. 10, in one dental radiograph, two detection sites are recognized. In other words, in one dental radiograph, the area between the left anterior angular notch and the mental tubercle, and the area between the right anterior mandibular and the mandible nodule are recognized as detection sites.
본 발명은 검출부위의 구체화를 통해, 기존의 특허에 문제점으로 제기된 하악 피질골 하연의 상부경계의 모호함으로 인한 피질골 두께의 측정의 부적확성 및 방사선 촬영장비의 해상도 및 방사선 이미지의 크기가 다름에 따라 검출부위의 실제 해부학적 크기가 달라짐을 해결할 수 있다.According to the present invention, the inaccuracy of the measurement of cortical bone thickness due to ambiguity of the upper boundary of the lower margin of mandibular cortex caused by the problem of the existing patent, and the resolution of radiographic equipment and the size of radiographic image are different. It can solve the difference in the actual anatomical size of the detection site.
이미지 전처리부(135)는 미판독 치과방사선사진(도 11(a) 참조)에서 검출부위를 인식(도 11(b) 참조) 및 검출부위를 추출(도 11(c) 참조)하고, 기설정된 이미지 처리 알고리즘에 따라, 검출부위에 대한 노이즈 제거 및 선명화 처리를 통해 판독용 검출이미지를 생성한다(도 11(d) 참조). The
이미지 전처리 알고리즘은 히스토그램 평준화 알고리즘, 가우시안 처리 알고리즘, 경계인식(canny) 알고리즘 또는 그 외의 이미지 해상도 향상 및 노이즈 제거에 관련되어 적어도 하나 이상의 이미지 처리 알고리즘이 해당될 수 있다. The image preprocessing algorithm may correspond to at least one or more image processing algorithms related to histogram equalization algorithm, Gaussian processing algorithm, canny algorithm, or other image resolution enhancement and noise removal.
도 12에 도시된 것을 예로 들어 설명하면, 검출부위는 노이즈제거, 평준화작업, 가우시안 처리, 경계부 인식등의 작업에 의해 검출부위의 특징이 명확화된다.Referring to the example shown in FIG. 12, the detection region is characterized by the operation of noise removal, leveling, Gaussian processing, boundary recognition, and the like.
도 12에 도시된 바와 같이, 검출부위는 노이즈제거, 평준화 작업, 가우시안 처리, 경계부 인식등의 작업에 의해 그 검출부위의 특징이 명확화된다. 도 12에는 정상인과 골감소증환자의 검출부위에 대해, 이미지 전처리되지 않은 원본이미지, 히스토그램 평준화된 이미지, 가우시안 처리된 이미지 및 경계 인식처리된 이미지가 개시되어 있다. As shown in Fig. 12, the detection region is characterized by its operation by noise removal, leveling, Gaussian processing, boundary recognition, and the like. FIG. 12 discloses an original image, a histogram-leveled image, a Gaussian-treated image, and a boundary-recognized image, for detection sites of normal and osteopenic patients.
상기와 같은 과정을 통해, 이미지 처리부는 미판독 치과방사선사진에서 검출부위에 대한 판독용 검출이미지를 생성하고, 판독용 검출이미지는 골밀도 예측부(137)로 제공된다. Through the above process, the image processing unit generates a detection image for reading the detection portion in the unread dental radiograph, the reading detection image is provided to the bone
골밀도 예측부(137)는 골밀도 예측모델을 통해, 판독용 검출이미지로부터 골밀도 점수를 예측하고, 골밀도 점수에 따른 골밀도 정도를 산출한다. The bone
즉, 골밀도 예측부(137)는 골밀도 예측모델을 통해, 판독용 검출이미지가 골밀도 학습데이터 중 어느 하나의 학습용 검출이미지에 매칭되면, 매칭된 학습용 검출이미지의 골밀도점수로부터 판독용 검출이미지의 골밀도점수를 예측한다. That is, the bone
본 발명은 하악 피질골 하연 및 그 주변부의 텍스처 특징 가우시안 이미지에 대한 유사도와 경계 이미지에 대한 유사도비교를 다중적으로 딥러닝 기반의 유사 이미지 비교 방식으로 비교하기 때문에, 기존의 피질골 두께를 기준으로 이용하여 골다공증 여부를 판정하는 경우에 발생할 수 있는 하악 피질골 하연의 상부경계선이 골다공증 진행이 심할수록 편차가 심해 질 수 있다는 위험성을 회피할 수 있다. The present invention compares the similarity of the texture-like Gaussian image of the lower jaw cortex and its surroundings with the similarity of the boundary image by using a deep learning-based similar image comparison method. The risk that the upper boundary of the lower margin of the mandibular cortical bone, which may occur in determining osteoporosis, may become more severe as osteoporosis progresses.
그리고, 골밀도 예측부(137)는 기설정된 골밀도 분류 알고리즘을 통해 골밀도 점수에 따라 골밀도 정도를 정상, 골감소증, 골다공증 또는 심한 골다공증으로 분류한다. The bone
골밀도 점수는 "(환자의 측정값- 젊은 집단의 평균값)÷ 표준편차"로부터 산출된다. 골밀도 점수는 골절에 대한 절대적인 위험도를 나타내기 위해 골량이 가장 높은 젊은 성인의 골밀도와 비교한 값으로 값이 낮을수록 골밀도가 낮다는 것을 의미한다. The bone density score is calculated from "(measured value of patient-mean value of young population) ÷ standard deviation". The BMD score is compared with the BMD of the youngest adult who has the highest BMD to indicate the absolute risk of fracture. The lower the BMD, the lower the BMD.
골밀도 분류 알고리즘은 WHO 골밀도 분류 기준(도 17참조)에 따라 설정된다. 도 17을 참조하면, 골밀도 점수가 -1.0 표준편차 이상이면 "정상"으로 분류된다. 그리고, 골밀도 분류 알고리즘은 골밀도 점수가 -1.0 내지 -2.5표준변차 범위 내이면 "골감소증"으로 분류된다. 골밀도 분류 알고리즘은 골밀도 점수가 -2.5 표준편차 이하이면 "골다공증"으로 분류된다. 골밀도 분류 알고리즘은 골밀도 점수가 -2.5 표준편차 이하이고 1개 이상의 치명적인 손상을 가진 경우이면 "심한 골다공증"으로 분류된다. The bone density classification algorithm is set according to the WHO bone density classification criteria (see FIG. 17). Referring to Figure 17, if the bone density score is more than -1.0 standard deviation is classified as "normal". And, bone density classification algorithm is classified as "osteopenia" if the bone density score is within the range of -1.0 to -2.5 standard deviation. The bone density classification algorithm is classified as "osteoporosis" if the bone density score is less than -2.5 standard deviations. The bone density classification algorithm is classified as "severe osteoporosis" if the bone density score is less than -2.5 standard deviations and one or more fatal injuries.
골밀도점수가 예측된 판독용 검출이미지는 골밀도 학습부(115)로 제공되어, 학습데이터로 활용가능하다.The detection image for reading in which the bone density score is predicted may be provided to the bone
이하에서는, 도 3 내지 도 17을 참조하여, 본 발명의 일 실시예에 따른 치과용 방사선사진을 이용한 골밀도 예측 방법에 대해 설명하기로 한다. Hereinafter, a method for predicting bone density using dental radiographs according to an embodiment of the present invention will be described with reference to FIGS. 3 to 17.
도 3을 참조하면, 미판독 치과방사선사진이 설골그림자 처리부(131)로 입력된다(S10). Referring to Figure 3, the unread dental radiograph is input to the hyoid bone shadow processing unit 131 (S10).
도 3 및 도 4을 참조하면, 미판독 치과방사선사진에서 설골그림자를 제거하는 과정(S20)은 다음과 같다. 설골그림자 처리부(131)는, 설골그림자 처리모델을 통해 미판독 치과방사선사진으로부터 설골그림자 부위가 자동인식(S21)되면, 미판독 치과방사선사진에서 설골그림자 부위가 제거한다(S22). 이후, 미판독사진에서 설골그림자가 제거된 치과방사선사진이 출력된다(S23). 3 and 4, the process of removing the hyoid bone shadow from the unread dental radiography (S20) is as follows. The hyoid bone
본 발명은 S20단계를 통해, 치과방사선사진에 설골그림자(shadow image of hyoid bone)를 자동으로 인식하고 설골그림자를 제거함으로써 설골그림자의 중첩시 발생가능한 골밀도판독의 오류 가능성을 회피할 수 있다.The present invention through step S20, by automatically recognizing the shadow image (shadow image of hyoid bone) on the dental radiography and can be avoided the possibility of error in bone density readings that can occur when overlapping the hyoid bone shadow.
다음으로, 설골그림자가 제거된 치과방사선사진로부터 하악골 하연의 윤곽선을 검출하는 과정이 수행된다(S30). 도 9를 참조하면, 윤곽선 검출부(133)는 설골그림자가 제거된 치과방사선사진이 입력(S31)되면, 윤곽선 검출모델을 통해 치과방사선사진에서 하악골 하연의 윤곽선을 검출한다(S32). Next, a process of detecting the contour of the lower mandible margin from the dental radiography from which the hyoid bone is removed is performed (S30). Referring to FIG. 9, when the dental radiography picture from which the hyoid bone is removed is input (S31), the
본 발명은 S30단계를 통해, 하악 피질골 하연과 설골의 중첩부위를 치과용 방사선 사진에서 제거하는 기술을 포함하며, 동시에 하악 피질골 하연 윤곽선 중 다른 그림자 이미지의 영향을 받지 않는 선명도가 높은 윤곽선 부위를 인공지능이 자동으로 인지하여, 골밀도 점수 예측 및 WHO의 골밀도 정도 분류 기준으로의 확률적 예측 시 하악 피질골 하연과 설골의 중첩 및 다른 그림자 이미지에 의한 판독 오류 및 가능성을 배제할 수 있어, 예측된 골밀도 점수의 정확도를 높일 수 있다. The present invention includes a technique for removing the overlapping portion of the lower cortex and lower hyoid bone from the dental radiograph through the step S30, and at the same time, artificially sharpen the contour portion of the lower cortex that is not affected by other shadow images of the lower cortical bone. The intelligence is automatically recognized, and the prediction of bone density scores can be ruled out in the prediction of BMD and stochastic classification based on the WHO bone mineral density classification, eliminating errors and possibilities of reading of the mandibular cortex and hyoid superimposition and other shadow images. Can increase the accuracy.
다음으로, 치과방사선사진에서 하악골 하연의 윤곽선이 검출되면, 검출부위에 대한 판독용 검출이미지가 생성된다(S40). Next, when the contour of the lower mandible is detected in the dental radiography, a detection image for reading the detection site is generated (S40).
도 9를 참조하면, 이미지 전처리부(135)는 치과방사선사진에서 하악골 하연의 윤곽선을 기준으로 검출부위를 인식하여, 치과방사선사진에서 검출부위만을 추출한다(S41). S41단계는 이미지 전처리부(135)에 기설정된 검출부위 인식 알고리즘을 통해 수행된다. 이어서, 이미지 전처리부(135)는 기설정된 이미지 처리 알고리즘을 통해, 검출부위에 대한 이미지 전처리를 거쳐 판독용 검출이미지를 생성한다(S42). 9, the
다음으로, 판독용 검출이미지로부터 턱관절의 골밀도가 예측되는 과정이 수행된다(S50). 도 13을 참조하면, 골밀도 예측부(137)는 판독용 검출이미지가 입력되면(S51), 골밀도 예측모델을 통해 골밀도 점수를 예측하고, 기설정된 골밀도 분류 알고리즘을 통해 골밀도 점수로부터 골밀도 정도를 산출한다(S52). 이후, 골밀도 예측부(137)는 골밀도 점수 및 골밀도 정도에 따른 골질환의 위험성 정보를 골밀도 예측 결과로 출력한다(S53). 또한, 골밀도 예측 결과는 골밀도 학습부(115)로 제공되어, 학습데이터로 활용가능하다. Next, a process of predicting bone density of the jaw joint is performed from the detection image for reading (S50). Referring to FIG. 13, when the detection image for reading is input (S51), the bone
본 발명은 판독용 검출이미지를 히스토그램 평준화된 이미지, 가우시안 처리된 이미지 및 경계 인식처리된 이미지로 세분화하여, 딥러닝 방식으로 각각 대응되는 알고리즘으로 처리된 학습용 검출이미지와 비교함에 따라, 골밀도 학습데이터 중 판독용 검출이미지와 가장 유사한 학습용 검출이미지를 탐색할 수 있다. According to the present invention, the detection image for reading is subdivided into a histogram equalized image, a Gaussian processed image, and a boundary recognition processed image, and compared with the learning detection image processed by a corresponding algorithm in a deep learning method. The training detection image most similar to the reading detection image may be searched for.
이에, 본 발명은 판독용 검출이미지가 골밀도 학습데이터를 기반으로 딥러닝될 때, 검출부위의 구체화를 통해 하악 피질골 하연의 두께적 특성이 반영되고, 가우시안 처리된 이미지로부터 피질골을 포함한 주변부의 형태학적 특성이 반영되고, 경계 인식처리된 이미지로부터 이미지 입자 밀도 특성이 반영되어, 판독용 검출이미지의 골밀도 점수가 예측됨으로써, 예측된 골밀도 점수의 정확도를 향상시킬 수 있다. Therefore, when the detection image for reading is deep learning based on bone density learning data, the thickness of the lower cortex of the mandible cortex is reflected through the specification of the detection site, and the morphological part of the periphery including the cortical bone from the Gaussian-treated image is reflected. The characteristics are reflected, and the image particle density characteristics are reflected from the boundary-recognized image to predict the bone density score of the detection image for reading, thereby improving the accuracy of the predicted bone density score.
본 발명은 예측되는 골밀도 점수를 수치적으로 제공함으로써 단순히 정상, 비정상으로만 구분하는 것이 아닌 골다공증 위험성 정도를 인지토록 할 수 있다. 예를 들어, 본 발명은 미판독 치과방사선사진을 미판독사진 평가부(130)에 입력한 이용자에게, 입력된 미판독 치과방사선사진은 골밀도 점수(T-Score, 도 14참조)가 2.0일 확률이 85%로 골감소증에 해당될 확률이 85%로 예상되는 것과 같이, 확률적 형태로 정보를 제공할 수 있다. The present invention can provide a predicted bone density score numerically to recognize the degree of osteoporosis risk, not merely to distinguish between normal and abnormal. For example, in the present invention, the unread dental radiograph is input to the
아울러, 본 발명은 골밀도 질환을 단순히 정상, 비정상으로만 구분하는 것이 아니라, 딥러닝 기반으로 치과방사선사진으로부터 골밀도 점수와 더불어 골밀도 정도를 정상, 골감소증, 골다공증 또는 심한 골다공증으로 구체화하여 골밀도 질환 정보를 제공할 수 있다. In addition, the present invention is not only to distinguish between normal and abnormal bone density disease, but also deep bone-based bone mineral density from the radiographs on the basis of bone mineral density by specifying the normal, osteopenia, osteoporosis or severe osteoporosis to provide bone density disease information can do.
또한, 본 발명은 딥러닝 및 강화학습 알고리즘을 기본으로 하기 때문에, 추가적인 학습 데이터의 증가를 통하여 시스템의 골밀도 점수 예측값의 정밀도를 지속적으로 향상시킬 수 있다. In addition, since the present invention is based on the deep learning and reinforcement learning algorithm, the precision of the BMD score of the system can be continuously improved by increasing additional learning data.
본 발명을 이용할 경우, 환자는 치과 검진을 위하여 기본적으로 촬영한 치과용 파노라마 방사선만으로, 골다공증 전문 의료진의 문진이나 검진 없이 예측되는 골다공증 위험성 정도를 안내 받을 수 있다. When using the present invention, the patient can be guided to the degree of osteoporosis risk that is predicted without a medical examination or examination of osteoporosis specialists by using only the dental panoramic radiation basically taken for dental examination.
따라서, 본 발명은 골다공증을 인지 못한 기존의 불특정 다수의 환자가 전문적인 골다공증 진단을 위하여 별도로 해당 전문과에 내원 및 추가 방사선학적 및 이학적 검사를 받을 수 있고 조기 치료시작이 가능하게 할 수 있다. Therefore, the present invention can allow a large number of existing unspecified patients who are not aware of osteoporosis to visit the specialty department and receive additional radiological and physical examinations for the diagnosis of specialized osteoporosis and to start early treatment.
결과적으로, 본 발명에 의해, 치과 검진을 위한 방사선학 검사가 내과 및 정형외과적 진단보조 및 검사유도와 조기치료에 동시에 활용되는 치의학 및 의학 간의 협력 체계 구축이 가능함은 물론이다. As a result, according to the present invention, it is of course possible to establish a cooperative system between dentistry and medicine in which radiological examination for dental examination is used simultaneously for medical and orthopedic diagnosis assistance and examination induction and early treatment.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although some embodiments of the invention have been shown and described, it will be apparent to those skilled in the art that modifications may be made to the embodiment without departing from the spirit or spirit of the invention. . It is intended that the scope of the invention be defined by the claims appended hereto and their equivalents.
100: 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템
111: 설골그림자 학습부
113: 윤곽선 학습부
115: 골밀도 학습부
130: 미판독사진 평가부
131: 설골그림자 처리부
133: 윤곽선 검출부
135: 이미지 전처리부
137: 골밀도 예측부100: Bone density prediction system using artificial intelligence based dental radiography
111: Study of the hyoid bone shadow
113: contour learning unit
115: bone density learning unit
130: unread picture evaluation unit
131: hyoid bone shadow processing unit
133: contour detection unit
135: image preprocessor
137: bone density prediction unit
Claims (14)
미판독 치과방사선사진이 입력되고, 상기 골밀도 예측모델을 통해, 상기 미판독 치과방사선사진으로부터 상기 골밀도 점수와 상기 골밀도 정도가 예측되는 미판독사진 평가부를 포함하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템. Dental radiographs with bone density information on bone density scores and bone density information according to the bone density scores are input as bone density learning data, and through deep learning using the bone density learning data as inputs, bone density of the jaw joint is deeply run, and bone density Bone density learning unit for generating a prediction model; And
A non-read dental radiograph is input, and the artificial radiation-based dental radiograph comprises an unread photograph evaluation unit for predicting the bone density score and the bone mineral density from the unread dental radiograph through the bone density prediction model. Bone mineral density prediction system using photograph.
설골그림자 부위가 지정된 치과방사선사진이 제1 학습데이터로 입력되고, 상기 제1 학습데이터를 입력으로 하는 딥러닝을 통해, 설골그림자 처리모델이 생성되는 설골그림자 학습부; 및
하악골 하연 윤곽선이 지정된 치과방사선사진이 제2 학습데이터로 입력되고, 상기 제2 학습데이터를 입력으로 하는 딥러닝을 통해, 하악골 하연 윤곽선 검출모델이 생성되는 윤곽선 학습부를 더 포함하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템. The method of claim 1,
A hyoid bone shadow learning unit configured to input a dental radiograph with designated hyoid bone parts as first learning data, and through the deep learning using the first learning data, a hyoid bone shadow processing model is generated; And
The artificial radiographs with the lower mandibular contours specified as the second learning data are input, and through deep learning using the second learning data, the artificial body further comprises a contour learning unit for generating a mandible lower marginal contour detection model. Bone Density Prediction System Using Intelligence-based Dental Radiography.
상기 설골그림자 처리모델을 통해 상기 미판독 치과방사선사진으로부터 상기 설골그림자를 제거하는 설골그림자 처리부;
상기 윤곽선 검출모델을 통해 상기 미판독 치과방사선사진으로부터 하악골 하연의 윤곽선을 검출하는 윤곽선 검출부;
상기 미판독 치과방사선사진에서 기설정된 검출부위 인식 알고리즘을 통해, 상기 하악골 하연의 윤곽선에서, 전악각 함요와 턱끝결절 사이의 영역을 검출부위로 인식하여, 상기 검출부위에 대한 판독용 검출이미지를 생성하는 이미지 전처리부; 및
상기 골밀도 예측모델을 통해, 상기 판독용 검출이미지로부터 상기 골밀도 점수와, 상기 골밀도 점수에 따른 골밀도 정도가 예측되는 골밀도 예측부를 포함하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템.According to claim 2, The unread picture evaluation unit,
A hyoid bone shadow processing unit for removing the hyoid bone shadow from the unread dental radiograph through the hyoid bone shadow processing model;
Contour detection unit for detecting the contour of the lower mandibular margin from the unread dental radiograph through the contour detection model;
Recognizing a region between the mandibular vertebra and the mandible nodule in the contour of the lower mandible through a preset detection region recognition algorithm in the unread dental radiography, generating a detection image for reading the detection region. An image preprocessor; And
And a bone density predicting unit predicting the bone density score and the bone density degree according to the bone density score from the detection image for reading through the bone density prediction model.
상기 이미지 전처리부는, 상기 기설정된 검출부위 인식 알고리즘을 통해,
상기 미판독 치과방사선사진 상의 상기 전악각 함요와 상기 턱끝 결절 사이의 상기 하악골 하연의 곡면 전체를 폭(W)으로 하고,
상기 미판독 치과방사선사진의 전체 높이(H)의 기설정된 비율을 높이로 하여,
상기 전악각 함요 및 상기 턱끝 결절이 포함된 영역을 상기 검출부위로 인식하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템. The method of claim 3, wherein
The image preprocessing unit is configured through the preset detection site recognition algorithm.
The width of the lower surface of the lower mandible between the mandrel and the mandible nodule on the unread dental radiograph is the width (W),
By setting a predetermined ratio of the total height (H) of the unread dental radiography,
Bone density prediction system using an artificial intelligence-based dental radiography, characterized in that for detecting the area including the mandrel angle jaw and the chin tip nodule.
상기 이미지 전처리부는, 기설정된 이미지 처리 알고리즘에 따라, 상기 검출부위에 대한 노이즈 제거 및 선명화 처리를 통해 상기 판독용 검출이미지를 생성하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템. The method of claim 3, wherein
The image preprocessing unit, based on a predetermined image processing algorithm, the bone density prediction system using the artificial intelligence-based dental radiographs, characterized in that for generating the detection image for reading through the noise removal and sharpening process for the detection site .
상기 골밀도 예측부는 기설정된 골밀도 분류 알고리즘을 통해,
상기 골밀도 점수가 -1.0 표준편차 이상이면 "정상",
상기 골밀도 점수가 -1.0 내지 -2.5표준변차 범위 내이면 "골감소증",
상기 골밀도 점수가 -2.5 표준편차 이하이면 "골다공증", 또는
상기 골밀도 점수가 -2.5 표준편차 이하이고 1개 이상의 치명적인 손상을 가진 경우이면 "심한 골다공증"으로 골밀도 정도를 분류하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템. The method of claim 3, wherein
The bone density prediction unit through a predetermined bone density classification algorithm,
"Normal" if the bone density score is above -1.0 standard deviation,
If the bone density score is within the range of -1.0 to -2.5 standard deviation, "osteopenia",
"Osteoporosis" if the bone density score is less than -2.5 standard deviations, or
If the bone density score is less than -2.5 standard deviation and one or more fatal damage, bone density prediction system using artificial intelligence-based dental radiography, characterized in that the bone density degree is classified as "severe osteoporosis."
상기 골밀도 학습부는 상기 미판독사진 평가부의 출력데이터인 상기 골밀도 점수 및 상기 골밀도 정도가 예측된 치과방사선사진을 상기 골밀도 학습데이터로 학습하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 시스템.The method of claim 1,
The bone density learning unit is a bone density prediction system using the artificial intelligence-based dental radiographs, characterized in that the bone density scores and the dental radiographs predicted as the output data of the unread picture evaluation unit learning the bone density density learning data .
(B) 미판독 치과방사선사진이 입력되는 단계; 및
(C) 상기 골밀도 예측모델을 기초하여, 상기 미판독 치과방사선사진으로부터 골밀도 점수와, 상기 골밀도 점수에 따른 골밀도 정도가 예측되는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법. (A) using a dental radiograph with bone density information on bone density scores according to the bone density score and the bone density score as the bone density learning data, the bone density of the jaw joint is deep learning, generating a bone density prediction model;
(B) inputting an unread dental radiograph; And
(C) based on the bone density prediction model, the bone density score from the unread dental radiographs, and the bone density degree according to the artificial bone-based dental radiographs, characterized in that it comprises the step of predicting the bone density degree according to the bone density score Forecast method.
(A1) 설골그림자 부위가 지정된 치과방사선사진이 제1 학습데이터로 입력되고, 상기 제1 학습데이터를 입력으로 하는 딥러닝을 통해, 설골그림자 처리모델이 생성되는 단계; 및
(A2) 하악골 하연 윤곽선이 지정된 치과방사선사진이 제2 학습데이터로 입력되고, 상기 제2 학습데이터를 입력으로 하는 딥러닝을 통해, 하악골 하연 윤곽선 검출모델이 생성되는 단계를 더 포함하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법. The method of claim 8, wherein step (A) is
(A1) generating a hyoid bone shadow processing model through deep learning using a dental radiography image in which a hyoid bone shadow portion is designated as first learning data, and using the first learning data as an input; And
(A2) further comprising the step of generating a mandibular lower marginal contour detection model through deep learning using the dental radiography image having the lower mandible lower contour outlined as the second learning data, and using the second learning data as an input. Bone density prediction method using artificial intelligence based dental radiography.
(C1) 상기 설골그림자 처리모델을 통해 상기 미판독 치과방사선사진으로부터 상기 설골그림자가 제거되는 단계;
(C2) 상기 윤곽선 검출모델을 통해 상기 미판독 치과방사선사진으로부터 하악골 하연의 윤곽선을 검출하는 단계;
(C3) 기설정된 검출부위 인식 알고리즘을 통해, 상기 미판독 치과방사선사진으로부터 상기 하악골 하연에서 전악각 함요와 턱끝결절이 포함된 영역을 검출부위로 인식하여, 상기 검출부위에 대한 판독용 검출이미지가 생성되는 단계; 및
(C4) 상기 골밀도 예측모델을 통해, 상기 판독용 검출이미지로부터 상기 골밀도 점수와 상기 골밀도 정도가 예측되는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법. The method of claim 9, wherein step (C) comprises:
(C1) removing the hyoid bone shadow from the unread dental radiograph through the hyoid bone shadow processing model;
(C2) detecting the contour of the lower mandibular margin from the unread dental radiograph through the contour detection model;
(C3) Through a preset detection site recognition algorithm, a region including the mandibular angular recess and the chin tip in the lower mandible from the unread dental radiography is recognized as a detection site, thereby generating a detection image for reading the detection site Becoming; And
(C4) a bone density prediction method using artificial intelligence-based dental radiography, characterized in that the step of predicting the bone density score and the bone mineral density from the detection image for reading through the bone density prediction model.
상기 (C3) 단계는, 상기 기설정된 검출부위 인식 알고리즘을 통해,
상기 미판독 치과방사선사진 상의 상기 전악각 함요와 상기 턱끝 결절 사이의 상기 하악골 하연의 곡면 전체를 폭(W)으로 하고,
상기 미판독 치과방사선사진의 전체 높이(H)의 기설정된 비율을 높이로 하여,
상기 전악각 함요 및 상기 턱끝 결절이 포함된 영역을 상기 검출부위로 인식하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법. The method of claim 9,
In the step (C3), through the predetermined detection site recognition algorithm,
The width of the lower surface of the lower mandible between the mandrel and the mandible nodule on the unread dental radiograph is the width (W),
By setting a predetermined ratio of the total height (H) of the unread dental radiography,
Bone density prediction method using an artificial intelligence-based dental radiography, characterized in that for detecting the area including the mandrel angle jaw and the chin tip nodule.
상기 (C3) 단계는, 기설정된 이미지 처리 알고리즘을 통해, 상기 검출부위에 대한 노이즈 제거 및 선명화 처리를 통해 상기 판독용 검출이미지를 생성하는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법. The method of claim 9,
In the step (C3), the bone density using the artificial intelligence-based dental radiography, characterized in that for generating the reading detection image through the noise removal and sharpening process for the detection site through a predetermined image processing algorithm Forecast method.
상기 (C4) 단계는, 기설정된 골밀도 분류 알고리즘을 통해,
상기 골밀도 점수가 -1.0 표준편차 이상이면 "정상",
상기 골밀도 점수가 -1.0 내지 -2.5표준변차 범위 내이면 "골감소증",
상기 골밀도 점수가 -2.5 표준편차 이하이면 "골다공증", 또는
상기 골밀도 점수가 -2.5 표준편차 이하이고 1개 이상의 치명적인 손상을 가진 경우이면 "심한 골다공증"으로 상기 골밀도 정도가 분류되는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법. The method of claim 9,
Step (C4) is through a predetermined bone density classification algorithm,
"Normal" if the bone density score is above -1.0 standard deviation,
If the bone density score is within the range of -1.0 to -2.5 standard deviation, "osteopenia",
"Osteoporosis" if the bone density score is less than -2.5 standard deviations, or
If the bone mineral density score is less than -2.5 standard deviation and one or more fatal damage, the bone density degree is classified as "severe osteoporosis" by artificial intelligence based dental radiography, characterized in that the classification.
상기 (C) 단계 후, 상기 골밀도 예측모델에 따라 상기 골밀도 점수 및 상기 골밀도 정도가 예측된 치과방사선사진이 상기 골밀도 학습데이터로 학습되는 것을 특징으로 하는 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측 방법. The method of claim 8,
After the step (C), according to the bone density prediction model, the bone density score and the bone density prediction method using the artificial intelligence-based dental radiographs, characterized in that the dental radiographs are learned with the bone density learning data .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2019/009060 WO2020027481A1 (en) | 2018-08-03 | 2019-07-23 | Artificial intelligence-based system for predicting bone density using dental radiographs, and method for predicting bone density thereby |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180090627 | 2018-08-03 | ||
| KR20180090627 | 2018-08-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200015379A true KR20200015379A (en) | 2020-02-12 |
| KR102256315B1 KR102256315B1 (en) | 2021-05-26 |
Family
ID=69569739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190087472A KR102256315B1 (en) | 2018-08-03 | 2019-07-19 | Artificial Intelligence based system and method for predicting bone mineral density using dental radiographs |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102256315B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102185760B1 (en) * | 2020-03-18 | 2020-12-03 | 가톨릭대학교 산학협력단 | Apparatus for osteoporosis diagnosis and method for decision osteoporosis |
| CN112089429A (en) * | 2020-09-18 | 2020-12-18 | 重庆邮电大学 | Deep learning algorithm-based bone densitometer diagnosis system |
| WO2022011342A1 (en) * | 2020-07-10 | 2022-01-13 | Overjet, Inc. | Systems and methods for integrity analysis of clinical data |
| WO2022055271A1 (en) * | 2020-09-09 | 2022-03-17 | 울산대학교 산학협력단 | Medical image processing apparatus, medical image learning method, and medical image processing method |
| WO2022114819A1 (en) * | 2020-11-25 | 2022-06-02 | 가톨릭관동대학교산학협력단 | Ai osteoporosis evaluation device and method |
| KR20230091636A (en) * | 2021-12-16 | 2023-06-23 | 의료법인 성광의료재단 | Method and apparatus for assessing radiomics-based bone health status using artificial intelligence |
| US11963846B2 (en) | 2020-01-24 | 2024-04-23 | Overjet, Inc. | Systems and methods for integrity analysis of clinical data |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004209089A (en) | 2003-01-07 | 2004-07-29 | Japan Science & Technology Agency | Osteoporosis diagnosis supporting device using panoramic x-ray image |
| JP2008036068A (en) * | 2006-08-04 | 2008-02-21 | Hiroshima Univ | Osteoporosis diagnosis support apparatus, method and program, computer-readable recording medium recorded with osteoporosis diagnosis support program and lsi for supporting osteoporosis diagnosis |
| KR20170016778A (en) * | 2015-08-04 | 2017-02-14 | 재단법인 아산사회복지재단 | Method and program for computing bone age by deep neural network |
| JP2017164412A (en) * | 2016-03-18 | 2017-09-21 | メディア株式会社 | Osteoporosis diagnosis support apparatus |
| KR20180029476A (en) * | 2016-09-12 | 2018-03-21 | 주식회사 뷰노 | Method and apparatus of bone mineral density measurement |
-
2019
- 2019-07-19 KR KR1020190087472A patent/KR102256315B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004209089A (en) | 2003-01-07 | 2004-07-29 | Japan Science & Technology Agency | Osteoporosis diagnosis supporting device using panoramic x-ray image |
| JP2008036068A (en) * | 2006-08-04 | 2008-02-21 | Hiroshima Univ | Osteoporosis diagnosis support apparatus, method and program, computer-readable recording medium recorded with osteoporosis diagnosis support program and lsi for supporting osteoporosis diagnosis |
| KR20170016778A (en) * | 2015-08-04 | 2017-02-14 | 재단법인 아산사회복지재단 | Method and program for computing bone age by deep neural network |
| JP2017164412A (en) * | 2016-03-18 | 2017-09-21 | メディア株式会社 | Osteoporosis diagnosis support apparatus |
| KR20180029476A (en) * | 2016-09-12 | 2018-03-21 | 주식회사 뷰노 | Method and apparatus of bone mineral density measurement |
Non-Patent Citations (5)
| Title |
|---|
| 논문(LEE, J. S. 외 5명, Osteoporosis detection in panoramic radiographs using a deep convolutional neural network-based computer-assisted diagnosis system: a preliminary study, 2018.07.12.)* * |
| 비특허문헌 2는 A. Z. Arifin, A. Asano, A. Taguchi, T. Nakamoto, M. Ohtsuka, and K. Tanimoto, "Computer-aided system for measuring the mandibular cortical width on panoramicradiographs in osteoporosis diagnosis", in Proc. SPIE Med Imaging 2005 -ImageProcessing Conference, San Diego, 2005, pp. 813-821, |
| 비특허문헌 3은 MS Kavitha, SY An, CH An, KH Huh, WJ Yi, MS Heo, SS Lee, SC Choi, "Texture analysis of mandibular cortical bone on digital dental panoramic radiographs for the diagnosis of osteoporosis in Korean women", Oral Surg Oral Med Oral Pathol Oral Radiol. 2015 Mar;119(3):346-356., |
| 비특허문헌 4는 OS Kim, MH Shin, IH Song, IG Lim, SJ Yoon, OJ Kim, YH Lee, YJ Kim, HJ Chung, "Digital panoramic radiographs are useful for diagnosis of osteoporosis in Korean postmenopausal women", Gerodontology. 2016 Jun;33(2):185-192.이다. |
| 상기의 비특허문헌 1은 T. Nakamoto, A. Taguchi, A. Asano, M. Ohtsuka, Y. Suei, M. Fujita, M. Sanada, K. Ohama, and K. Tanimoto, "Computer-aided diagnosis of low skeletal bone mass on panoramic radiographs," presented at the82nd General Session & Exhibition of the International Association forDental Research no. 1953, Hawaii, 2004., |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11963846B2 (en) | 2020-01-24 | 2024-04-23 | Overjet, Inc. | Systems and methods for integrity analysis of clinical data |
| KR102185760B1 (en) * | 2020-03-18 | 2020-12-03 | 가톨릭대학교 산학협력단 | Apparatus for osteoporosis diagnosis and method for decision osteoporosis |
| WO2021187826A1 (en) * | 2020-03-18 | 2021-09-23 | 가톨릭대학교 산학협력단 | Osteoporosis diagnosis device and osteoporosis diagnosis method thereby |
| WO2022011342A1 (en) * | 2020-07-10 | 2022-01-13 | Overjet, Inc. | Systems and methods for integrity analysis of clinical data |
| WO2022055271A1 (en) * | 2020-09-09 | 2022-03-17 | 울산대학교 산학협력단 | Medical image processing apparatus, medical image learning method, and medical image processing method |
| CN112089429A (en) * | 2020-09-18 | 2020-12-18 | 重庆邮电大学 | Deep learning algorithm-based bone densitometer diagnosis system |
| CN112089429B (en) * | 2020-09-18 | 2023-09-26 | 重庆邮电大学 | Bone densitometer diagnostic system based on deep learning algorithm |
| WO2022114819A1 (en) * | 2020-11-25 | 2022-06-02 | 가톨릭관동대학교산학협력단 | Ai osteoporosis evaluation device and method |
| KR20230091636A (en) * | 2021-12-16 | 2023-06-23 | 의료법인 성광의료재단 | Method and apparatus for assessing radiomics-based bone health status using artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102256315B1 (en) | 2021-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102256315B1 (en) | Artificial Intelligence based system and method for predicting bone mineral density using dental radiographs | |
| Jader et al. | Deep instance segmentation of teeth in panoramic X-ray images | |
| JP5959699B2 (en) | Diagnosis support system using panoramic X-ray photograph and diagnosis support program using panoramic X-ray photograph | |
| Jatti et al. | Characterization of dental pathologies using digital panoramic X-ray images based on texture analysis | |
| JP2004522465A (en) | Method and apparatus for X-ray image analysis | |
| Areeckal et al. | Current and emerging diagnostic imaging-based techniques for assessment of osteoporosis and fracture risk | |
| Allen et al. | Detecting reduced bone mineral density from dental radiographs using statistical shape models | |
| JP2019208831A (en) | Dental analysis system and dental analysis X-ray system | |
| Naik et al. | Automatic segmentation of lower jaw and mandibular bone in digital dental panoramic radiographs | |
| US10089728B2 (en) | Radiation-image processing device and method | |
| Barngkgei et al. | IDIOS: An innovative index for evaluating dental imaging-based osteoporosis screening indices | |
| Giannoglou et al. | Review of advances in Cobb angle calculation and image-based modelling techniques for spinal deformities | |
| WO2020027481A1 (en) | Artificial intelligence-based system for predicting bone density using dental radiographs, and method for predicting bone density thereby | |
| Hamd et al. | Machine learning as new approach for predicting of maxillary sinus volume, a sexual dimorphic study | |
| JP6071805B2 (en) | Image area designating apparatus and method, and radiation image processing apparatus and method | |
| Varghese et al. | Segmentation and three dimensional visualization of mandible using active contour and visualization toolkit in craniofacial computed tomography images | |
| US7848551B2 (en) | Method and system for analysis of bone density | |
| KR101822908B1 (en) | Method and Apparatus for Obtaining Information of Radiographic Images | |
| Welk | Prediction of canine eruption problems and other developmental anomalies in panoramic radiographs using machine learning | |
| US20230215001A1 (en) | Method for facilitating caries detection | |
| JP6345178B2 (en) | Radiation image processing apparatus and method | |
| Misra et al. | Segmentation of anterior tissues in craniofacial cone-beam CT images | |
| Muramatsu et al. | Computer-aided diagnosis with dental images | |
| Jatti et al. | Image processing and parameter extraction of digital panoramic dental X-rays with ImageJ | |
| Jiao et al. | Deep learning for automatic detection of cephalometric landmarks on lateral cephalometric radiographs using the Mask Region-based Convolutional Neural Network: A pilot study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |