KR102496567B1 - 구강 건강 분석 서비스를 제공하는 장치 및 방법 - Google Patents
구강 건강 분석 서비스를 제공하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102496567B1 KR102496567B1 KR1020210131506A KR20210131506A KR102496567B1 KR 102496567 B1 KR102496567 B1 KR 102496567B1 KR 1020210131506 A KR1020210131506 A KR 1020210131506A KR 20210131506 A KR20210131506 A KR 20210131506A KR 102496567 B1 KR102496567 B1 KR 102496567B1
- Authority
- KR
- South Korea
- Prior art keywords
- oral
- disease
- image data
- tooth
- data
- Prior art date
Links
- 230000036541 health Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004458 analytical method Methods 0.000 title claims abstract description 24
- 208000025157 Oral disease Diseases 0.000 claims abstract description 79
- 208000030194 mouth disease Diseases 0.000 claims abstract description 79
- 201000010099 disease Diseases 0.000 claims abstract description 34
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 210000000214 mouth Anatomy 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 24
- 210000001738 temporomandibular joint Anatomy 0.000 claims description 13
- 208000001132 Osteoporosis Diseases 0.000 claims description 10
- 230000037123 dental health Effects 0.000 claims description 10
- 230000037231 joint health Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 4
- 230000003862 health status Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 208000002925 dental caries Diseases 0.000 description 4
- 239000000835 fiber Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000007408 cone-beam computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 208000024693 gingival disease Diseases 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4547—Evaluating teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Dentistry (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Physical Education & Sports Medicine (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Nursing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
Abstract
본 발명은 장치에 의해 수행되는, 구강 건강 분석 서비스를 제공하는 방법에 있어서, 구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하는 단계, 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하는 단계, 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하는 단계 및 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하는 단계를 포함할 수 있다.
Description
본 발명은 구강 건강 분석 서비스를 제공하는 장치 및 방법에 관한 것이다.
일반적으로, 구강 건강에 문제가 발생하거나, 주기적으로 구강 건강 검진을 위해 치과에 방문하는 환자들은 자신의 구강 건강 상태에 대해 의사에 설명에만 의존하여 파악해왔다.
구체적으로, 치과에 방문하는 환자들은 치과 영상 파노라마 장비를 통해 구강을 촬영하고, 촬영된 파노라마 영상에 대한 치과 의사의 설명에 따라 본인의 구강 건강 상태를 파악해왔다.
즉, 구강 질환에 대한 전문가가 아닌 대부분의 환자의 경우, 파노라마 영상을 보더라도 본인의 구강 건강 상태를 파악하기 어렵기 때문에 치과 의사의 설명만을 의존하여 본인의 구강 건강 상태를 파악하는 경우가 많다.
이에 따라, 환자들이 본인의 구강 건강 상태에 대한 객관적인 지표를 파악하는 것은 어려운 실정이다.
따라서, 환자들이 자신의 구강 건강에 대해 치과 의사의 설명이 없이도 확인할 수 있으며, 심각성을 스스로 파악하여 빨리 치료를 받아야 하는지 등을 판단할 수 있는 방법이 필요하다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 환자의 구강 영상 데이터를 기반으로 딥러닝 모델을 통해 환자의 구강 건강 상태 정보를 생성하여 제공하는 것을 그 목적으로 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명에 따른 장치에 의해 수행되는, 구강 건강 분석 서비스를 제공하는 방법에 있어서, 구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하는 단계, 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하는 단계, 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하는 단계 및 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하는 단계를 포함할 수 있다.
또한, 상기 결과 데이터 생성 단계는, 상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타내고, 상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단할 수 있다.
또한, 상기 결과 데이터를 UI(User Interface)를 통해 표시하는 단계, 상기 UI를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI 상에 대화창을 표시하는 단계, 상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하는 단계 및 상기 생성된 답변을 상기 대화창에 표시하는 단계를 더 포함하고, 상기 UI는, 상기 환자에 대한 개인정보가 표시되는 제1 영역, 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터가 표시되는 제2 영역 및 상기 결과 데이터가 표시되는 제3 영역을 포함할 수 있다.
또한, 상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단하는 단계 및 상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터를 표시하는 단계를 더 포함할 수 있다.
또한, 상기 기 설정된 방식은, 기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함할 수 있다.
또한, 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 UI는, 상기 구강 건강 상태 정보를 표시하는 제4 영역을 더 포함할 수 있다.
또한, 상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청하는 단계 및 상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역 상에 표시하는 단계를 더 포함하고, 상기 피드백 정보는, 상기 구강 건강 상태 정보에 대한 신뢰도, 추가 소견 중 적어도 하나를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치에 있어서, 통신부 및 상기 구강 건강 분석 서비스에 대한 UI(User Interface)를 제공하는 프로세서를 포함하고, 상기 프로세서는, 구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하고, 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하고, 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하고, 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 환자의 구강 영상 데이터를 기반으로 딥러닝 모델을 통해 환자의 구강 건강 상태 정보를 생성하여 제공함으로써 환자들이 의사의 설명 없이도 본인의 구강 건강 상태를 객관적으로 확인할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 구강 건강 분석 서비스를 제공하기 위한 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 구강 영상 데이터에 대한 결과 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 UI를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 UI 상에 대화창이 표시되는 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 의사용 단말에 구강 건강 상태 정보가 표시된 예시도이다.
도 7은 본 발명에 따른 환자용 단말에 구강 건강 상태 정보가 표시된 예시도이다.
도 8은 본 발명에 따른 구강 건강 분석 서비스를 제공하는 과정을 나타낸 흐름도이다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 구강 영상 데이터에 대한 결과 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 UI를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 UI 상에 대화창이 표시되는 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 의사용 단말에 구강 건강 상태 정보가 표시된 예시도이다.
도 7은 본 발명에 따른 환자용 단말에 구강 건강 상태 정보가 표시된 예시도이다.
도 8은 본 발명에 따른 구강 건강 분석 서비스를 제공하는 과정을 나타낸 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명에 따른 구강 건강 분석 서비스를 제공하기 위한 시스템(1)을 나타낸 도면이다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치(10)를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 구강 영상 데이터에 대한 결과 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 UI(400)를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 UI(400) 상에 대화창이 표시되는 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 의사용 단말(30)에 구강 건강 상태 정보가 표시된 예시도이다.
도 7은 본 발명에 따른 환자용 단말(30)에 구강 건강 상태 정보가 표시된 예시도이다.
이하, 도 1 내지 도 7을 참조하여, 본 발명에 따른 구강 건강 분석 서비스를 제공하기 위한 시스템(1)에 대해서 설명하도록 한다.
시스템(1)은 구강 건강 분석 서비스를 제공하는 장치(10), 구강 촬영장치(20), 의사용 단말(30), 환자용 단말(40) 및 통신망(50)을 포함할 수 있다. 여기서, 시스템(1)은 도 1에 도시된 구성요소보다 더 적은 구성요소나 더 많은 구성요소를 포함할 수 있다.
먼저, 장치(10)는 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 복수의 딥러닝 모델을 통해 각각 구강 질환 데이터를 생성하고, 해부학 위치를 판단하며, 치아 위치를 인식함으로 상기 환자의 구강에 대한 결과 데이터를 생성할 수 있다.
또한, 장치(10)는 상기 결과 데이터를 UI(User Interface, 400)를 통해 표시하고, 상기 UI(400)를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI(400) 상에 대화창을 표시할 수 있다.
이때, 장치(10)는 상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하여 상기 대화창에 표시하고, 상기 결과 데이터와 상기 답변을 기반으로 구강 건강 상태 정보를 생성할 수 있다.
따라서, 장치(10)는 환자의 구강 영상 데이터를 기반으로 딥러닝 모델을 통해 환자의 구강 건강 상태 정보를 생성하여 제공함으로써 환자들이 의사의 설명 없이도 본인의 구강 건강 상태를 객관적으로 확인할 수 있는 효과를 제공할 수 있다.
여기서, 장치(10)는 컴퓨터, 서버, 이동 단말기, 스마트폰 등등의 적어도 하나를 포함하는 형태일 수 있다.
여기서, 장치(10)는 컴퓨터의 형태가 될 수 있다. 보다 상세하게는, 상기 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD 장치가 컴퓨터가 될 수 있다.
또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다. 또는, 컴퓨터는 클라이언트 장치일 수 있다.
다음으로, 구강 촬영장치(20)는 환자의 구강을 촬영하여 상기 환자의 구강 영상 데이터를 생성하는 장치로, 일 예로, CBCT 장치(21) 또는 파노라마 촬영 장치(22)를 포함할 수 있다.
여기서, CBCT 장치(21)는, 콘 빔 입체 방사선 촬영(Cone beam volumetric radiography)을 수행하는 장치일 수 있다. 여기서, 상기 콤 빔 입체 방사선 촬영은, 다른 투영 각도에서 일련의 2차원 방사선 이미지를 촬상하는 것이며, 촬상 후 2차원 방사선 이미지를 처리하여 3차원 입체상을 재구성하는 것일 수 있다.
또한, 파노라마 촬영 장치(22)는, 방사선을 이용한 촬영 장치로 환자가 가만히 서 있는 상태에서 상기 환자의 턱과 머리를 정확한 위치에 고정시킨 후 상기 환자의 구강을 촬영하는 장치일 수 있다.
그 다음으로, 의사용 단말(30)과 환자용 단말(40)은 디스플레이 수단, 입력 수단, 통신기능 등이 포함되는 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드 등과 같은 디지털 기기 중 하나일 수도 있다.
여기서, 의사용 단말(30)과 환자용 단말(40)은 인터넷을 통해 웹 사이트에 접속하거나, 애플리케이션을 다운받아 상기 웹 사이트 또는 상기 애플리케이션을 통해 상기 구강 건강 분석 서비스에 대한 UI(400)를 제공받을 수 있다.
의사용 단말(30)은 치과 의사가 사용하는 단말로, 상기 UI(400)를 통해 환자의 결과 데이터에 대한 질문을 입력하여 이에 대한 답변을 제공받아 표시하는 단말일 수 있다.
환자용 단말(40)은 환자가 사용하는 단말 또는 치과에서 진료받을 때 환자가 구강 건강 상태 정보를 볼 수 있도록 일측에 설치되는 단말일 수 있다. 따라서, 환자들은 상기 환자용 단말(40)을 통해 본인의 구강 건강 상태 정보를 바로 확인할 수 있다.
또한, 통신망(50)은 장치(10), 구강 촬영장치(20), 의사용 단말(30) 및 환자용 단말(40) 간의 다양한 정보를 송수신할 수 있다.
여기서, 통신망(50)은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.
또한, 통신망(50)은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
이하, 도 2 내지 도 7을 참조하여 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치(10)에 대해 구체적으로 설명하도록 한다.
도 2를 보면, 장치(10)는 통신부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. 여기서, 장치(10)는 도 2에 도시된 구성요소보다 더 적은 구성요소나 더 많은 구성요소를 포함할 수 있다.
통신부(110)는 장치(10)와 구강 촬영장치(20) 사이, 장치(10)와 의사용 단말(30) 사이, 장치(10)와 환자용 단말(40) 사이 또는 장치(10)와 통신망(50) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
또한, 통신부(110)는 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
메모리(120)는 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(120)는 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 장치(10) 상에 설치되어, 프로세서(130)에 의하여 상기 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
이러한, 메모리(120)는 구강 질환에 대한 질환 사전 데이터베이스(122)를 포함할 수 있다. 여기서, 질환 사전 데이터베이스(122)는 복수의 구강 질환에 대한 상세한 설명과 치료 방법 등이 포함할 수 있다.
프로세서(130)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(130)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 2와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(130)는 상기 응용 프로그램의 구동을 위하여, 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.
도 3을 보면, 프로세서(130)는 구강 촬영장치(20)로부터 수신한 환자의 구강 영상 데이터에 대해 데이터 전처리 과정을 수행한 후, 질환 검출 모델을 기반으로 구강 질환 데이터를 생성하고, 위치 검출 모델을 기반으로 해부학 위치를 판단하고, 치아 분할 모델을 기반으로 치아 위치를 인식할 수 있다.
그리고, 프로세서(130)는 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다.
구체적으로, 프로세서(130)는 통신부(110)를 통해 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성할 수 있다.
여기서, 구강 질환 데이터는, 구강 질환의 종류, 상기 구강 질환의 위치와 존재 확률 중 적어도 하나의 정보를 포함할 수 있다. 여기서, 구강 질환의 종류는 구강 질환의 대분류에 해당하는 종류일 수 있다. 일 예로, 구강 질환의 종류는, 종양, 충치, 잇몸질환 등을 포함할 수 있다.
여기서, 질환 검출 모델은, 딥러닝 모델로, 복수의 기존 환자 별 구강 영상 데이터, 상기 복수의 기존 환자 별 구강 영상 데이터에 대한 구강 질환 레이블 데이터에 기초한 학습데이터 세트를 구축되고, 상기 구축된 학습데이터 세트를 기반으로 기계학습될 수 있다.
또한, 질환 검출 모델은, 치아 건강지수 산출 신경망(알고리즘), 잇몸 건강지수 산출 신경망(알고리즘), 턱관절 건강지수 산출 신경망(알고리즘), 골다공증 건강지수 산출 신경망(알고리즘) 중 적어도 하나를 포함하여 구성될 수 있다.
여기서, 프로세서(130)는 상기 구강 질환 데이터 생성시, 상기 질환 검출 모델에 포함되는 치아 건강지수 산출 신경망(알고리즘), 잇몸 건강지수 산출 신경망(알고리즘), 턱관절 건강지수 산출 신경망(알고리즘), 골다공증 건강지수 산출 신경망(알고리즘) 중 적어도 두개 이상의 신경망(알고리즘)을 함께 사용하여 각각의 신경망(알고리즘)을 통해 구강 질환을 인식할 수 있다.
그리고, 프로세서(130)는 상기 기 설정된 개수 이상의 신경망(알고리즘)에서 특정 위치에 기 설정된 확률 이상으로 특정 질환이 있는 것으로 판단되는 경우, 상기 구강 질환 데이터를 생성할 수 있다.
여기서, 치아 건강지수 산출 신경망(알고리즘)은 상단 좌측 건강도, 상단 중단 건강도, 상단 우측 건강도, 하단 좌측 건강도, 하단 중단 건강도 및 하단 우측 건강도 중 적어도 하나를 파악해서 각각의 합의 평균을 구하여 치아 건강지수를 산출할 수 있다.
이러한, 치아 건강지수 산출 신경망(알고리즘)은 Inception V3 CNN 신경망으로 구성될 수 있으며, 총 11개의 레이어로 구성된 CNN 인공지능 신경망으로 구성될 수 있고, Transfer Learning을 통해 기존의 이미지 학습 데이터를 활용한 결과물을 사용하여 구성될 수 있다.
또한, 잇몸 건강지수 산출 알고리즘은 상단 좌측 건강도, 상단 우측 건강도, 하단 좌측 건강도, 하단 우측 건강도를 파악해서 각각의 합의 평균을 구하여 잇몸 건강지수를 산출할 수 있다.
이러한, 잇몸 건강지수 산출 신경망(알고리즘)은 Inception V3 CNN 신경망으로 구성될 수 있으며, 총 11개의 레이어로 구성된 CNN 인공지능 신경망으로 구성될 수 있고, Transfer Learning을 통해 기존의 이미지 학습 데이터를 활용한 결과물을 사용하여 구성될 수 있다.
또한, 턱관절 건강지수 산출 신경망(알고리즘)은 Condyle(관절돌기) 부위의 2개 영역을 분리하여 찾아내는 Inception V3 기반의 Faster RCNN 알고리즘과, 분리되어 찾아낸 영역을 기반으로 Classification을 수행하는 분류 알고리즘으로 구성될 수 있다.
이러한, 턱관절 건강지수 산출 신경망(알고리즘)은 관절 질환 유무를 분류하여 표시할 수 있다.
또한, 골다공증 건강지수 산출 신경망(알고리즘)은 턱관절 부위의 2개 영역을 분리하여 찾아내는 Inception V3 기반의 Faster RCNN 알고리즘과 분리되어 찾아낸 영역을 기반으로 분류(Classification)을 수행하는 분류 알고리즘으로 구성될 수 있다.
이러한, 골다공증 건강지수 산출 신경망(알고리즘)은 골다공증 유무를 분류하여 표시할 수 있다.
추가로, 질환 검출 모델은, 턱관절 기타 특이소견 알고리즘을 추가로 더 포함하여 구성될 수 있다. 여기서, 턱관절 기타 특이소견 알고리즘은 45개 질환에 대해 Object Detection 기법을 통해 질환 영역을 찾아내는 알고리즘으로, Faster RCNN으로 구성될 수 있다.
프로세서(130)는 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단할 수 있다.
여기서, 위치 검출 모델은, 딥러닝 모델로, 복수의 기존 환자 별 구강 영상 데이터, 상기 복수의 기존 환자 별 구강 영상 데이터에 대한 해부학 위치 레이블 데이터에 기초한 학습데이터 세트가 구축되고, 상기 구축된 학습데이터 세트를 기반으로 기계학습될 수 있다.
프로세서(130)는 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식할 수 있다.
여기서, 치아 분할 모델은, 딥러닝 모델로, 복수의 기존 환자 별 구강 영상 데이터, 상기 복수의 기존 환자 별 구강 영상 데이터에 대한 치아 위치 별 레이블 데이터에 기초한 학습데이터 세트가 구축되고, 상기 구축된 학습데이터 세트를 기반으로 기계학습될 수 있다.
프로세서(130)는 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다.
여기서, 결과 데이터는, 질환의 분류, 질환명, 위치, 추가검사 및 권장처방(Recommendation) 중 적어도 하나의 정보를 포함할 수 있다.
보다 상세하게는, 프로세서(130)는 상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타낼 수 있다.
여기서, 해부학 위치는, 상기 환자의 구강에 대해 치아부분, 턱관절 상부 또는 하부 부분을 구분한 정보일 수 있다.
일 예로, 프로세서(130)는 상기 구강 질환 데이터를 기반으로 구강의 질환이 종양이고, 턱부분에 80% 확률로 존재하는 경우, 상기 해부학 위치를 기반으로 상기 종양의 해부학 위치에 따라 상기 종양에 대한 상세 구강 질환명을 결정할 수 있다.
또한, 프로세서(130)는 상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단할 수 있다.
여기서, 기 설정된 구강 질환은 충치(치아 우식증)일 수 있고, 상기 프로세서(130)는 상기 기 설정된 구강 질환이 충치인 경우, 충치가 어떤 치아 어느 위치에 있는지를 판단할 수 있다.
프로세서(130)는 상기 결과 데이터를 UI(400)를 통해 표시할 수 있다.
여기서, 프로세서(130)는 구강 건강 분석 서비스를 제공하기 위한 웹 사이트 또는 애플리케이션을 통해 상기 UI(400)를 제공할 수 있다.
구체적으로, 의사용 단말(30) 또는 환자용 단말(40)은 인터넷에 접속하여 상기 장치(10)에서 제공하는 웹 사이트를 통해 상기 UI(400)를 제공받거나, 상기 장치(10)에서 제공하는 애플리케이션을 다운받아 상기 애플리케이션을 통해 상기 UI(400)를 제공받을 수 있다.
여기서, 상기 애플리케이션은, 상기 외부 서버(미도시) 예컨대, 다운로드 서버로부터 다운받아 설치될 수 있다.
도 4를 보면, UI(400)는, 상기 환자에 대한 개인정보가 표시되는 제1 영역(410), 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터(421)가 표시되는 제2 영역(420) 및 상기 결과 데이터가 표시되는 제3 영역(430)을 포함할 수 있다.
구체적으로, 제1 영역(410)은, 상기 환자에 대한 개인정보 보호 처리가된 이름, 상기 환자의 식별번호, 성별, 나이 중 적어도 하나의 정보를 포함하는 개인정보가 표시될 수 있다.
제2 영역(420)은, 상기 구강 영상 데이터가 표시되되, 상기 구강 영상 데이터 상에 구강 질환을 나타내는 인디케이터(421)가 표시될 수 있다. 여기서, 인디케이터(421)는 상기 구강 질환 별로 각각 표시될 수 있다.
이에 따라, 프로세서(130)는 상기 UI(400)를 통해 상기 인디케이터(421)가 입력되는 경우, 상기 UI(400) 상에 대화창(440)을 표시할 수 있다. 추가로, 프로세서(130)는 상기 인디케이터(421)에 해당하는 질환에 대한 기 저장된 질환 사전 데이터베이스(122)를 기반으로 상기 질환에 대한 상세 정보를 검색하여 상기 대화창(440)에 표시할 수 있다.
제3 영역(430)은, 질환의 분류, 질환명, 위치, 추가검사, 권장처방(Recommendation)
추가로, UI(400)는 복수의 환자의 결과 데이터를 검색하기 위한 검색란(411) 및 상기 검색란(411)에 입력되는 정보에 따른 복수의 환자에 대한 식별정보가 표시되는 검색 결과창(412)을 더 포함할 수 있다.
여기서, 복수의 환자에 대한 식별정보는, 환자 별 개인정보 보호 처리가된 이름, 환자 별 식별번호, 환자 별 결과 데이터 생성일 중 적어도 하나의 정보를 포함할 수 있다.
도 5를 보면, 프로세서(130)는 상기 UI(400)를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI(400) 상에 대화창(440)을 표시할 수 있다.
여기서, 프로세서(130)는 상기 UI(400)를 통해 상기 구강 영상 데이터에 상기 적어도 하나의 구강 질환을 나타내는 인디케이터(421)가 입력되는 경우, 상기 UI(400) 상에 상기 대화창(440)을 표시할 수 있다.
또는, 프로세서(130)는 상기 UI(400)의 상기 제3 영역(430) 상에 표시되는 챗 아이템(431)이 입력되는 경우, 상기 UI(400) 상에 상기 대화창(440)을 표시할 수 있다.
프로세서(130)는 상기 대화창(440)에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하고, 상기 생성된 답변을 상기 대화창(440)에 표시할 수 있다.
이때, 프로세서(130)는 상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역(420) 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단할 수 있다.
그리고, 프로세서(상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터를 표시할 수 있다.
또는, 프로세서(130)는 상기 UI(400)를 통해 상기 구강 영상 데이터 상에 상기 인디케이터를 입력받고, 동시에 상기 대화창에 상기 질문을 입력받아 표시할 수 있다.
여기서, 기 설정된 방식은, 기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함할 수 있다. 여기서, 그룹은 질환에 대한 전문성을 기반으로 질환 별로 형성될 수 있다.
구체적으로, 프로세서(130)는 상기 제1 방식에 따라 상기 질문에 대한 키워드를 추출하고, 상기 기 저장된 질환 사전 데이터베이스에서 상기 추출한 키워드를 검색하여 상기 키워드에 대한 답변을 생성할 수 있다.
또는, 프로세서(130)는 상기 제2방식에 따라 상기 질문에 대한 키워드를 추출하고, 상기 키워드에 매칭되는 적어도 하나의 전문가를 포함한 특정 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받을 수 있다.
프로세서(130)는 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 환자정보, 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성할 수 있다.
여기서, 환자정보는, 환자에 대한 이름, 성별, 나이, 병원, 담당의, 판독영상 종류, 촬영일 중 적어도 하나의 정보를 포함할 수 있다.
또한, 치아 건강지수와 잇몸 건강지수는 육각형 그래프 형태로 표시될 수 있고, 골다공증 예측도와 턱관절 건강도는 막대 그래프 형태로 표시될 수 있다.
여기서, 도 6 내지 도 7을 보면, 프로세서(130)는 상기 구강 건강 상태 정보를 상기 UI(400)의 제4 영역(450)에 표시할 수 있다.
구체적으로, 프로세서(130)는 의사용 단말(30)을 통해 상기 UI(400) 상의 제4 영역(450)에 상기 구강 건강 상태 정보를 표시하거나, 환자용 단말(40)을 통해 상기 UI(400) 상의 제4 영역(450)에 상기 구강 건강 상태 정보를 표시할 수 있다.
여기서, 도 7을 보면, 상기 환자용 단말(40)은 상기 구강 건강 분석 서비스를 제공하는 웹 사이트 또는 애플리케이션이 표시되고, 상기 웹 사이트 또는 상기 애플리케이션을 통해 제공되는 상기 UI(400) 상의 제4 영역(450)에 상기 구강 건강 상태 정보가 표시될 수 있다.
여기서, 제4 영역(450)은 제1 화면(701), 제2 화면(702) 및 제3 화면(703)으로 구분될 수 있으며, 상기 구강 건상 상태 정보가 각 화면에 분할되어 표시될 수 있다.
또한, 프로세서(130)는 상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청할 수 있다.
그리고, 프로세서(130)는 상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역(450) 상에 표시할 수 있다.
여기서, 피드백 정보는, 상기 구강 건강 상태 정보에 대한 신뢰도, 추가 소견 중 적어도 하나를 포함하며, 상기 구강 건강 상태 정보화 함께 상기 제4 영역(450) 상에 표시될 수 있다.
도 8은 본 발명에 따른 구강 건강 분석 서비스를 제공하는 과정을 나타낸 흐름도이다. 이하, 프로세서(130)의 동작은 장치(10)에서 수행 가능할 수 있다.
프로세서(130)는 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 구강 질환 데이터를 생성할 수 있다(S801).
프로세서(130)는 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성할 수 있다.
프로세서(130)는 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단할 수 있다(S802).
프로세서(130)는 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식할 수 있다(S803).
프로세서(130)는 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다(S804).
구체적으로, 프로세서(130)는 상기 결과 데이터를 생성할 때, 상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타낼 수 있다.
또한, 프로세서(130)는 상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단할 수 있다.
프로세서(130)는 상기 결과 데이터를 UI(400)를 통해 표시할 수 있다(S805).
여기서, 상기 UI(400)는, 상기 환자에 대한 개인정보가 표시되는 제1 영역(410), 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터(421)가 표시되는 제2 영역(420) 및 상기 결과 데이터가 표시되는 제3 영역(430)을 포함할 수 있다.
프로세서(130)는 상기 UI(400)를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI(400) 상에 대화창을 표시할 수 있다(S806).
프로세서(130)는 상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성할 수 있다(S807).
프로세서(130)는 상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역(420) 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단하고, 상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터(421)를 표시할 수 있다.
여기서, 기 설정된 방식은, 기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함할 수 있다.
프로세서(130)는 상기 생성된 답변을 상기 대화창에 표시할 수 있다(S808).
프로세서(130)는 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 구강 건강 상태 정보를 생성할 수 있다(S809).
보다 상세하게는, 프로세서(130)는 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성할 수 있다.
여기서, 프로세서(130)는 상기 구강 건강 상태 정보를 상기 UI(400) 상의 제4 영역에 표시할 수 있다.
프로세서(130)는 상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청할 수 있다.
프로세서(130)는 상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역(450) 상에 표시할 수 있다.
도 8은 단계 S801 내지 단계 S809를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 8에 기재된 순서를 변경하여 실행하거나 단계 S801 내지 단계 S809 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 8은 시계열적인 순서로 한정되는 것은 아니다.
이상에서 전술한 본 발명에 따른 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 장치(10)일 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다.
또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다.
또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 장치
110: 통신부
120: 메모리
130: 프로세서
20: 구강 촬영장치
30: 의사용 단말
40: 환자용 단말
50: 통신망
110: 통신부
120: 메모리
130: 프로세서
20: 구강 촬영장치
30: 의사용 단말
40: 환자용 단말
50: 통신망
Claims (10)
- 장치에 의해 수행되는, 구강 건강 분석 서비스를 제공하는 방법에 있어서,
구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하는 단계;
위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하는 단계;
치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하는 단계; 및
상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하는 단계; 를 포함하고,
상기 결과 데이터를 UI(User Interface)를 통해 표시하는 단계;
상기 UI를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI 상에 대화창을 표시하는 단계;
상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하는 단계; 및
상기 생성된 답변을 상기 대화창에 표시하는 단계; 를 포함하며,
상기 결과 데이터 생성 단계는,
상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타내고,
상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단하며,
상기 UI는,
상기 환자에 대한 개인정보가 표시되는 제1 영역, 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터가 표시되는 제2 영역 및 상기 결과 데이터가 표시되는 제3 영역을 포함하고,
상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단하는 단계; 및
상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터를 표시하는 단계; 를 포함하는 것을 특징으로 하는, 방법. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 기 설정된 방식은,
기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함하고,
상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성하는 단계;를 더 포함하며,
상기 UI는,
상기 구강 건강 상태 정보를 표시하는 제4 영역을 더 포함하는, 방법. - 삭제
- 삭제
- 제5항에 있어서,
상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청하는 단계; 및
상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역 상에 표시하는 단계;를 더 포함하고,
상기 피드백 정보는, 상기 구강 건강 상태 정보에 대한 신뢰도, 추가 소견 중 적어도 하나를 포함하는, 방법. - 구강 건강 분석 서비스를 제공하는 장치에 있어서,
통신부; 및
상기 구강 건강 분석 서비스에 대한 UI(User Interface)를 제공하는 프로세서; 를 포함하고,
상기 프로세서는,
구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하고,
위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하고,
치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하고,
상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하며,
상기 결과 데이터를 UI(User Interface)를 통해 표시하고,
상기 UI를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI 상에 대화창을 표시하며,
상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하고,
상기 생성된 답변을 상기 대화창에 표시하며,
상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타내고,
상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단하며,
상기 UI는,
상기 환자에 대한 개인정보가 표시되는 제1 영역, 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터가 표시되는 제2 영역 및 상기 결과 데이터가 표시되는 제3 영역을 포함하고,
상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단하며,
상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터를 표시하는 것을 특징으로 하는, 장치. - 하드웨어인 장치와 결합되어, 제1항 또는 제5항 또는 제8항의 구강 건강 분석 서비스를 제공하는 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210131506A KR102496567B1 (ko) | 2021-10-05 | 2021-10-05 | 구강 건강 분석 서비스를 제공하는 장치 및 방법 |
| PCT/KR2022/014035 WO2023058942A1 (ko) | 2021-10-05 | 2022-09-20 | 구강 건강 분석 서비스를 제공하는 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210131506A KR102496567B1 (ko) | 2021-10-05 | 2021-10-05 | 구강 건강 분석 서비스를 제공하는 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102496567B1 true KR102496567B1 (ko) | 2023-02-06 |
Family
ID=85224186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210131506A KR102496567B1 (ko) | 2021-10-05 | 2021-10-05 | 구강 건강 분석 서비스를 제공하는 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102496567B1 (ko) |
| WO (1) | WO2023058942A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117747102B (zh) * | 2023-12-20 | 2024-07-16 | 广州莲之花口腔医疗门诊部有限公司 | 口腔健康检查和护理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180045551A (ko) * | 2016-10-26 | 2018-05-04 | 고려대학교 산학협력단 | 구강 병변의 진단 시스템 및 방법 |
| KR20200088977A (ko) * | 2019-01-16 | 2020-07-24 | 오스템임플란트 주식회사 | 치아 병변 진단 방법 및 그 장치 |
| KR102234025B1 (ko) * | 2020-07-10 | 2021-03-31 | 진수진 | 전세계 통합 헬스케어 서비스 제공 시스템 |
| KR20210044096A (ko) | 2019-10-14 | 2021-04-22 | 주식회사 큐티티 | 치아우식 탐지를 이용한 구강건강 예측장치 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102294618B1 (ko) * | 2018-12-06 | 2021-08-30 | 오스템임플란트 주식회사 | 전자 차트 관리 장치, 전자 차트 관리 방법 및 기록 매체 |
| KR102200060B1 (ko) * | 2019-02-20 | 2021-01-08 | 오스템임플란트 주식회사 | 치아의 정밀 진단 모듈로의 간편한 이동 방법 및 그 장치 |
-
2021
- 2021-10-05 KR KR1020210131506A patent/KR102496567B1/ko active IP Right Grant
-
2022
- 2022-09-20 WO PCT/KR2022/014035 patent/WO2023058942A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180045551A (ko) * | 2016-10-26 | 2018-05-04 | 고려대학교 산학협력단 | 구강 병변의 진단 시스템 및 방법 |
| KR20200088977A (ko) * | 2019-01-16 | 2020-07-24 | 오스템임플란트 주식회사 | 치아 병변 진단 방법 및 그 장치 |
| KR20210044096A (ko) | 2019-10-14 | 2021-04-22 | 주식회사 큐티티 | 치아우식 탐지를 이용한 구강건강 예측장치 및 방법 |
| KR102234025B1 (ko) * | 2020-07-10 | 2021-03-31 | 진수진 | 전세계 통합 헬스케어 서비스 제공 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023058942A1 (ko) | 2023-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11961620B2 (en) | Method and apparatus for determining health status | |
| Rossi et al. | Cost-effectiveness of artificial intelligence as a decision-support system applied to the detection and grading of melanoma, dental caries, and diabetic retinopathy | |
| US10198816B2 (en) | Medical evaluation machine learning workflows and processes | |
| US11275757B2 (en) | Systems and methods for capturing data, creating billable information and outputting billable information | |
| US11923051B2 (en) | System and method for creating digital therapeutics directed to patient care specific to a disease | |
| US10937160B1 (en) | Dental images processed with artificial intelligence | |
| CN109616197A (zh) | 牙齿数据处理方法、装置、电子设备及计算机可读介质 | |
| US10867703B2 (en) | System and method for predicting health condition of a patient | |
| KR102311398B1 (ko) | 모바일기반 자가 구강검진장치 | |
| US11361435B2 (en) | Processing fundus images using machine learning models to generate blood-related predictions | |
| Liu et al. | Automated radiographic evaluation of adenoid hypertrophy based on VGG-Lite | |
| CN111091906A (zh) | 一种基于真实世界数据的辅助医疗诊断方法及系统 | |
| US20230051436A1 (en) | Systems and methods for evaluating health outcomes | |
| Ragodos et al. | Dental anomaly detection using intraoral photos via deep learning | |
| US20200312456A1 (en) | Machine-learning based medical analysis system and method therefor | |
| KR102496567B1 (ko) | 구강 건강 분석 서비스를 제공하는 장치 및 방법 | |
| Hovorushchenko et al. | Selection of the artificial intelligence component for consultative and diagnostic information technology for glaucoma diagnosis | |
| KR20230030992A (ko) | 의료상담 콘텐츠에 기초한 의료상담자 추천 방법 및 시스템 | |
| Boissin et al. | Development and evaluation of deep learning algorithms for assessment of acute burns and the need for surgery | |
| US20230144621A1 (en) | Capturing diagnosable video content using a client device | |
| CN115100723A (zh) | 面色分类方法、装置、计算机可读程序介质及电子设备 | |
| Nasimuzzaman et al. | Analyzing The Security of e-Health Data Based on a Hybrid Federated Learning Model | |
| US20240331342A1 (en) | System and method for determining an orthodontic occlusion class | |
| Meena et al. | Advanced skin disease detection: Image processing and modified genetic optimization with supervised k-nearest neighbors | |
| Mohammad‐Rahimi et al. | Artificial intelligence in endodontics: Data preparation, clinical applications, ethical considerations, limitations, and future directions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |