KR102496565B1 - Cbct를 포함한 구강 영상의 원격 판독에 기반한 구강 건강 분석 서비스 제공 장치 및 방법 - Google Patents
Cbct를 포함한 구강 영상의 원격 판독에 기반한 구강 건강 분석 서비스 제공 장치 및 방법 Download PDFInfo
- Publication number
- KR102496565B1 KR102496565B1 KR1020220004382A KR20220004382A KR102496565B1 KR 102496565 B1 KR102496565 B1 KR 102496565B1 KR 1020220004382 A KR1020220004382 A KR 1020220004382A KR 20220004382 A KR20220004382 A KR 20220004382A KR 102496565 B1 KR102496565 B1 KR 102496565B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- reading
- oral
- area
- displayed
- Prior art date
Links
- 230000036541 health Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 208000025157 Oral disease Diseases 0.000 claims abstract description 68
- 208000030194 mouth disease Diseases 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000004044 response Effects 0.000 claims abstract description 23
- 210000000214 mouth Anatomy 0.000 claims description 65
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 63
- 201000010099 disease Diseases 0.000 claims description 53
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 25
- 238000002372 labelling Methods 0.000 claims description 4
- 238000000059 patterning Methods 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 26
- 210000001847 jaw Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 208000004434 Calcinosis Diseases 0.000 description 12
- 230000002308 calcification Effects 0.000 description 12
- 210000004086 maxillary sinus Anatomy 0.000 description 12
- 208000024891 symptom Diseases 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 11
- 230000002037 soft tissue calcification Effects 0.000 description 9
- 208000002925 dental caries Diseases 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 208000010392 Bone Fractures Diseases 0.000 description 4
- 230000003862 health status Effects 0.000 description 4
- 210000002741 palatine tonsil Anatomy 0.000 description 4
- 208000008655 root caries Diseases 0.000 description 4
- 230000008719 thickening Effects 0.000 description 4
- 208000001132 Osteoporosis Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000003041 ligament Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 210000003079 salivary gland Anatomy 0.000 description 3
- 208000003941 Impacted Tooth Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 208000004381 Uterine cervical erosion Diseases 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 210000004359 mandibular condyle Anatomy 0.000 description 2
- 230000011164 ossification Effects 0.000 description 2
- 208000008798 osteoma Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000010126 Chondromatosis Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 206010021518 Impaired gastric emptying Diseases 0.000 description 1
- 206010056284 Lymph node calcification Diseases 0.000 description 1
- 208000000035 Osteochondroma Diseases 0.000 description 1
- 208000009019 Pericoronitis Diseases 0.000 description 1
- 206010040742 Sinus congestion Diseases 0.000 description 1
- 208000021386 Sjogren Syndrome Diseases 0.000 description 1
- 208000008312 Tooth Loss Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 208000004128 odontoma Diseases 0.000 description 1
- 208000002865 osteopetrosis Diseases 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 201000001245 periodontitis Diseases 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 210000001913 submandibular gland Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000009536 synovial chondromatosis Diseases 0.000 description 1
- 210000004357 third molar Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000029663 wound healing Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/548—Remote control of the apparatus or devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/56—Details of data transmission or power supply, e.g. use of slip rings
- A61B6/563—Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
구강 건강 분석 서비스를 제공하는 방법 및 장치가 제공된다. 구강 건강 분석 서비스를 제공하는 방법은, 판독 요청에 응답하여 환자의 구강 영상 데이터를 입력으로 미리 설정된 오브젝션 검출 알고리즘을 이용하여 오브젝트 검출 영상 데이터를 생성하는 단계, 판독 장치가 오브젝트 검출 영상 데이터를 기초로 구강 영상 데이터에서 구강 질환을 표시하고 구강 질환에 대한 정보를 레이블링하도록, 오브젝트 검출 영상 데이터 및 구강 영상 데이터를 판독 UI를 통해 판독 장치에 표시하는 단계, 및 판독 장치로부터 수신된 판독 결과 데이터를 UI를 통해 사용자 장치에 표시하는 단계를 포함한다.
Description
본 발명은 이미지를 이용하여 방법 및 장치에 관한 것이다. 보다 상세하게는, 본 발명은 구강 영상 이미지를 원격 판독하여 구강 건강 분석 서비스를 제공하는 방법 및 장치에 관한 것이다.
일반적으로, 구강 건강에 문제가 발생하거나, 주기적으로 구강 건강 검진을 위해 치과에 방문하는 환자들은 자신의 구강 건강 상태에 대해 의사에 설명에만 의존하여 파악해왔다.
구체적으로, 치과에 방문하는 환자들은 치과 영상 파노라마 장비를 통해 구강을 촬영하고, 촬영된 파노라마 영상에 대한 치과 의사의 설명에 따라 본인의 구강 건강 상태를 파악해왔다.
즉, 구강 질환에 대한 전문가가 아닌 대부분의 환자의 경우, 파노라마 영상을 보더라도 본인의 구강 건강 상태를 파악하기 어렵기 때문에 치과 의사의 설명만을 의존하여 본인의 구강 건강 상태를 파악하는 경우가 많다.
이에 따라, 환자들이 본인의 구강 건강 상태에 대한 객관적인 지표를 파악하는 것은 어려운 실정이다.
한편, 코로나 19로 인해, 방역 수칙이 강화되고 있는 상황에서, 환자들이 직접 병원을 내방하는 것이 어려운 실정이다.
따라서, 환자들이 치과 의사의 설명이 없이도 자신의 구강 건강 상태를 확인하거나 병원에 직접 내원하지 않고 자신의 구강 건강 상태를 확인할 수 있으며, 심각성을 스스로 파악하여 빨리 치료를 받아야 하는지 등을 판단할 수 있는 방법이 필요하다.
본 발명이 해결하고자 하는 과제는 환자의 구강 영상 데이터를 이용하여 원격 판독 요청하여 판독 결과 데이터를 제공하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 장치에 의해 수행되는 구강 건강 분석 서비스를 제공하는 방법은, 사용자 장치로부터 수신된 판독 요청에 응답하여, 구강 촬영 장치에 의해 촬영된 환자의 구강 영상 데이터를 입력으로 미리 설정된 오브젝션 검출 알고리즘을 이용하여, 구강 영상 데이터에서 구강에 관한 정보가 검출된 오브젝트 검출 영상 데이터를 생성하는 단계, 판독 장치가 오브젝트 검출 영상 데이터를 기초로 구강 영상 데이터에서 구강 질환을 표시하고 구강 질환에 대한 정보를 레이블링(labeling)하도록, 오브젝트 검출 영상 데이터 및 구강 영상 데이터를 판독 UI(User Interface)를 통해 판독 장치에 표시하는 단계, 및 판독 장치로부터 수신된 판독 결과 데이터를 UI를 통해 사용자 장치에 표시하는 단계를 포함한다.
본 발명의 다른 면에 따른 구강 건강 분석 서비스를 제공하는 장치는, 사용자 장치, 구강 촬영 장치, 및 판독 장치와 통신을 수행하는 통신부, 및 구강 건강 분석 서비스에 대한 적어도 하나의 UI(User Interface)를 제공하는 프로세서를 포함하고, 프로세서는, 사용자 장치로부터 수신된 판독 요청에 응답하여, 구강 촬영 장치에 의해 촬영된 환자의 구강 영상 데이터를 입력으로 미리 설정된 오브젝션 검출 알고리즘을 이용하여, 구강 영상 데이터에서 구강에 관한 정보가 검출된 오브젝트 검출 영상 데이터를 생성하고, 판독 장치가 오브젝트 검출 영상 데이터를 기초로 구강 영상 데이터에서 구강 질환을 표시하고 구강 질환에 대한 정보를 레이블링(labeling)하도록, 오브젝트 검출 영상 데이터 및 구강 영상 데이터를 판독 UI를 통해 판독 장치에 표시하고, 판독 장치로부터 수신된 판독 결과 데이터를 UI를 통해 사용자 장치에 표시하는 것을 특징으로 한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 바에 의하면, 환자의 구강 영상 데이터를 이용하여 원격 판독 요청하여 판독 결과 데이터를 제공함으로써, 환자들이 의사의 설명 없이 또는 병원애 내원하지 않고도 본인의 구강 건강 상태를 객관적이고 정확하게 확인하게 하는 효과, 환자의 구강 건강 상태를 예방하는 효과, 및 사용자에게 편의성을 제공하는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 구강 건강 분석 서비스를 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 제1 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 따른 오토 파노라마 영상 데이터를 생성하는 실시예를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 제2 장치를 설명하기 위한 도면이다.
도 5 내지 도 7은 본 발명에 따른 판독 UI의 일 실시예를 설명하기 위한 도면들이다.
도 8은 본 발명에 따른 판독 UI의 다른 실시예를 설명하기 위한 도면이다.
도 9 내지 도 14는 본 발명에 따른 UI의 실시예들을 설명하기 위한 도면들이다.
도 15는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 제1 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 따른 오토 파노라마 영상 데이터를 생성하는 실시예를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 제2 장치를 설명하기 위한 도면이다.
도 5 내지 도 7은 본 발명에 따른 판독 UI의 일 실시예를 설명하기 위한 도면들이다.
도 8은 본 발명에 따른 판독 UI의 다른 실시예를 설명하기 위한 도면이다.
도 9 내지 도 14는 본 발명에 따른 UI의 실시예들을 설명하기 위한 도면들이다.
도 15는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명에 따른 구강 건강 분석 서비스를 제공하는 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 구강 건강 분석 서비스를 제공하는 시스템은 제1 장치(10), 구강 촬영 장치(20), 의사용 단말(30), 환자용 단말(40), 통신망(50), 및 제2 장치(60)를 포함할 수 있다. 여기서, 시스템은 도 1에 도시된 구성요소보다 더 적은 구성요소나 더 많은 구성요소를 포함할 수 있다.
제1 장치(10)는 구강 건강 분석 서비스를 제공하는 장치일 수 있다.
제1 장치(10)는, 의사용 단말(30) 또는 환자용 단말(40)로부터 수신된 판독 요청에 응답하여, 구강 촬영 장치(20)에 의해 촬영된 구강 영상 데이터를 제2 장치(20)에 제공하고, 제2 장치(20)로부터 판독 결과 데이터를 수신하여 판독 결과 데이터를 의사용 단말(30) 또는 환자용 단말(40)에 제공할 수 있다.
제1 장치(10)는 판독 요청에 응답하여 구강 영상 데이터를 처리하고, 처리된 구강 영상 데이터를 제2 장치(20)에 전송하고, 판독 UI를 통해 처리된 구강 영상 데이터를 표시하며, 판독 UI를 통해 구강 영상 데이터에서 검출된 구강 질환에 대한 이미지 등이 포함된 판독 결과 데이터를 수신하고, 판독 결과 데이터를 UI를 통해 의사용 단말(30) 또는 환자용 단말(40)에 표시할 수 있다.
제1 장치(10)는 컴퓨터, 서버, 이동 단말기, 스마트폰 등등의 적어도 하나를 포함하는 형태일 수 있다. 예를 들면, 제1 장치(10)는 컴퓨터의 형태가 될 수 있다. 보다 상세하게는, 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD 장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다. 또는, 컴퓨터는 클라이언트 장치일 수 있다.
구강 촬영 장치(20)는 환자의 구강을 촬영하여 환자의 구강 영상 데이터를 생성하는 장치일 수 있다. 일 예로, 구강 촬영 장치(20)는 CBCT 장치(21) 또는 파노라마 촬영 장치(22)를 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
CBCT 장치(21)는 콘빔 입체 방사선 촬영(Cone beam volumetric radiography)을 수행하는 장치일 수 있다. 여기서, 콤 빔 입체 방사선 촬영은, 다른 투영 각도에서 일련의 2차원 방사선 이미지를 촬상하는 것이며, 촬상 후 2차원 방사선 이미지를 처리하여 3차원 입체상을 재구성하는 것일 수 있다. CBCT 장치(21)는 콘빔 입체 방사선 촬영 결과로 콘빔 컴퓨터 단층촬영(Cone-Beam Computed Comography, 이하 CBCT) 영상 데이터를 생성할 수 있다. CBCT 장치(21)는 CBCT 영상 데이터를 제1 장치(10) 및/또는 제2 장치(20)에 전송할 수 있다.
파노라마 촬영 장치(22)는, 방사선을 이용한 촬영 장치로 환자가 가만히 서 있는 상태에서 환자의 턱과 머리를 정확한 위치에 고정시킨 후 환자의 구강을 촬영하는 장치일 수 있다. 파노라마 촬영 장치(22)는 촬영 결과로 파노라마 영상 데이터를 생성할 수 있다. 파노라마 촬영 장치(22)는 파노라마 영상 데이터를 제1 장치(10) 및/또는 제2 장치(20)에 전송할 수 있다.
의사용 단말(30)과 환자용 단말(40)은 디스플레이 수단, 입력 수단, 통신기능 등이 포함되는 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드 등과 같은 디지털 기기 중 하나일 수도 있다. 여기서, 의사용 단말(30)과 환자용 단말(40)은 인터넷을 통해 웹 사이트에 접속하거나, 애플리케이션을 다운받아 웹 사이트 또는 애플리케이션을 통해 구강 건강 분석 서비스에 대한 판독 UI와 UI를 제공받을 수 있다. 본 명세서에서 의사용 단말(30)과 환자용 단말(40)은 각각 사용자 단말 또는 사용자 장치 등으로 지칭될 수 있다.
의사용 단말(30)은 치과 의사가 사용하는 단말로, UI를 통해 환자의 결과 데이터에 대한 질문을 입력하여여 이에 대한 답변을 제공받거나, 구강 질환을 판독할 것을 요청하는 판독 요청을 송부하여 이에 대한 판독 결과를 제공받거나, 판독 소견서 데이터를 의뢰하여 판독 소견서를 제공받아 이를 표시하는 단말일 수 있다.
환자용 단말(40)은 환자가 사용하는 단말 또는 치과에서 진료받을 때 환자가 구강 건강 상태 정보를 볼 수 있도록 일측에 설치되는 단말일 수 있다. 따라서, 환자들은 환자용 단말(40)을 통해 본인의 구강 건강 상태 정보를 바로 확인할 수 있다.
통신망(50)은 제1 장치(10), 구강 촬영 장치(20), 의사용 단말(30), 환자용 단말(40), 및 제2 장치(20) 간의 다양한 정보를 송수신할 수 있다. 통신망(50)은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다. 통신망(50)은 에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
제2 장치(60)는 환자의 구강 영상 데이터로부터 구강 질환을 판독하는 판독 장치일 수 있다.
제2 장치(60)는 판독의(또는 판독 의사)가 사용하는 단말로, 판독 UI를 통해 구강 영상 데이터(또는 처리된 구강 영상 데이터)에서 구강 질환을 표시(또는 체크)하고, 구강 질환에 대한 정보를 레이블링(labeling)할 수 있다. 여기서, 구강 질환에 대한 정보를 레이블링한다는 것은 구강 질환이 있는 구강(예를 들어, 치아)의 해부학적 위치, 구체적인 질환명 등을 기록하는 것을 의미할 수 있다. 제2 장치(60)는, 구강 질환이 표시되고 구강 질환에 대한 정보가 레이블된 데이터를, 네트워크(50)를 통해 제1 장치(10)에 전송할 수 있다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 제1 장치를 설명하기 위한 도면이다.
도 2를 참조하면, 제1 장치(10)는 통신부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. 여기서, 제1 장치(10)는 도 2에 도시된 구성요소보다 더 적은 구성요소나 더 많은 구성요소를 포함할 수 있다.
통신부(110)는 제1 장치(10)와 구강 촬영 장치(20) 사이, 제1 장치(10)와 의사용 단말(30) 사이, 제1 장치(10)와 환자용 단말(40) 사이, 제1 장치(10)와 제2 장치(60) 사이, 또는 제1 장치(10)와 통신망(50) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 다른 실시예에서, 통신부(110)는 제1 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수도 있다.
메모리(120)는 제1 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(120)는 제1 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 제1 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 제1 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 제1 장치(10) 상에 설치되어, 프로세서(130)에 의하여 제1 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다. 일 실시예에서, 메모리(120)는 구강 질환에 대한 질환 사전 데이터 베이스(121)를 포함할 수 있다. 여기서, 질환 사전 데이터 베이스(121)는 복수의 구강 질환에 대한 상세한 설명과 치료 방법 등을 포함할 수 있다. 실시예에 따라, 메모리(120)는 구강 질환에 대한 질환 카테고리 데이터 베이스(122)를 더 포함할 수 있다. 여기서, 질환 카테고리 데이터 베이스(122)는, 예를 들어 아래의 [표 1]과 같은 정보를 포함할 수 있다.
| No | 카테고리 | 질환명 | 판독문 | 위치 | 추가검사 | 추천 |
| 1 | 치아관련질환 | 치관부우식증 또는 치질결손 | # 치아에 치관부우식증 또는 치질 결손 소견이 관찰됨 | 치아의 치관부 | 치근단영상, 임상검사 | 치아 상태에 따라 적절한 치료 필요 |
| 2 | 치아관련질환 | 인접면우식증 | # 치아에 인접면우식증 소견이 관찰됨 | 치아의 치관부 | 치근단영상, 임상검사 | 치아 상태에 따라 적절한 치료 필요 |
| 3 | 치아관련질환 | 치경부우식증 또는 마모증 | # 치아에 치경부우식증 또는 마모증 소견이 관찰됨 | 치아의 치경부 | 치근단영상, 임상검사 | 치아 상태에 따라 적절한 치료 필요 |
| 4 | 치아관련질환 | 치근우식증 | # 치아에 치근우식증 소견이 관찰됨 | 치아의 치근부 | 치근단영상, 임상검사 | 치아 상태에 따라 적절한 치료 필요 |
| 5 | 치아관련질환 | 이차우식증 | # 치아에 이차우식증 소견이 관찰됨 | 치아의 수복물 하방 | 치근단영상, 임상검사 | 치아 상태에 따라 적절한 치료 필요 |
| 6 | 치아관련질환 | 치내치 | # 치아에 치내치 소견이 관찰됨 | 치아의 치관부 | 치근단영상, 임상검사 | 치근단 염증 유무에 따라 치료 또는 정기 검진 要 |
| 7 | 치아관련질환 | 치외치 | # 치아에 치외치 소견이 관찰됨 | 치아의 치관부 | 치근단영상, 임상검사 | 치근단 염증 有, 즉각 치료 및 정기 검진 要 |
| 8 | 치아관련질환 | Fusion | # 치아에 융합 소견이 관찰됨 | 치아의 치관부 | 치근단영상, 임상검사 | 정기 검진 要 |
| 9 | 치아관련질환 | 선천적 치아결손 | # 치아가 선천적으로 결손 | 치아 | 치아의 선천적 결손 설명 要 | |
| 10 | 치아관련질환 | 하악관 중첩 | # 치아의 치근부가 하악관과 접촉 | #38, 48 치아의 치근부 | 치근단영상, CBCT | 발치 전 CBCT에서 사랑니와 하악관 간의 관계 평가 要 |
| 11 | 치아관련질환 | 매복치 | # 치아가 완전매복됨 | 치아 | 치근단영상 | 매복치 주위에 병적 소견 확인 要 |
| 12 | 치아관련질환 | 치관주위염 | # 38, 48 치아의 치관 주위로 방사선투과성 소견이 관찰됨 | #38, 48 치아의 치관부 | 치근단검사, 임상증상 확인 | 치아 상태에 따라 적절한 치료 필요 |
| 13 | 치아관련질환 | 치근단방사선투과성 | # 치아의 치근단 부위에 방사선투과성 소견이 관찰됨 | 치아의 치근부 | 치근단영상, 임상검사 | 치근단병소의 원인 확인 및 적절 치료 要 |
| 14 | 치아관련질환 | 치근단골형성이상 | # 방사선불투과성&방사선투과성 소견이 관찰됨 | 치아의 치근부 | 치근단영상, 임상검사 | 치료 필요 無 정기 검진 要 |
| 15 | 치아관련질환 | 과백악질증 | # 치아에 과백악질증 소견이 관찰됨 | 치아의 치근부 | 치근단영상, 임상증상 확인 | 원인 확인특별 처치 無 발치시 주의 |
| 16 | 치아관련질환 | 치근파절 | # 치아에 치근파절 소견이 관찰됨 | 치아의 치근부 | 치근단영상, 임상검사 | 치아 상태에 따라 적절한 치료 필요 |
| 17 | 치아관련질환 | 잔존치근 | 잔존치근 상태인 # 치아가 관찰됨 | 치아의 치근부 | 치근단영상 | 치아 상태에 따라 적절한 치료 필요 |
| 18 | 치아관련질환 | 치근외흡수 | # 치아에 치근외흡수 소견이 관찰됨 | 치아의 치근부 | 치근단영상, 임상검사 | 원인 확인 要적절 치료 要 |
| 19 | 치아관련질환 | 치근내흡수 | # 치아에 치근내흡수 소견이 관찰됨 | 치아의 치근부 | 치근단영상, 임상검사 | 원인 확인 要적절 치료 要 |
| 20 | 치아관련질환 | 과잉치 | ~ 부위에 과잉치 관찰 | 치근단영상, CBCT | ||
| 21 | 연조직석회화 | 타석 | 악하선 부위에 둥근 형태의 석회화 소견이 관찰됨 | 타액선 | 임상증상 확인 | 젊은 환자인 경우 제거 要불가 시 상급병원으로 진료 의뢰 |
| 22 | 연조직석회화 | 림프절석회화 | 악하공간 부위에 불규칙한 형태의 석회화 소견이 관찰됨 | 악하공간 | 증상 無만성질환 可 메디컬기왕력 체크 |
|
| 23 | 연조직석회화 | 편도석회화 | 구개편도 부위에 다수의 석회화 소견이 관찰됨 | 구개편도 | 치료 不要반복 도 감염 可 | |
| 24 | 연조직석회화 | 경동맥석회화 | 인두주위공간 부위에 불규칙한 형태의 석회화 소견이 관찰됨 | 인두주위공간 | 심혈관계 질환 여부 체크 필요 | |
| 25 | 연조직석회화 | 정맥석 | 다수의 경계가 명확한 방사선불투과성 소견이 관찰됨 | 치료 不要상급병원으로 진료 의뢰 | ||
| 26 | 연조직석회화 | 경상설골인대골화 | 경상설골인대가 석회화되어 두꺼워져 있는 소견이 관찰됨 | 경상설골인대골화 | 통증 有, 병소와 상관성 평가 | |
| 27 | 연조직석회화 | 상악동석 | 상악동 부위에 석회화 소견이 관찰됨 | 상악동 | 정기 검진 要 | |
| 28 | 연조직석회화 | 피부골종 | 빰 부위에 다수의 석회화 소견이 관찰됨 | 교합면 높이의 구치부 후방부 | 정기 검진 要 | |
| 29 | 연조직석회화 | 쇼그렌증후군 | 타액선 부위에 다수의 석회화 소견이 관찰됨 | 타액선 | 임상증상 확인 | 상급병원으로 진료 의뢰 |
| 30 | 상악동 소견 | 저류가성낭 | 상악동 부위에 돔 모양의 연조직 음영 소견이 관찰됨 | 상악동 | 치료 不要 정기 검진 要 |
|
| 31 | 상악동 소견 | 점막비후 | 상악동에 점막비후 소견이 관찰됨 | 상악동 | 임상증상 확인 | 치료 不要정밀 진단 要 |
| 32 | 상악동 소견 | 상악동혼탁상 | 상악동 전체에 혼탁상이 증가되어 있는 소견이 관찰됨 | 상악동 | CBCT, 임상증상 확인 | 영상치의학 전문의와의 협진 필요 |
| 33 | TMJ 이상 | 활액연골종증 | 하악과두 주위로 다수의 석회화 소견이 관찰됨 | TMJ | CBCT | 상급병원으로 진료 의뢰 |
| 34 | TMJ 이상 | 골연골종 | 하악과두 부위에 경계가 명확한 방사선불투과성 병소가 관찰됨 | TMJ | CBCT, 임상증상확인 | 상급병원으로의 진료 의뢰(치료 불가) |
| 35 | 악골 이상 소견 | 방사선투과상 | ~ 부위에 방사선투과성 소견이 관찰됨 | 악골 | 영상치의학 전문의와의 협진 필요 | |
| 36 | 악골 이상 소견 | 방사선불투과성 | ~ 부위에 방사선불투과성 소견이 관찰됨 | 악골 | 영상치의학 전문의와의 협진 필요 | |
| 37 | 악골 이상 소견 | 방사선혼합상 | ~ 부위에 방사선혼합성 소견이 관찰됨 | 악골 | 영상치의학 전문의와의 협진 필요 | |
| 38 | 악골 이상 소견 | 하악골설측함요 | 하악관 하방에 경게가 명확한 방사선투과성 소견이 관찰딤 | 하악골 | CBCT | 치료 不要정기 검진 要 |
| 39 | 악골 이상 소견 | 치아종 | 부위에 치아와 유사한 다수의 방사선불투과성 소견이 관찰됨 | 악골 | 치근단영상 | 제거 必要상급병원으로 진료 의뢰 |
| 40 | 악골 이상 소견 | 비구개관낭 | 상악 정중부에 경게가 명확한 방사선투과성 소견이 관찰됨 | 상악정중부 | 치근단영상, CBCT | 상급병원으로의 진료 의뢰 |
| 41 | 악골 이상 소견 | 섬유형성이상 | ~ 부위에 경계가 불명확한 방사선불투과성 | 악골 | CBCT | 치료 不要 정기 검진 要 창상치유주의 |
| 42 | 악골 이상 소견 | 골종 | ~ 부위에 경계가 명확한 방사선불투과성 | 악골 | CBCT, 임상증상확인 | 상급병원으로 진료 의뢰 |
| 43 | 악골 이상 소견 | 골절 | ~ 부위에 방사선투과성의 골절선 | 악골 | 치근단영상, CBCT, 임상증상 확인 | 상급병원으로의 진료 의뢰 |
| 44 | 악골 이상 소견 | 골화석증 | ~ 부위에 전반적으로 방사선불투과성이 증가 | 악골 | 상급병원으로 진료 의뢰 | |
| 45 | 악골 이상 소견 | 악성종양 | ~ 부위에 경계가 불명확한 방사선투과성 | 악골 | 임상증상 확인 | 상급병원으로 진료 의뢰 |
| 46 | 골다공증 | 골다공증 | 필요시 골다공증 검사 권유 |
실시예에 따라, 질환 카테고리 데이터 베이스(122)는 레이블 표시 방식 및 질환명(또는 진단명)을 표시할 위치를 나타내는 데이터를 더 포함할 수 있다. 레이블 표시 방식은 구강 질환에 관한 정보를 표시하는 방법을 나타내는 것일 수 있으며, 일 예로 피쳐(feature) 또는 포지션(position) 등이 있다. 질환명을 표시할 위치는, 질환명을 표시하는 이미지를 구강 질환이 있는 치아를 인디케이딩(Indicating)하는 이미지 주변에 어느 위치에 배치할지 나타내는 것일 수 있으며, 일 예로 이미지에서 선을 이용해 사이드로 빼기, 박스 처리된 이미지의 상단이나 중앙 또는 하단에 배치 등이 있다. 하지만, 이에 한정되는 것은 아니다.프로세서(130)는 응용 프로그램과 관련된 동작 외에도, 통상적으로 제1 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(130)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 2와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(130)는 응용 프로그램의 구동을 위하여, 제1 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.
프로세서(130)는 구강 건강 분석 서비스를 제공하기 위해, 다양한 UI를 제공할 수 있다.
일 실시예에서, 프로세서(130)는, 사용자 장치(예를 들면, 도 1에 도시된 의사용 단말(30) 또는 환자용 단말(40))로부터 수신된 판독 요청에 응답하여, 구강 촬영 장치(20)에 의해 촬영된 환자의 구강 영상 데이터를 입력으로 미리 설정된 오브젝션 검출 알고리즘을 이용하여 오브젝트 검출 영상 데이터를 생성할 수 있다.
일 실시예에서, 구강 영상 데이터는 CBCT 영상 데이터 및 파노라마 영상 데이터 중 적어도 하나를 포함할 수 있다. CBCT 영상 데이터는 구강의 복수의 단면들 각각에 대한 탑뷰(top view) 영상 데이터, 측면 영상 데이터 등을 포함할 수 있다. 실시예에 따라, CBCT 영상 데이터는 탑뷰 영상 데이터를 기초로 생성된 구강에 대한 오토 파노라마 영상 데이터를 포함할 수 있다. CBCT 영상 데이터는 200장의 탑뷰 영상 이미지 및 1장의 오토 파노라마 이미지로 구성될 수 있으나, 이에 한정되는 것은 아니다. 탑뷰 영상 데이터의 포멧은 (600×600) 크기의 jpeg 포멧이고 오토 파노라마 이미지의 포멧은 (1000×600) 크기의 jpeg 포멧일 수 있으나, 이에 한정되는 것은 아니다. 구강 영상 데이터가 제2 장치(60)에 전송되는 경우에, 200장의 탑뷰 영상 이미지에서 구강 질환 정보가 상대적으로 잘 표시된 소정의(예를 들어 10장) 탑뷰 영상 이미지 및 1장의 오토 파노라마 이미지가 제2 장치(60)에 전송될 수 있다. 또한, 소정의(예를 들어 10장) 탑뷰 영상 이미지와 함께 소정의(예를 들어 10장) 탑뷰 영상 이미지와 직교하는(orthogonal) 방향의 영상 이미지가 추가적으로 제2 장치(60)에 전송될 수도 있다. 오토 파노라마 영상 데이터는 탑뷰 영상 데이터로부터 생성되는 바, 이에 대한 설명은 도 3을 참조하여 후술한다. CBCT 영상 데이터에서 구강 질환을 저장하기 위한 Json 타입의 좌표 코드가 포함될 수 있다. 파노라마 영상 데이터는 구강 전체 이미지가 포함된 영상 데이터일 수 있다. 파노라마 영상 데이터의 포멧은, 예를 들어 (1000×2000) 크기의 jpeg 포멧일 수 있으나 이에 한정되는 것은 아니다. 파노라마 영상 데이터에서 구강 질환을 저장하기 위한 Json 타입의 좌표 코드가 포함될 수 있다. Json 타입의 좌표 코드는, 예를 들어 바운딩 박스 타입(bounding box type) 또는 세그멘테이션 타입(segmetation type) 등일 수 있으나, 이에 한정되는 것은 아니다. 실시예에 따라, 구강 영상 데이터는 별도의 서버에 포함된 데이터 베이스에 저장될 수 있으며, 이때 데이터 베이스에 저장된 영상 데이터는 이미지 ID, 이미지 타입(예를 들어, CBCT 또는 파라노마), 이미지 촬영 번호(구강 영상 이미지가 CBCT 영상 데이터인 경우에 한정), 질환 정보가 있는 이미지 번호, 이미지 경로, 촬영 일시 및 시간, 촬영 병원 코드, 촬영 장치 코드, 질환 정보 Json 타입 등이 함께 저장되어 있을 수 있다. 이때, 메모리(120)는 별도의 서버에 포함된 데이터 베이스에 저장된 구강 영상 데이터에 액세스하기 위한 URL 정보를 저장할 수 있다.
여기서, 오브젝트 검출 영상 데이터는, 구강 영상 데이터에서 구강에 관한 정보가 검출된 데이터일 수 있다. 구강에 관한 정보는, 예를 들면, 구강 형태(또는 치아 형태)(200), 구강에 대한 단면의 위치에 대응되는 제1 좌표 축(210), 구강에 대한 다른 단면의 위치에 대응되는 제2 좌표 축(220), 및 구강의 입체 좌표(230) 등을 포함할 수 있다.
여기서, 오브젝션 검출 알고리즘은, 예를 들어 메모리(120)의 데이터 베이스에 구축되거나 미리 분류된 환자의 치아 형상을 패턴화한 알고리즘일 수 있다. 또는, 오브젝션 검출 알고리즘은, 다른 예를 들어 기존에 진단된 환자의 치료 중 영상의 치료 양상 시퀀스(sequence)를 생성하기 위한 알고리즘일 수 있다. 하지만, 이에 한정되는 것은 아니다.
프로세서(130)는, 구강 영상 데이터에서 구강 형태(200), 구강에 대한 단면의 위치에 대응되는 좌표 축(210, 220), 구강의 입체 좌표(230)를 구강에 관한 정보로서 검출하고, 구강에 관한 정보를 구강 영상 데이터 상에 표시하여 오브젝트 검출 영상 데이터를 생성할 수 있다.
구강에 대한 단면의 위치에 대응되는 좌표 축(210, 220)는 선(line) 형태로 구성될 수 있으며, 구강에 대한 단면의 위치에 대응되는 좌표 축(210, 220)의 정확도를 증가시키기 위해, 프로세서(130)는, 치아의 질량 중심(center of mass), 가장 자리(edge), 치아 형상(shape) 등의 파라미터(parameter)를 입력으로 오브젝션 검출 알고리즘을 수행할 수 있다.
프로세서(130)는, 판독 장치(예를 들면, 도 1에 도시된 제2 장치(60))가 오브젝트 검출 영상 데이터를 기초로 구강 영상 데이터에서 구강 질환을 표시하고 구강 질환에 대한 정보를 레이블링(labeling)하도록, 오브젝트 검출 영상 데이터 및 구강 영상 데이터를 판독 UI(User Interface)를 통해 판독 장치(예를 들면, 도 1에 도시된 제2 장치(60))에 표시할 수 있다.
프로세서(130)는, 판독 장치(예를 들면, 도 1에 도시된 제2 장치(60))로부터 수신된 판독 결과 데이터, 구강 영상 데이터, 및 오브젝트 검출 데이터를 기초로 학습데이터 세트를 구축하고, 구축된 학습데이터 세트를 기반으로 학습하며, 학습된 데이터를 메모리(120)의 질환 사전 데이터 베이스(121)에 저장할 수 있다. 이때 학습 모델은, 예를 들면, ANN (Artificial Neural Network), DNN(Deep Neural Network), CNN(Convolution Neural Network), 및 RNN(Recurrent Neural Network) 등의 인공 지능 학습 모델일 수 있으나 이에 한정되는 것은 아니다. 학습된 데이터가 저장되면, 프로세서(130)는, 환자의 구강 영상 데이터 및 판독 요청에 응답하여, 자체적으로 판독 결과 데이터를 생성 및 전송할 수 있다.
프로세서(130)는, 판독 장치(예를 들면, 도 1에 도시된 제2 장치(60))가 구강 질환을 용이하게 판독하도록(또는 진단 편의성을 위해), 질환 카테고리 데이터 베이스(122)의 질환 카테고리 데이터를 판독 장치(예를 들면, 도 1에 도시된 제2 장치(60))에 전송할 수 있다.
프로세서(130)는, 판독 장치(예를 들면, 도 1에 도시된 제2 장치(60))로부터 수신된 판독 결과 데이터를 UI를 통해 사용자 장치(예를 들면, 도 1에 도시된 의사용 단말(30) 또는 환자용 단말(40))에 표시할 수 있다.
도 3은 본 발명의 따른 오토 파노라마 영상 데이터를 생성하는 실시예를 설명하기 위한 도면이다.
도 2 및 도 3을 참조하면, 프로세서(130)는 탑뷰 영상 데이터(300)를 기초로 구강에 대한 오토 파노라마 영상 데이터(310)를 생성할 수 있다. 구체적으로, 프로세서(130)는 탑뷰 영상 데이터(300)에서 치아에 대응되는 이미지를 바운딩 박스(bounding box)(301)로 처리할 수 있다. 이때, 치아를 효율적으로 추출하기 위하여, 바운딩 박스(301)의 형태는 네모 형태일 수 있으나, 이에 한정되는 것은 아니다. 치아의 구조 특성 상, 특정 치아의 위치가 구강에서 정해져 있고, 특정 치아의 형상도 환자마다 서로 유사할 수 있다. 이 경우, 프로세서(130)는, 탑뷰 영상 데이터(300)에서 치아의 개수 또는 특정 치아의 종류(type)가 결정되면, 탑뷰 영상 데이터(300)에서 다른 치아들에 대응되는 복수의 이미지들을 각각 바운딩 박스(301)로 자동적으로 처리할 수 있다. 본 명세서의 바운딩 박스(301)는 세그먼트로 지칭될 수 있다.
탑뷰 영상 데이터(300)에서 바운딩 박스(301)가 생성되면, 프로세서(130)는 바운딩 박스(301)를 이용하여 3차원의 구강 구조를 나타내는 오토 파노라마 영상 데이터(310)를 생성할 수 있다. 따라서, CBCT 영상 데이터는 구강의 복수의 단면들 각각에 대한 탑뷰 영상 데이터(300) 및 오토 파노라마 영상 데이터(310)를 포함할 수 있다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 제2 장치를 설명하기 위한 도면이다.
도 4를 참조하면, 제2 장치(60)는 통신부(610), 메모리(620), 프로세서(630), 입력부(640), 및 디스플레이부(650)를 포함할 수 있다. 여기서, 제2 장치(60)는 도 4에 도시된 구성요소보다 더 적은 구성요소나 더 많은 구성요소를 포함할 수 있다.
통신부(610)는 제2 장치(60)와 구강 촬영 장치(20) 사이, 제2 장치(60)와 의사용 단말(30) 사이, 제2 장치(60)와 환자용 단말(40) 사이, 제1 장치(10)와 제2 장치(60) 사이, 또는 제2 장치(60)와 통신망(50) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
메모리(620)는 제2 장치(60)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(620)는 제2 장치(60)에서 구동되는 다수의 응용 프로그램(또는 애플리케이션), 제2 장치(60)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 제2 장치(60)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(620)에 저장되고, 제2 장치(60) 상에 설치되어, 프로세서(630)에 의하여 제2 장치(60)의 동작(또는 기능)을 수행하도록 구동될 수 있다. 이러한 응용 프로그램 중 일부는, 제1 장치(10)가 제공한 응용 프로그램일 수 있다.
프로세서(630)는, 제1 장치(10)에 의해 제공되는 응용 프로그램의 판독 UI를 통해, 구강 영상 데이터 및 오브젝트 검출 영상 데이터를 기초로 환자의 구강 질환이 판독된 판독 결과 데이터를 생성할 수 있다.
판독 결과 데이터는 구강 질환을 나타내는 인디케이터(401)가 포함된 구강 영상 데이터(400) 및 구강 질환에 관한 정보를 나타내는 레이블(410)을 포함할 수 있다. 여기서, 인디케이터(401)는 입력부(640)를 통해 수신된 판독의의 입력에 응답하여 생성될 수 있다. 예를 들어, 입력부(640)가 마우스(또는 마우스 커서)인 경우, 판독의가 구강 질환 부위라고 생각하는 위치에 마우스 커서를 두고 마우스를 드래그하면, 입력부(640)는 대응하는 입력 신호를 제공하고, 프로세서(630)는 입력 신호에 응답하여 인디케이터(401)를 생성할 수 있다. 인디케이터(401)의 형상은 네모 또는 박스(box) 형태일 수 있으나, 이에 한정되는 것은 아니다. 레이블(410)은 판독의가 입력부(640)를 통해 입력함으로써, 생성될 수 있다. 또는, 레이블(410)은, 프로세서(630)가 메모리(620)에 저장된 데이터 베이스를 기초로 인디케이터(401)를 참조하여 인디케이터(401)에 대응되는 질환명 등을 자동적으로 기록함으로써 생성될 수 있다. 레이블(410)은 구강 질환이 발생한 위치(예를 들어, 치아의 번호), 구강 질환의 해부학적 부위, 특이사항 등을 포함할 수 있다. 예를 들어, 레이블(410)은 "#22 무치악 부위에 경계가 명확한 방사선투과성 소견이 관찰됨"이라는 내용으로 기록될 수 있다. 하지만, 이에 한정되는 것은 아니다.
입력부(640)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것일 수 있다. 사용자 입력부로 지칭될 수 있다. 사용자 입력부(640)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(640)를 통해 정보가 입력되면, 프로세서(630)는 입력된 정보에 대응되도록 제2 장치(60)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(640)는 하드웨어식 물리 키(예를 들어, 제2 장치(60)의 전면, 후면 및 측면 중 적어도 하나에 위치하는 버튼, 마우스, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 소프트웨어식 터치 키를 포함할 수 있다. 일 예로서, 터치 키는, 소프트웨어적인 처리를 통해 터치스크린 타입의 디스플레이부 상에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
디스플레이부(650)는 제2 장치(60)에서 처리되는 정보를 표시(출력)한다. 또는 디스플레이부(650)는 제1 장치(10)에 의해 제공된 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 판독 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
도 5 내지 도 7은 본 발명에 따른 판독 UI의 일 실시예를 설명하기 위한 도면들이다.
도 4, 도 5 내지 도 7을 참조하면, 판독 UI(500)는 판독 장치(예를 들어 도 1에 도시된 제2 장치(60))에 서비스되는 것으로 복수의 판독 판독 UI 영역들을 포함할 수 있다. 예를 들면, 판독 UI(500)는 제1 판독 UI 영역(510), 제2 판독 UI 영역(520), 판독 UI 영역 그룹(530)을 포함할 수 있다.
제1 판독 UI 영역(510)은 환자 별 구강 영상 데이터 목록이 표시되는 영역일 수 있다. 예를 들면, 도 5 내지 도 7에 도시된 "CBCT 1" 내지 "CBCT 8"은 제1 환자 내지 제8 환자의 CBCT 영상 데이터 목록일 수 있다. 실시예에 따라, 도 5 내지 도 7에 도시된 "CBCT 1" 내지 "CBCT 8"은 제1 환자 내지 제8 환자의 이름을 나타낼 수도 있다. 판독의는 입력부(640)를 이용하여 "CBCT 1" 내지 "CBCT 8" 중 어느 하나를 선택할 수 있다. 이 경우, 프로세서(630)는 선택된 정보에 응답하여 대응하는 CBCT 영상 데이터를 표시할 수 있다.
제2 판독 UI 영역(520)은, 환자 별 구강 영상 데이터 목록에서 선택된 환자의 구강 영상 데이터(예를 들면, 521, 522 또는 524)가 표시되는 영역일 수 있다. 또한, 제2 판독 UI 영역(520)은 구강 질환에 대응되는 세그먼트(예를 들면, 523 또는 525)가 구강 영상 데이터 상에 표시 가능한 영역일 수 있다. 만약 특정 환자에 대하여 구강 질환이 없는 것으로 판단되면, 구강 질환에 대응되는 세그먼트가 도 5에 도시된 바와 같이 표시되지 않을 수 있다.
판독 UI 영역 그룹(530)은 오브젝트 검출 영상 데이터가 표시 가능한 영역일 수 있다. 판독 UI 영역 그룹(530)은 제3 판독 UI 영역(531) 및 제4 판독 UI 영역(532)을 포함할 수 있다. 제3 판독 UI 영역(531)은 오브젝트 검출 영상 데이터 중 파노라마 영상 데이터 또는 오토 파노라마 영상 데이터가 표시되는 영역일 수 있다. 후술하는 바와 같이, 파노라마 영상 데이터(또는 오토 파노라마 영상 데이터)만이 제2 장치(60)에 제공되는 경우, 오브젝트 검출 영상 데이터가 제3 판독 UI 영역(531)에 표시되지 않을 수도 있다. 제3 판독 UI 영역(531)에 표시된 오브젝트 검출 영상 데이터에서 판독의의 입력에 응답하여 좌표 축(533)가 표시될 수 있다. 구체적으로, 판독의가 입력부(640, 예를 들어 마우스)를 통해 제3 판독 UI 영역(531)에 표시된 파노라마 영상 데이터(또는 오토 파노라마 영상 데이터)에서 특정 부분을 선택(예를 들어, 마우스를 이용해 클릭)하면, 프로세서(630)는 선택된 부분에 대응되는 좌표 축(533)의 위치를 제3 판독 UI 영역(531)에 표시할 수 있다. 즉, 제3 판독 UI 영역(531)에 표시된 좌표 축(533)의 위치가 변경될 수 있다. 제4 판독 UI 영역(532)은 구강 질환에 대한 정보가 레이블링 가능한 영역일 수 있다. 만약 구강 질환이 검출되지 않으면, 제4 판독 UI 영역(532)은 비어있을 수 있다. 구강 질환이 검출될 때마다, 제4 판독 UI 영역(532)에 구강 질환에 대한 정보가 레이블링될 수 있다.
먼저, 도 5를 참조하면, 판독의는 제1 판독 UI 영역(510)에서 "CBCT 1"을 선택할 수 있다. 그리고, 판독의는 제3 판독 UI 영역(531)에 표시된 파노라마 영상 데이터의 하단부쪽을 선택하면, 좌표 축(533)이 표시될 수 있다. 이 경우, 좌표 축(533)에 대응되는 탑뷰 영상 데이터(521)가 제2 판독 UI 영역(520)에 표시될 수 있다. 판독의는 탑뷰 영상 데이터(521)를 참조하여, 구강 질환이라고 판단 가능한 영역을 선택(예를 들어, 마우스 드래그)할 수 있다. 도 5에서는 구강 질환이 없는 것으로 가정한다.
도 6을 참조하면, 판독의는 제3 판독 UI 영역(531)에 표시된 파노라마 영상 데이터에서 도 5에 도시된 좌표 축(533)보다 더 상단의 좌표축을 선택할 수 있고, 이에 따라 대응하는 탑뷰 영상 데이터(522)가 제2 판독 UI 영역(520)에 표시될 수 있다. 판독의는 탑뷰 영상 데이터(522)에서 구강 질환이 발생한 치아를 나타내는 이미지를 선택(예를 들어, 마우스 드래그)할 수 있다. 이 경우, 선택된 이미지에서 소정의 인디케이터(523)가 프로세서(630)에 의해 생성될 수 있다. 그리고, 인디케이터(523)에 따른 구강 질환에 대한 정보가 제4 판독 UI 영역(532)에 레이블링되며, 예를 들면 "#22 무치악 부위에 경계가 명확한 방사선투과성 소견이 관찰됨"이라는 내용으로 기록될 수 있다.
도 7을 참조하면, 판독의는 제3 판독 UI 영역(531)에 표시된 파노라마 영상 데이터에서 도 6에 도시된 좌표 축(533)보다 더 상단의 좌표축을 선택할 수 있고, 이에 따라 대응하는 탑뷰 영상 데이터(524)가 제2 판독 UI 영역(520)에 표시될 수 있다. 판독의는 탑뷰 영상 데이터(524)에서 구강 질환이 발생한 치아를 나타내는 이미지를 선택(예를 들어, 마우스 드래그)할 수 있다. 이 경우, 선택된 이미지에서 소정의 인디케이터(525)가 생성되고, 인디케이터(525)에 따른 구강 질환에 대한 정보가 제4 판독 UI 영역(532)에 추가적으로 레이블링되며, 예를 들면 "좌측 상악동에 점막비후 소견이 관찰됨"이라는 내용으로 기록될 수 있다.
도 8은 본 발명에 따른 판독 UI의 다른 실시예를 설명하기 위한 도면이다.
도 6 및 도 8을 참조하면, 판독 UI(501)는, 전술한 바와 같이 제1 판독 UI 영역(510), 제2 판독 UI 영역(520), 판독 UI 영역 그룹(530)을 포함할 수 있다.
제1 판독 UI 영역(510)은 환자 별 구강 영상 데이터 목록이 표시되는 영역일 수 있다. 예를 들면, 도 8에 도시된 “PANORAMA 1” 내지 “PANORAMA 8”은 제1 환자 내지 제8 환자의 파노라마 영상 데이터 목록일 수 있다. 옐르 들어, 판독의는 입력부(640)를 이용하여 “PANORAMA 1”을 선택하면, 제1 환자의 파노라마 영상 데이터(526)가 제2 판독 UI 영역(520)에 표시될 수 있다.
판독의는 파노라마 영상 데이터(526)에서 구강 질환에 대응되는 치아 또는 구강 질환으로 의심되는 치아를 선택(예를 들어, 마우스 드래그)하면, 인디케이터들(527, 528, 529)이 제2 판독 UI 영역(520)에 표시되고, 인디케이터들(527, 528, 529) 각각에 대응하는 구강 질환에 대한 정보가 제4 판독 UI 영역(532)에 레이블링될 수 있다. 예를 들면, "금속 수복물에 의함 artifact로 인해 일부 단면에서 정확한 평가가 어려움", "근심경사되어 매복되어 있는 #38 치아가 관찰됨. 이 치하의 치근부가 하악관을 누르고 있으며 이로 인해 하악관이 다소 좁아진 소견이 관찰됨", "양쪽 구개편도 부위에 석회화 소견이 관찰됨"이라는 내용으로 기록될 수 있다.
도 9 내지 도 14는 본 발명에 따른 UI의 실시예들을 설명하기 위한 도면들이다.
도 9 내지 도 14를 참조하면, UI(700)는 사용자 장치(예를 들면, 도 1에 도시된 의사용 단말(30) 또는 환자용 단말(40))에 서비스되는 것으로 복수의 영역들을 포함할 수 있다. 예를 들면, UI(700)는 제1 영역(701), 제2 영역(702), 제3 영역(703), 제1 UI 영역(710), 제2 UI 영역(720), 제3 UI 영역(730), 제4 UI 영역(740), 제5 UI 영역(750), 제6 UI 영역(760)을 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
제1 영역(701)은, 메뉴를 구체적으로 확대하는 기능, 파노라마 페이지로 이동하는 기능, CBCT로 이동하는 기능, 연락처를 조회하는 기능, 알림창을 조회하는 기능, 메뉴 아이콘의 색을 변경하는 기능, 메뉴명 툴 팁(tip)을 실행하는 기능, 일괄적으로 원격 판독을 의뢰하는 기능, 일괄적으로 판독 소견서를 인쇄하는 기능, 및 사용자 정보를 조회하기 위한 기능을 서비스하기 위한 영역일 수 있다. 사용자 정보를 조회하기 위한 기능은, 본 발명에 의해 제공되는 응용 프로그램에 가입된 정보(예를 들어, 치과명(아이디), 원장 성명, 구독 정보, 비밀번호 변경, 로그아웃 등)를 조회하는 것일 수 있다. 제2 영역(702)은, 질병명(또는 질환명)을 필터링하여 검색하는 기능, 환자명 또는 진료번호를 검색하는 기능, 날짜를 필터링하여 검색하는 기능을 서비스하기 위한 영역일 수 있다. 질병명(또는 질환명)을 필터링하여 검색하는 기능은 질환 카테고리를 체크할 수 있는 박스, 선택된 질환 갯수 등을 표시하는 별도의 윈도우를 통해 제공될 수 있다. 제3 영역(703)은, 환자 리스트를 조회하는 기능을 서비스하기 위한 영역일 수 있다. 환자 리스트에서는 판독 의뢰 결과 여부를 나타내는 판독 상태(예, 판독완료, 미판독, 또는 판독중), 성명, 등록된 시간 등을 포함할 수 있다.
제1 UI 영역(710)은, 선택된 환자의 개인 정보(예를 들어, 이름, 진료번호, 성별, 및 나이 등), 인쇄 아이콘, 및 의뢰 요청 아이콘이 표시되는 영역일 수 있다.
제2 UI 영역(720)은, 구강 영상 데이터의 종류가 표시되는 영역일 수 있다. 또한, 제2 UI 영역(720)은, 촬영일 및 촬영 시간이 표시되는 영역일 수 있다. 도 9를 참조하여 예를 들면, 제2 UI 영역(720)에서 파노라마(예, "PANORAMA"), 촬영일(예, "2021.03.02."), 및 촬영 시간(예, "16:20:32")이 표시될 수 있다. 도 10를 참조하여 다른 예를 들면, 제2 UI 영역(720)에서 CBCT(예, "CBCT"), 촬영일(예, "2021.03.02."), 및 촬영 시간(예, "16:20:32")이 표시될 수 있다.
제3 UI 영역(730)은, 선택된 환자에 대응되는 판독 결과 데이터가 표시 가능한 영역일 수 있다. 도 9를 참조하여 예를 들면, 선택된 환자에 대한 구강 영상 데이터가 원격 판독 전인 경우, 사용자 장치(예를 들면, 도 1에 도시된 의사용 단말(30) 또는 환자용 단말(40))는 선택된 환자의 구강 영상 데이터를 이용하여 원격 판독 의뢰를 요청하는 요청 신호를 제1 장치(10)에 전송할 수 있다. 제3 UI 영역(730)에서는 원격 판독 의뢰에 관한 이미지가 표시될 수 있다. 추가적으로, 제3 UI 영역(730)에서 표시된 원격 판독 의뢰 이미지에서는 환자의 주요 증상이나 내원 이유 등을 나타내는 C.C(Chief Complaint)를 선택하는 기능이 서비스될 수 있다. 도시되지 않았지만, 원격 판독 의뢰 이후, 제3 UI 영역(730)에 원격 판독 중임을 나타내는 이미지가 표시될 수도 있다.
도 10 및 도 11을 참조하면, 판독 요청 시, 제2 장치(60)에 전송될 구강 영상 데이터가 제3 UI 영역(730)에 표시될 수 있다. 도 10에 도시된 제3 UI 영역(730)은 제1 썸네일 영역(731) 및 제2 썸네일 영역(732)을 포함할 수 있다. 제1 썸네일 영역(731)은 오토 파노라마 영상 데이터(또는 파노라마 영상 데이터)가 표시되는 영역일 수 있다. 제2 썸네일 영역(732)은 탑뷰 영상 데이터가 표시되는 영역일 수 있다. 사용자 장치(예를 들면, 도 1에 도시된 의사용 단말(30) 또는 환자용 단말(40))를 사용하는 사용자(의사 또는 환자)는 입력부(미도시)를 통해 제1 썸네일 영역(731) 및 제2 썸네일 영역(732) 중 어느 하나의 이미지를 선택(예를 들어, 마우크 좌클릭 등)하면, 선택된 이미지가 제3 UI 영역(730)에 확대 도시될 수 있다. 도 10을 참조하여 예를 들면, 제1 썸네일 영역(731)이 선택된 경우, 파노라마 영상 데이터가 확대 표시될 수 있다. 도 11을 참조하여 다른 예를 들면, 제2 썸네일 영역(732)이 선택된 경우, 탑뷰 영상 데이터가 바둑판 형식으로 표시될 수 있다. 제4 UI 영역(740)에서는, 예상되는 구강 질환에 관한 정보를 나타내는 레이블이 표시될 수 있다. 예상되는 구강 질환에 관한 정보는, 예를 들면, 질환분류, 질환명, 위치, 추가검사, 상세설명 등이 레이블될 수 있다. 도 10에 도시된 제4 UI 영역(740)은 판독문의 아이콘(741)을 더 포함할 수 있다. 판독문의 아이콘(741)은 사용자와 판독의 간의 채팅 서비스를 제공하기 위한 것일 수 있다. 사용자는 판독문의 아이콘(741)을 선택하면, 판독의에게 질문을 입력하기 위한 별도의 윈도우(window), 또는 실시간 채팅이 가능한 윈도우가 표시될 수 있다.
도 12를 참조하면, 제5 UI 영역(750)은, 판독 소견서를 의뢰하는 이미지가 표시되는 영역일 수 있다. 구체적으로, 사용자 장치(예를 들면, 도 1에 도시된 의사용 단말(30) 또는 환자용 단말(40))를 사용하는 사용자는 UI(700)를 통해 판독 소견서를 의뢰할 수 있다. 이 경우, 제5 UI 영역(750)에 판독 소견서를 의뢰하는 이미지가 표시되고, 사용자는 판독 소견서를 의뢰하면, 제1 장치(10)는 판독 소견서를 요청할 것을 지시하는 요청 신호를 제2 장치(60)에 전송할 수 있다. 이 경우, 제2 장치(60)로부터 판독 소견서를 나타내는 판독 소견서 데이터가 제공될 수 있다. 하지만, 이에 한정되는 것은 아니며, 제1 장치(10)가 학습된 데이터를 저장하고 있는 경우, 제1 장치(10)가 판독 소견서의 요청 신호에 응답하여 판독 소견서 데이터를 자체적으로 전송할 수도 있다.
도 13을 참조하면, 제6 UI 영역(760)은 판독 소견서 데이터가 표시되는 영역일 수 있다. 판독 소견서에서는 촬영된 환자의 개인 정보(예, 이름, 촬영번호, 생년월일, 촬영일시, C.C, 기타 항목 등)가 표시되고, 발견된 구강 질환에 관한 정보를 포함하는 파인딩(Finding), 진단 결론(Conclusion), 추천(Recommendation), 및 판독자(또는 판독의)의 개인 정보(에를 들면, 치과명, 판독일시, 면허번호, 성명 등)를 포함할 수 있다.
도 14를 참조하면, 원격 판독 요청에 대한 판독 결과 데이터가 표시될 수 있다. 제3 UI 영역(730)에 질환 부위를 표시하거나 숨기는 아이콘(733)이 표시되고, 구강 영상 데이터에서 구강 질환을 나타내는 인디케이터(734)가 표시되며, 구강 질환의 갯수가 복수 개인 경우, 인디케이터(734)의 갯수가 복수 개일 수 있다. 도시되지 않았지만, 사용자가 입력부를 통해 제3 UI 영역(730)에서 인디케이터(734)를 선택(예를 들어, 마우스 커서 이동)하면, 선택된 인디케이터(734)에 대응되는 질환명이 제3 UI 영역(730)에 표시될 수 있다. 제4 UI 영역(740)에서는 판독문의 아이콘(741) 및 구강 질환에 관한 정보를 나타내는 레이블이 표시될 수 있다. 도시되지 않았지만, 사용자가 인디케이터(734)를 선택(예를 들어, 마우스 커서 이동)하면, 제4 UI 영역(740)에 표시된 구강 질환에 관한 정보 중 인디케이터(734)에 대응되는 질환에 관한 정보가 제4 UI 영역(740) 내에서 최상단에 표시될 수 있다.
도 15는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 1 및 도 15를 참조하면, 구강 건강 분석 서비스를 제공하는 방법은 제1 장치(10)에 의해 수행되는 방법일 수 있다. 구강 건강 분석 서비스를 제공하는 방법은, 판독 요청에 응답하여, 환자의 구강 영상 데이터를 입력으로 미리 설정된 오브젝션 검출 알고리즘을 이용하여, 오브젝트 검출 영상 데이터를 생성하는 단계(S10), 판독 장치(예를 들어, 도 1에 도시된 제2 장치(60))가 오브젝트 검출 영상 데이터를 기초로 구강 영상 데이터에서 구강 질환을 표시하고 구강 질환에 대한 정보를 레이블링하도록, 오브젝트 검출 영상 데이터 및 구강 영상 데이터를 판독 UI를 통해 판독 장치에 표시하는 단계(S20), 판독 장치로부터 수신된 판독 결과 데이터를 UI를 통해 사용자 장치(예를 들면, 도 1에 도시된 의사용 단말(30) 또는 환자용 단말(40))에 표시하는 단계(S30), 및 판독 결과 데이터를 기초로 미리 설정된 학습 모델을 이용하여 구강 질환에 대한 정보를 학습하는 단계(S40)를 포함할 수 있다.
일 실시예에서, 오브젝트 검출 영상 데이터를 생성하는 단계(S10)는, 구강 영상 데이터에서 구강 형태, 구강에 대한 단면의 위치에 대응되는 좌표 축, 구강의 입체 좌표를 구강에 관한 정보로서 검출하고, 구강에 관한 정보를 구강 영상 데이터 상에 표시하여 오브젝트 검출 영상 데이터를 생성할 수 있다. 이에 대한 구체적인 실시예는 도 3을 참조하여 전술한 바와 같다.
일 실시예에서, 판독 장치에 표시하는 단계(S30)는, 판독 장치의 입력에 따라 오브젝트 검출 영상 데이터에 표시된 좌표 축의 위치를 제3 판독 UI 영역에서 변경하고, 제3 판독 UI 영역에서 좌표 축의 위치가 변경됨에 응답하여, 좌표 축의 위치에 대응되는 구강 영상 데이터를 제2 판독 UI 영역에 표시할 수 있다. 이에 대한 구체적인 실시예는 도 5 내지 도 7을 참조하여 전술한 바와 같다.
일 실시예에서, 판독 장치에 표시하는 단계(S30)는, 판독 장치의 입력에 응답하여, 판독 장치의 입력에 대응되는 위치에 세그먼트를 제2 판독 UI 영역에 표시하고, 세그먼트가 제2 판독 UI 영역에 표시되면, 표시된 세그먼트에 포함된 구강의 질환명 및 표시된 세그먼트에 대응되는 해부학적 위치 정보를 제4 판독 UI 영역에서 레이블링할 수 있다. 이에 대한 구체적인 실시예는 도 5 내지 도 7을 참조하여 전술한 바와 같다.
일 실시예에서, 사용자 장치에 표시하는 단계(S30)는, 사용자 장치의 입력에 응답하여, 인디케이터에 대응되는 구강의 질환명을 제3 UI 영역에 표시할 수 있다. 이에 대한 구체적인 실시예는 도 14를 참조하여 전술한 바와 같다.
전술한 바에 의하면, 환자의 구강 영상 데이터를 이용하여 원격 판독 요청하여 판독 결과 데이터를 제공함으로써, 환자들이 의사의 설명 없이 또는 병원애 내원하지 않고도 본인의 구강 건강 상태를 객관적이고 정확하게 확인하는 효과, 환자의 구강 건강 상태를 예방하는 효과, 및 사용자에게 편의성을 제공하는 효과가 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 제1 장치
20: 구강 촬영 장치
30: 의사용 단말
40: 환자용 단말
50: 통신망
60: 제2 장치
110: 통신부
120: 메모리
130: 프로세서
20: 구강 촬영 장치
30: 의사용 단말
40: 환자용 단말
50: 통신망
60: 제2 장치
110: 통신부
120: 메모리
130: 프로세서
Claims (10)
- 장치에 의해 수행되는 구강 건강 분석 서비스를 제공하는 방법에 있어서,
사용자 장치로부터 수신된 판독 요청에 응답하여, 구강 촬영 장치에 의해 촬영된 환자의 CBCT영상 데이터를 입력으로 미리 설정된 오브젝션 검출 알고리즘을 이용하여, 상기 CBCT영상 데이터에서 상기 구강 형태, 상기 구강에 대한 단면의 위치에 대응되는 좌표 축 및 상기 구강의 입체 좌표를 포함하는 구강에 관한 정보가 검출된 오브젝트 검출 영상 데이터를 생성하는 단계;
판독 장치가 상기 오브젝트 검출 영상 데이터를 기초로 상기 CBCT영상 데이터에서 구강 질환을 표시하고 상기 구강 질환에 대한 정보를 레이블링(labeling)하도록, 상기 오브젝트 검출 영상 데이터 및 상기 CBCT영상 데이터를 판독 UI(User Interface)를 통해 상기 판독 장치에 표시하는 단계; 및
상기 판독 장치로부터 수신된 판독결과 데이터, 상기 CBCT영상 데이터 및 상기 오브젝트 검출 영상 데이터를 포함하는 메모리에 저장되는 학습데이터 세트를 기초로 판독결과 데이터 생성하도록 지도학습하는 단계;를 포함하고,
상기 판독 UI는,
환자 별 CBCT영상 데이터 목록이 표시되는 제1 판독 UI 영역, 상기 환자 별 CBCT영상 데이터 목록에서 선택된 환자의 CBCT영상 데이터가 표시되고 상기 구강 질환에 대응되는 세그먼트가 CBCT영상 데이터 상에 표시 가능한 제2 판독 UI 영역, 상기 오브젝트 검출 영상 데이터가 표시 가능한 제3 판독 UI 영역 및 상기 구강 질환에 대한 정보가 레이블링 가능한 제4 판독 UI 영역을 포함하고,
상기 판독 장치에 표시하는 단계는,
상기 판독 장치의 입력에 따라 상기 오브젝트 검출 영상 데이터에 표시된 상기 좌표 축의 위치를 상기 제3 판독 UI 영역에서 변경하고, 상기 제3 판독 UI 영역에서 상기 좌표 축의 위치가 변경됨에 응답하여, 상기 좌표 축의 위치에 대응되는 CBCT영상 데이터를 상기 제2 판독 UI 영역에 표시하고,
상기 판독 장치의 입력에 응답하여, 상기 판독 장치의 입력에 대응되는 위치에 상기 세그먼트를 상기 제2 판독 UI 영역에 표시하고, 상기 세그먼트가 상기 제2 판독 UI 영역에 표시되면, 표시된 세그먼트에 포함된 구강의 질환명 및 상기 표시된 세그먼트에 대응되는 해부학적 위치 정보를 상기 제4 판독 UI 영역에서 레이블링할 수 있고,
상기 제2 판독 UI 영역에 상기 세그먼트가 표시되면, 상기 메모리에 저장된 학습데이터 세트를 기초로 다른 치아에 대한 세그먼트를 자동으로 표시하고,
상기 CBCT영상 데이터는,
상기 구강의 복수의 단면들 각각에 대한 탑뷰(top view) 영상 데이터 및 상기 탑뷰 영상 데이터를 기초로 생성된 구강에 대한 오토 파노라마 영상 데이터를 포함하고,
상기 미리 설정된 오브젝션 검출 알고리즘은,
상기 메모리에 저장되는 학습데이터 세트에 구축된 환자의 치아 형상을 패턴화한 알고리즘인 것을 특징으로하는, 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제1 항에 있어서,
상기 판독 결과 데이터는,
상기 CBCT영상 데이터, 상기 CBCT영상 데이터 상에 상기 구강 질환을 나타내는 인디케이터, 및 상기 구강 질환에 관한 정보를 나타내는 레이블을 포함하고,
상기 UI는,
상기 환자의 개인 정보가 표시되는 제1 UI 영역, 상기 CBCT영상 데이터의 종류가 표시되는 제2 UI 영역, 상기 인디케이터가 표시되는 제3 UI 영역 및 상기 레이블이 표시되는 제4 UI 영역을 포함하는 것을 특징으로 하는, 방법. - 제6 항에 있어서,
상기 사용자 장치에 표시하는 단계는,
상기 사용자 장치의 입력에 응답하여, 상기 인디케이터에 대응되는 구강의 질환명을 상기 제3 UI 영역에 표시하는 것을 특징으로 하는, 방법. - 삭제
- 구강 건강 분석 서비스를 제공하는 장치에 있어서,
사용자 장치, 구강 촬영 장치, 및 판독 장치와 통신을 수행하는 통신부; 및
상기 구강 건강 분석 서비스에 대한 적어도 하나의 UI(User Interface)를 제공하는 프로세서를 포함하고,
상기 프로세서는,
상기 사용자 장치로부터 수신된 판독 요청에 응답하여, 상기 구강 촬영 장치에 의해 촬영된 환자의 CBCT영상 데이터를 입력으로 미리 설정된 오브젝션 검출 알고리즘을 이용하여, 상기 CBCT영상 데이터에서 상기 구강 형태, 상기 구강에 대한 단면의 위치에 대응되는 좌표 축 및 상기 구강의 입체 좌표를 포함하는 구강에 관한 정보가 검출된 오브젝트 검출 영상 데이터를 생성하고,
상기 판독 장치가 상기 오브젝트 검출 영상 데이터를 기초로 상기 CBCT영상 데이터에서 구강 질환을 표시하고 상기 구강 질환에 대한 정보를 레이블링(labeling)하도록, 상기 오브젝트 검출 영상 데이터 및 상기 CBCT영상 데이터를 판독 UI를 통해 상기 판독 장치에 표시하고,
상기 판독 장치로부터 수신된 판독결과 데이터, 상기 CBCT영상 데이터 및 상기 오브젝트 검출 영상 데이터를 포함하는 메모리에 저장되는 학습데이터 세트를 기초로 판독결과 데이터 생성하도록 지도학습하고,
상기 판독 UI는,
환자 별 CBCT영상 데이터 목록이 표시되는 제1 판독 UI 영역, 상기 환자 별 CBCT영상 데이터 목록에서 선택된 환자의 CBCT영상 데이터가 표시되고 상기 구강 질환에 대응되는 세그먼트가 CBCT영상 데이터 상에 표시 가능한 제2 판독 UI 영역, 상기 오브젝트 검출 영상 데이터가 표시 가능한 제3 판독 UI 영역 및 상기 구강 질환에 대한 정보가 레이블링 가능한 제4 판독 UI 영역을 포함하고,
상기 판독 장치는,
상기 판독 장치의 입력에 따라 상기 오브젝트 검출 영상 데이터에 표시된 상기 좌표 축의 위치를 상기 제3 판독 UI 영역에서 변경하고, 상기 제3 판독 UI 영역에서 상기 좌표 축의 위치가 변경됨에 응답하여, 상기 좌표 축의 위치에 대응되는 CBCT영상 데이터를 상기 제2 판독 UI 영역에 표시하고,
상기 판독 장치의 입력에 응답하여, 상기 판독 장치의 입력에 대응되는 위치에 상기 세그먼트를 상기 제2 판독 UI 영역에 표시하고, 상기 세그먼트가 상기 제2 판독 UI 영역에 표시되면, 표시된 세그먼트에 포함된 구강의 질환명 및 상기 표시된 세그먼트에 대응되는 해부학적 위치 정보를 상기 제4 판독 UI 영역에서 레이블링할 수 있고,
상기 제2 판독 UI 영역에 상기 세그먼트가 표시되면, 상기 메모리에 저장된 학습데이터 세트를 기초로 다른 치아에 대한 세그먼트를 자동으로 표시하고,
상기 CBCT영상 데이터는,
상기 구강의 복수의 단면들 각각에 대한 탑뷰(top view) 영상 데이터 및 상기 탑뷰 영상 데이터를 기초로 생성된 구강에 대한 오토 파노라마 영상 데이터를 포함하고,
상기 미리 설정된 오브젝션 검출 알고리즘은,
상기 메모리에 저장되는 학습데이터 세트에 구축된 환자의 치아 형상을 패턴화한 알고리즘인 것을 특징으로하는, 장치. - 하드웨어인 컴퓨터와 결합되어, 상기 제1 항 및 제6 항 내지 제7 항 중 어느 한 항의 구강 건강 분석 서비스를 제공하는 방법을 수행하기 위해 컴퓨터 판독 가능한 기록매체에 저장된, 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220004382A KR102496565B1 (ko) | 2022-01-12 | 2022-01-12 | Cbct를 포함한 구강 영상의 원격 판독에 기반한 구강 건강 분석 서비스 제공 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220004382A KR102496565B1 (ko) | 2022-01-12 | 2022-01-12 | Cbct를 포함한 구강 영상의 원격 판독에 기반한 구강 건강 분석 서비스 제공 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102496565B1 true KR102496565B1 (ko) | 2023-02-06 |
Family
ID=85224172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220004382A KR102496565B1 (ko) | 2022-01-12 | 2022-01-12 | Cbct를 포함한 구강 영상의 원격 판독에 기반한 구강 건강 분석 서비스 제공 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102496565B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101839784B1 (ko) * | 2017-08-01 | 2018-03-19 | 주식회사 뷰노 | 치과 영상 판독을 위한 데이터 생성 시스템 |
| KR20190105333A (ko) * | 2018-03-05 | 2019-09-17 | 재단법인 경북아이티융합 산업기술원 | 영상분석을 이용한 구강 상태 원격 모니터링 시스템 및 그 방법 |
| KR20210006244A (ko) * | 2019-07-08 | 2021-01-18 | 서울대학교치과병원 | 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치 |
| KR20210033440A (ko) * | 2019-09-18 | 2021-03-26 | 주식회사 뷰노 | 치아 병변 정보 제공 방법 및 이를 이용한 장치 |
| KR20210044096A (ko) | 2019-10-14 | 2021-04-22 | 주식회사 큐티티 | 치아우식 탐지를 이용한 구강건강 예측장치 및 방법 |
-
2022
- 2022-01-12 KR KR1020220004382A patent/KR102496565B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101839784B1 (ko) * | 2017-08-01 | 2018-03-19 | 주식회사 뷰노 | 치과 영상 판독을 위한 데이터 생성 시스템 |
| KR20190105333A (ko) * | 2018-03-05 | 2019-09-17 | 재단법인 경북아이티융합 산업기술원 | 영상분석을 이용한 구강 상태 원격 모니터링 시스템 및 그 방법 |
| KR20210006244A (ko) * | 2019-07-08 | 2021-01-18 | 서울대학교치과병원 | 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치 |
| KR20210033440A (ko) * | 2019-09-18 | 2021-03-26 | 주식회사 뷰노 | 치아 병변 정보 제공 방법 및 이를 이용한 장치 |
| KR20210044096A (ko) | 2019-10-14 | 2021-04-22 | 주식회사 큐티티 | 치아우식 탐지를 이용한 구강건강 예측장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Orhan et al. | Evaluation of artificial intelligence for detecting periapical pathosis on cone‐beam computed tomography scans | |
| US11676701B2 (en) | Systems and methods for automated medical image analysis | |
| US10984529B2 (en) | Systems and methods for automated medical image annotation | |
| US20200364624A1 (en) | Privacy Preserving Artificial Intelligence System For Dental Data From Disparate Sources | |
| US11389131B2 (en) | Systems and methods for processing of dental images | |
| US11189028B1 (en) | AI platform for pixel spacing, distance, and volumetric predictions from dental images | |
| US20210118132A1 (en) | Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment | |
| US20210365736A1 (en) | Dental Image Quality Prediction Platform Using Domain Specific Artificial Intelligence | |
| KR102267197B1 (ko) | 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치 | |
| US20220180447A1 (en) | Artificial Intelligence Platform for Dental Claims Adjudication Prediction Based on Radiographic Clinical Findings | |
| US11357604B2 (en) | Artificial intelligence platform for determining dental readiness | |
| US20200411167A1 (en) | Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning | |
| EP4026088A1 (en) | Automated medical image annotation and analysis | |
| US20200387829A1 (en) | Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information | |
| US20220012815A1 (en) | Artificial Intelligence Architecture For Evaluating Dental Images And Documentation For Dental Procedures | |
| US20210358604A1 (en) | Interface For Generating Workflows Operating On Processing Dental Information From Artificial Intelligence | |
| US11311247B2 (en) | System and methods for restorative dentistry treatment planning using adversarial learning | |
| CN111192649B (zh) | 一种牙齿矫正问诊方法、电子设备及存储介质 | |
| Harvey et al. | Guidelines and template for reporting on CBCT scans | |
| Görürgöz et al. | Performance of a convolutional neural network algorithm for tooth detection and numbering on periapical radiographs | |
| WO2023141533A1 (en) | Photo-based dental appliance and attachment assessment | |
| Huang et al. | Deep learning for caries detection using optical coherence tomography | |
| JP5336750B2 (ja) | 医用画像診断支援装置及び医用画像診断支援プログラム | |
| KR102496565B1 (ko) | Cbct를 포함한 구강 영상의 원격 판독에 기반한 구강 건강 분석 서비스 제공 장치 및 방법 | |
| KR102369100B1 (ko) | 멀티 파노라마 영상 표시방법 및 이를 위한 영상 표시장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |