KR102313749B1 - 인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법 - Google Patents
인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법 Download PDFInfo
- Publication number
- KR102313749B1 KR102313749B1 KR1020190172902A KR20190172902A KR102313749B1 KR 102313749 B1 KR102313749 B1 KR 102313749B1 KR 1020190172902 A KR1020190172902 A KR 1020190172902A KR 20190172902 A KR20190172902 A KR 20190172902A KR 102313749 B1 KR102313749 B1 KR 102313749B1
- Authority
- KR
- South Korea
- Prior art keywords
- oral
- color
- input image
- image
- color conversion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 24
- 210000000214 mouth Anatomy 0.000 title description 8
- 238000003325 tomography Methods 0.000 title 1
- 230000001131 transforming effect Effects 0.000 title 1
- 238000006243 chemical reaction Methods 0.000 claims abstract description 125
- 210000000988 bone and bone Anatomy 0.000 claims description 46
- 239000007943 implant Substances 0.000 claims description 32
- 230000037182 bone density Effects 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 23
- 230000003239 periodontal effect Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 description 105
- 239000003795 chemical substances by application Substances 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000002787 reinforcement Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 239000004053 dental implant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002513 implantation Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000007408 cone-beam computed tomography Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004513 dentition Anatomy 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 230000036346 tooth eruption Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/14—Applications or adaptations for dentistry
-
- A61B6/51—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Abstract
본 발명은 인공지능 기반 자동 구강 CT 색상변환장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 인공지능 기반 자동 구강 CT 색상변환장치는, 치조골의 골밀도와 관련하여 사용자가 기제작한 색상변환영상을 저장하는 저장부, 및 임의 피수술자의 구강CT 입력영상이 수신되면 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거하여 색상을 변환하며, 변환한 구강CT 입력영상 및 (기)저장한 색상변환영상에서 발생하는 오차값으로 기설정된 파라미터 값을 조정하여 추후 입력되는 구강CT 입력영상을 자동으로 색상변환하는 제어부를 포함한다.
Description
본 발명은 인공지능 기반 자동 구강 CT 색상변환장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 가상으로 임플란트를 치조골에 심으면 화면에서 치조골 골밀도에 따라 색상이 자동으로 변환되도록 하는 인공지능 기반 자동 구강 CT 색상변환장치 및 그 장치의 구동방법에 관한 것이다.
치과용 임플란트는 원래 인체조직이 상실되었을 때, 회복시켜 주는 대치물을 의미하지만, 치과에서는 인공으로 만든 치아를 이식하는 일련의 시술을 가리킨다. 상실된 치근(뿌리)을 대신할 수 있도록 인체에 거부반응이 없는 티타늄(titanium) 등으로 만든 치근인 픽스츄어(fixture)를 치아가 빠져나간 치조골에 심은 뒤, 인공치아를 고정시켜 치아의 기능을 회복하도록 하는 시술이다. 일반 보철물이나 틀니의 경우, 시간이 지나면 주위 치아와 뼈가 상하지만 임플란트는 주변 치아조직을 상하지 않게 하며, 자연치아와 기능이나 모양이 같으면서도 충치가 생기지 않으므로 반영구적으로 사용할 수 있는 장점이 있다. 인공치아 시술(임플란트 또는 임플란트 시술이라고도 함)은, 픽스츄어의 종류에 따라 다양하지만 소정의 드릴을 사용하여 식립위치를 천공한 후 픽스츄어를 치조골에 식립하여 뼈에 골융합시킨 다음, 픽스츄어에 지대주(abutment)를 결합시킨 후에, 지대주에 최종 보철물을 씌움으로써 완료되는 것이 일반적이다.
치과용 임플란트는 단일 결손치 수복은 물론이거니와 부분 무치아 및 완전 무치아 환자에게 의치의 기능을 증진시키고, 치아 보철 수복의 심미적인 면을 개선시키며, 나아가 주위의 지지골 조직에 가해지는 과도한 응력을 분산시킴과 아울러 치열의 안정화에 도움을 준다. 이러한 치과용 임플란트는 일반적으로, 인공 치근으로서 식립되는 픽스츄어(Fixture)와, 픽스츄어상에 결합되는 지대주(Abutment)와, 지대주를 픽스츄어에 고정하는 지대주 스크류(Abutment Screw)와, 지대주에 결합되는 인공치아를 포함한다. 여기서, 지대주를 픽스츄어에 결합시키기 전에, 즉 치조골에 픽스츄어가 골융합되기까지의 기간 동안에 지대주가 픽스츄어에 결합되어 결합 상태를 유지하기도 한다.
치과용 임플란트의 한 구성요소인 픽스츄어는, 임플란트가 시술되는 위치에 드릴 등을 이용하여 치조골에 형성된 드릴 홀에 식립되는 부분으로서 인공 치근의 역할을 담당한다. 따라서 픽스츄어는 치조골에 견고하게 식립되어야 한다. 이러한 임플란트의 식립은 환자마다 많은 차이가 있는데 이는 환자의 치아의 상태, 임플란트 시술이 필요한 치아의 위치, 환자의 치조골의 상태 등 다양한 요인에 의해 임플란트의 식립 위치 등이 결정되기 때문이다. 특히 치조골의 골밀도는 임플란트 식립 시 매우 중요한 요소이며, 환자의 골밀도의 상태에 따라 임플란트의 식립 위치 및 깊이와 방향을 결정하게 되는데 이는 환자의 특성을 고려하여 신중하게 결정하여야 한다.
한편, 상술한 바와 같이 임플란트의 식립은 환자마다 많은 차이가 있으므로, 종래에 이러한 차이를 의사가 정확하게 인지할 수 있도록 도와주는 임플란트 진단용 영상 생성 시스템이 개발되어 왔다. 종래기술에 따른 임플란트 진단용 영상 생성 시스템은, 컴퓨터 단층촬영(CT) 등을 활용하여 환자의 구강 영역을 시각적으로 표시하여 모의 시술 등에 도움을 주는데, 임플란트의 식립 위치 및 깊이와 방향을 결정하는데 매우 중요한 치조골의 골밀도에 대한 표시가 부정확하고 의사가 인지하기 어려운 상태로 제공되는 문제가 있다.
특히, 종래기술에 따른 임플란트 진단용 영상 생성 시스템은 치조골의 골밀도를 무채색의 명암으로만 표시하여 의사가 치조골의 골밀도를 빠르게 인식하기 어렵게 하며, 전체적인 치조골의 골밀도만을 표시할 뿐 임플란트가 식립될 가상의 위치들에 대한 골밀도를 개별적으로 제공하지 않아 의사가 최적의 임플란트 식립 위치를 파악하는 시간이 길어지는 문제가 있다.
본 발명의 실시예는 가령 가상으로 임플란트를 치조골에 심으면 화면에서 치조골 골밀도에 따라 색상이 자동으로 변환되도록 하는 인공지능 기반 자동 구강 CT 색상변환장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 인공지능 기반 자동 구강 CT 색상변환장치는, 치조골의 골밀도와 관련하여 사용자가 기제작한 색상변환영상을 저장하는 저장부, 및 임의 피수술자의 구강CT 입력영상이 수신되면, 상기 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거하여 색상을 변환하며, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상에서 발생하는 오차값으로 상기 기설정된 파라미터 값을 조정하여 추후 입력되는 구강CT 입력영상을 자동으로 색상변환하는 제어부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 수신한 구강CT 입력영상에서 추출하는 특징점을 근거로 영역을 구별하고 상기 구별한 각 영역을 상기 기설정된 파라미터 값에 근거하여 색상을 서로 다르게 변환하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상를 각각 모폴로지(morphology) 연산으로 영상 전처리를 수행한 후 오차값을 계산하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 기설정된 파라미터 값의 조정을 위해 사용되는 복수의 액션(action) 중에서 상기 사용자에 의해 선택되는 액션을 근거로 상기 구강CT 입력영상을 변환하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 파라미터 값으로서 상기 구강CT 입력영상의 화소값을 서로 다른 복수의 색상으로 양자화하여 이용하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 수신한 피수술자의 구강CT 입력영상에 상기 사용자가 가상의 임플란트를 치주골에 심으면, 상기 치주골에 심는 액션 및 치주골의 골밀도를 근거로 색상을 자동 변환하여 화면에 시각화하여 표시하는 것을 특징으로 할 수 있다.
또한, 본 발명의 실시예에 따른 인공지능 기반 자동 구강 CT 색상변환장치의 구동방법은, 치조골의 골밀도와 관련하여 사용자가 기제작한 색상변환영상을 저장부에 저장하는 단계, 및 제어부가, 임의 피수술자의 구강CT 입력영상이 수신되면, 상기 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거하여 색상을 변환하며, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상에서 발생하는 오차값으로 상기 기설정된 파라미터 값을 조정하여 추후 입력되는 구강CT 입력영상을 자동으로 색상변환하는 단계를 포함하는 것을 특징으로 한다.
상기 자동으로 색상변환하는 단계는, 상기 수신한 구강CT 입력영상에서 추출하는 특징점을 근거로 영역을 구별하고 상기 구별한 각 영역을 상기 기설정된 파라미터 값에 근거하여 색상을 서로 다르게 변환하는 것을 특징으로 할 수 있다.
상기 자동으로 색상변환하는 단계는, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상을 각각 모폴로지 연산으로 영상 전처리를 수행한 후 오차값을 계산하는 것을 특징으로 할 수 있다.
상기 자동으로 색상변환하는 단계는, 상기 기설정된 파라미터 값의 조정을 위해 사용되는 복수의 액션 중에서 상기 사용자에 의해 선택되는 액션을 근거로 상기 구강CT 입력영상을 변환하는 것을 특징으로 할 수 있다.
상기 자동으로 색상변환하는 단계는, 상기 파라미터 값으로서 상기 구강CT 입력영상의 화소값을 서로 다른 복수의 색상으로 양자화하여 이용하는 것을 특징으로 할 수 있다.
상기 자동으로 색상변환하는 단계는, 상기 수신한 피수술자의 구강CT 입력영상에 상기 사용자가 가상의 임플란트를 치주골에 심으면, 상기 치주골에 심는 액션 및 치주골의 골밀도를 근거로 색상을 자동 변환하여 화면에 시각화하여 표시하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따르면, 의료영상 영역의 자동색상분할을 위한 영상전처리, 인공지능 학습 및 그 시각화방법을 적용함으로써 치조골의 골밀도에 대한 표시 정확도를 높여 의사가 쉽게 인지할 수 있을 것이다.
또한, 본 발명의 실시예는 임플란트가 식립될 가상의 위치들에 대한 골밀도를 시각적으로 개별적으로 제공할 수 있어 의사에 의해 최적의 임플란트 식립이 가능할 수 있을 것이다.
도 1은 본 발명의 실시예에 다른 인공지능 기반의 구강CT 색상변환시스템을 나타내는 도면,
도 2는 도 1의 구강CT 색상변환장치의 세부구조를 예시한 블록다이어그램,
도 3은 도 1의 구상CT 색상변환장치의 다른 세부구조를 예시한 블록다이어그램,
도 4는 N개의 색상변환방법을 설명하기 위한 도면, 그리고
도 5는 도 1의 구강CT 색상변환장치의 구동과정을 나타내는 흐름도이다.
도 2는 도 1의 구강CT 색상변환장치의 세부구조를 예시한 블록다이어그램,
도 3은 도 1의 구상CT 색상변환장치의 다른 세부구조를 예시한 블록다이어그램,
도 4는 N개의 색상변환방법을 설명하기 위한 도면, 그리고
도 5는 도 1의 구강CT 색상변환장치의 구동과정을 나타내는 흐름도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다.
본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 [0017] 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 구강CT 색상변환시스템을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능 기반의 구강CT 색상변환시스템(90)은 구강 촬영장치(100) 및 구강CT 색상변환장치(110)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 촬영장치(100)와 같은 일부 구성요소가 생략되어 인공지능 기반의 구강CT 색상변환시스템(90)이 구성되거나, 구강 촬영장치(100)와 같은 일부 구성요소가 구강CT 색상변환장치(110)에 일체화되어 형성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
구강 촬영장치(100)는 가령 임플란트 시술을 받으려는 환자 즉 피시술자의 구강에 대한 영상을 획득하기 위한 장치를 포함한다. 예를 들어, 컴퓨터 단층촬영(Computed Tomography: CT)이나 자기공명영상(magnetic resonance imaging) 장치 등 다양한 장치를 포함할 수 있다. 물론 이외에도 피시술자의 구강 내 치주골 등에 대한 영상을 획득할 수 있다면 어떠한 장치이어도 무관하다. 예를 들어, CT 장치는 피시술자의 뼈 형상 등을 정확하게 파악할 수 있는 장점에 비하여, 피시술자의 구강 내부에 마련되는 다양한 보출물 및 보형물에 의해 영상이 왜곡될 수 있는 문제가 발생할 수 있다.
이에 본 발명의 실시예에 따른 구강 촬영장치(100)는 치아 석고 본(G)을 스캔하여 영상을 획득하는 3차원 스캐너를 더 포함할 수 있다. 스캐너에 의한 영상데이터는 스테레오리소그라피(stereolithography, STL) 데이터를 포함하며, 스테레오리소그라피(STL) 데이터는 아스키(ASCII) 또는 바이너리(binary) 형식을 가질 수 있으며, 3D(Dimension) 프로그램에서 입체물의 모델링 데이터를 다른 종류의 3D 프로그램에서 인식하는데 용이하도록 입체물의 표면을 다각형화된 폴리곤(Polygon)으로 표현하는 데이터이다.
또한, 구강CT 색상변환장치(110)는 데스크탑컴퓨터, 랩탑컴퓨터, 태블릿PC, 스마트폰, 스마트 TV 등 다양한 장치를 포함할 수 있다. 구강CT 색상변환장치(110)는 가령 위의 CT 장치와 3차원 스캐너를 이용하여 취득되는 제1 촬영영상 및 제2 촬영영상을 이용하여 관련 의료분야나 영상처리분야 등에 사전지식이 풍부한 전문가가 치조골의 영역을 분할하고 각 영역에 대한 색상의 HU값 평균(M) 및 범위(R)의 변환파라미터를 조정해 사용자가 한눈에 각 영역을 이해하기 쉽게 구성하는 색상변환영상 즉 치조골의 골밀도와 관련하여 전문가가 기제작한 색상변환영상을 기저장하고, 임의 사용자의 구강 컴퓨터단층촬영(CT) 입력영상이 수신되면, 수신한 CT 입력영상을 기설정된 파라미터 값에 근거해 변환하여 변환한 CT 입력영상의 색상변환 결과 상태를 결정하고, 변환한 CT 입력영상 및 기저장한 색상변환영상에서 발생하는 오차를 기설정된 파라미터 값에 반영해주어 추후 입력되는 CT 입력영상의 색상변환을 자동화할 수 있다.
다시 말해, 구강CT 색상변환장치(110)는 가령 임플란트 식립 시술 계획을 도와주는 프로그램을 포함하며, 이를 실행시켜 가상으로 임플란트를 치조골에 심으면 화면에서 치조골 골밀도에 따라 색상이 바뀌게 되는데, 이를 통해 의사의 임플란트 식립이 이루어지도록 할 수 있다. 좀더 구체적으로 구강CT 색상변환장치(110)는 자동으로 치조골 골밀도의 색상변환을 수행하기 위하여 기생성된 치조골 골밀도 관련 영상데이터 즉 색상변환영상을 기저장하고 이를 인공지능의 딥러닝 등을 통해 학습을 수행한다. 뿐만 아니라, 구강CT 색상변환장치(110)는 기저장된 영상데이터와 새롭게 입력된 영상데이터를 각각 전처리한 후 차이를 비교한다. 비교 결과 오차가 발생하는 경우 이를 근거로 기설정된 파라미터의 상태를 조정하여 학습을 진행하게 된다. 학습을 진행하면서 파라미터의 자동선택이 가능하며 정확도도 높아진다.
예를 들어, 본 발명의 실시예에서는 파라미터로서 구강CT 영상이 입력되면, 영역을 분할하고 이를 대략 N개의 색상으로 표현할 수 있다. 물론 색상을 표현하는 과정에서 양자화를 수행하여 N개의 색상을 결정하여 표현하게 된다. 여기서, "양자화"란 변수 값의 범위를 유한수의 중복하지 않는 소 범위 혹은 구간으로 분할하여 각각의 구간을 그 구간 내의 지정된 값에 의해 대표시키는 방법 또는 변수의 값의 범위를 유한개의 중복이 없는 부분범위 또는 구간별로 분할하는 것이라 정의할 수 있다. 이때, 변환 인자(factor)는 파라미터가 될 수 있다. 본 발명의 실시예에 따른 구강CT 색상변환장치(110)는 이러한 변환인자 즉 파라미터를 기존에 기저장된, 가령 기존에 해당 분야의 전문가가 수동 작업을 통해 수동으로 표현해 저장해 놓은 영상데이터를 근거로 오차를 반영해 조정하여 새롭게(혹은 추후) 입력되는 CT 입력영상을 변환하여 출력하게 된다. 기타 자세한 내용은 이후에 좀더 다루기로 한다.
이와 같이, 구강CT 색상변환장치(110)는 입력된 구강CT 영상에 대하여 지정된 파라미터값으로 영상을 변환한 후, 기저장된 영상데이터와 비교하여 오차의 발생 여부를 판단하고, 물론 이러한 과정은 가상 임플란트 식립과 같은 다양한 액션별로 이루어질 수 있으며, 이러한 과정을 학습함으로써 구강CT 입력영상의 색상변환을 자동화하면서 동시에 색상변환의 정확도를 높일 수 있다. 예를 들어, 색상을 변환하는 과정에서 잡음이 발생할 수 있고, CT 의료기기의 한계로 인해 불균일한 변환 결과가 초래될 수 있으므로, 구강CT 색상변환장치(110)는 이를 고려하여 최초 설정된 파라미터값을 조정해 색상변환을 수행함으로써 색상변환의 정확도를 높일 수 있다.
도 2는 도 1의 구강CT 색상변환장치의 세부구조를 예시한 블록다이어그램이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 구강CT 색상변환장치(110)는 통신 인터페이스부(200), 제어부(210), 구강CT 색상변환부(220), 사용자 인터페이스부(230) 및 저장부(240)의 일부 또는 전부를 포함하며, 디스플레이부를 더 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(240)와 같은 일부 구성요소를 생략하여 구강CT 색상변환장치(110)가 구성되거나, 구강CT 색상변환부(220)와 같은 일부 구성요소가 제어부(210)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(200)는 가령 도 1의 구강 촬영장치(100)로부터 제공되는 피시술자의 구강을 촬영한 구강CT 촬영영상을 수신하여 제어부(210)로 전달한다. 예를 들어, 통신 인터페이스부(200)는 구강 촬영장치(100)와 일체화되어 형성되는 경우 가령 구강CT 촬영영상을 압축하지 않은 상태에서 수신하여 제어부(210)로 제공할 수 있다.
따라서, 통신 인터페이스부(200)는 시스템 설계자가 어떠한 형태로 구강CT 색상변환장치(110)를 구성하느냐에 따라 압축 영상을 수신하여 디코딩 등의 동작을 수행하거나 사용하지 않을 수 있으며, 이에 본 발명의 실시예에서는 다양한 구성이 가능하므로 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
제어부(210)는 도 1의 구강CT 색상변환장치(110)를 구성하는 통신 인터페이스부(200), 구강CT 색상변환부(220), 사용자 인터페이스부(230) 및 저장부(240)의 전반적인 제어동작을 담당한다. 예를 들어, 제어부(210)는 구강CT 색상변환부(220)가 인공지능 기반의 색상변환 동작을 수행할 수 있도록 저장부(240)에 학습을 위한 영상데이터 즉 기생성된 색상변환영상을 저장시킨 후 이를 구강CT 색상변환부(220)로 제공할 수 있다. 여기서, 저장부(240)에 저장되는 학습 영상데이터는 입력된 구강CT 입력영상을 가령 치조골에 대하여 복수의 영역으로 분할하고 분할된 각 영역을 서로 다른 색상으로 표현하기 위하여 사전지식이 풍부한 전문가가 수동으로 색상의 화소값(혹은 HU값) 평균(M) 및 범위(R)의 변환 파라미터를 조정하여 이를 통해 사용자가 한눈에 각 영역을 이해하기 쉽게 구성한 영상데이터를 의미한다. 이러한 데이터는 외부의 의료기관 등에서 제공받아 사용하는 것도 얼마든지 가능할 수 있을 것이다. 관련 분야에 빅데이터를 수집하여 이를 활용함으로써 인공지능의 딥러닝을 위해 더욱 유용할 수 있을 것이다. 다시 말해, 많은 데이터를 활용하면 할수록 결과에 대한 객관성 또는 정확도는 높아질 수 있다.
또한, 제어부(210)는 사용자 인터페이스부(230)를 통해 가상으로 임플란트를 치조골에 심기 위한 액션을 수신할 수 있다. 제어부(210)는 사용자 인터페이스 신호를 수신할 수 있다. 물론 여기서 액션은 딥러닝을 통해 추출되는 다양한 이벤트 중 하나가 될 수도 있을 것이다. 제어부(210)는 수신된 인터페이스 신호를 구강CT 색상변환부(220)에 제공하며, 이를 근거로 발생되는 치조골 영상에서의 색상 변화를 다시 디스플레이 등으로 제공할 수 있다. 디스플레이의 화면상에 본 발명의 실시예에 따라 변환된 색상의 구강CT 입력영상이 시각화되어 표시될 수 있다.
구강CT 색상변환부(220)는 가령 치과의사의 임플란트 식립 시술 계획을 돕기 위한 프로그램을 포함하고 제어부(210)의 제어하에 이를 실행시킬 수 있다. 구강CT 색상변환부(220)는 통신 인터페이스부(200)를 통해 피수술자의 CT 입력영상이 수신되면 이를 저장부(240)에 저장시킬 수 있다.
또한, 구강CT 색상변환부(220)는 가령 사용자 인터페이스부(230)를 통해 가상의 임플란트를 치조골에 심기 위한 액션이 수신되면, 이를 저장부(240)에 저장한 CT 입력영상에 적용하기 위한 구강CT 색상변환부(220)를 가동시킨다. 이의 과정에서. 저장부(240)에 기저장한 참조 영상데이터, 즉 기생성하여 저장한 색상변환영상을 참조 및 학습할 수 있다. 예를 들어, 구강CT 색상변환부(220)는 수신된 구강CT 입력영상을 지정된 파라미터 값을 이용하여 지정 영역에 대한 색상변환을 수행할 수 있다. 그러나, 그 색상변환된 구강CT 입력영상에는 잡음 및 CT 의료기기의 한계로 인해 불균일한 변환결과가 초래될 수 있다.
이에, 구강CT 색상변환부(220)는 다수 피시술자들의 구강을 촬영해 얻은 구강CT 촬영영상에 대하여 해당 분야에 사전지식이 풍부한 전문가가 수동으로 작업하여 변환한 영상데이터를 참조 및 학습하여 지정된 파라미터 값을 변경한다. 물론 이러한 파라미터 값 변경은 다양한 액션마다 이루어질 수 있다. 이에 따라 구강CT 색상변환부(220)는 오차를 조정해 색상변환의 정확도를 높여 자동 색상변환된 영상데이터가 디스플레이 등에 표시되도록 할 수 있다.
사용자 인터페이스부(230)는 사용자, 가령 치과 의사의 다양한 명령을 수신할 수 있다. 사용자 인터페이스부(230)는 예를 들어, 컴퓨터의 경우 키보드나 마우스를 의미할 수 있다. 물론 사용자 인터페이스부(230)는 모니터와 같은 디스플레이부를 더 포함할 수도 있다. 디스플레이부의 경우 터치패널을 포함하는 경우 스크린 터치가 가능하여 사용자 명령을 수신할 수 있기 때문이다.
예를 들어, 치과의사는 피수술자의 구강CT 촬영영상을 획득한 후, 본 발명의 실시예에 따른 프로그램을 실행하여 가상의 임플란트를 치조골에 심어 화면에 나타내는 치조골 골밀도의 색상을 확인할 수 있다. 이에 따라, 식립 강도나 정확한 위치를 판단하여 임플란트 식립에 정확도를 높일 수 있다. 이를 위하여 구강CT 색상변환부(220)는 기존의 수동 작업으로 이루어진 전문가의 영상데이터를 이용하고, 또 잡음이나 CT 의료기기의 한계를 바로잡기 위하여 전문가 생성한 영상데이터와 비교하여 오차를 바로잡음으로써 또 이의 과정에서 인공지능 기반의 학습을 수행함으로써 정확도를 높일 수 있게 되는 것이다.
저장부(240)는 제어부(210)의 제어하에 다양한 정보 및 데이터를 저장할 수 있다. 여기서, 정보는 식립을 위한 사용자 즉 치과의사의 인터페이스 신호를 의미할 수 있고, 데이터는 촬영영상의 영상 데이터 등을 의미할 수 있지만, 본 발명의 실시예에서는 그러한 용어의 개념에 특별히 한정하지는 않을 것이다.
저장부(240)는 전문가가 다수의 피수술자로부터 획득한 구강CT 영상에 대하여 수동 작업을 통해 색상변환을 수행하여 얻은 학습 데이터를 저장할 수 있다. 이러한 학습 데이터는 제어부(210)의 제어하에 구강CT 색상변환부(220)로 제공될 수 있을 것이다.
도 3은 도 1의 구강CT 색상변환장치의 다른 세부구조를 예시한 블록다이어그램이며, 도 4는 N개의 색상변환방법을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 구강CT 색상변환장치(110')는 의료영상 영역의 자동색상분할을 위한 영상전처리, 인공지능학습 및 그 시각화 동작을 수행하며, 이를 위하여 특징점 추출부(300), 에이전트부(310) 및 색상변환부(320)의 일부 또는 전부를 포함할 수 있다.
여기서, "일부 또는 전부를 포함"한다는 것은 특징점 추출부(300)와 같은 일부 구성요소가 생략되어 구성되거나, 색상변환부(320)와 같은 일부 구성요소가 에이전트부(310)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다. 또한, 위의 구성요소들은 소프트웨어(S/W), 하드웨어(H/W) 또는 그 조합에 의해 구성될 수 있을 것이다.
특징점 추출부(300)는 입력된 구강CT 이미지(295)로부터 특징점을 추출할 수 있다. 예를 들어, CT 이미지는 프레임(frame) 단위로 수신될 수 있으며, 또는 단위 프레임 영상을 복수의 블록으로 쪼갠 매크로블록 단위로 수신될 수도 있다. 따라서 특징점 추출부(300)는 특징점 추출을 통해 가령 강화 학습에 사용될 상태(s)를 추출할 수 있다. 좀더 구체적으로, 특징점 추출부(300)는 CT 입력영상으로부터 강화 학습에 사용될 상태(s)를 추출하기 위해 다양한 특징 추출 알고리즘을 사용할 수 있다. 예를 들어, U-Net, AutoEncoder, CNN(Convolutional Neural Network) 등 다양한 알고리즘을 사용할 수 있다.
에이전트부(310)는 강화학습의 결과를 바탕으로 생성된 색상변환영상을 모폴로지 연산 등의 영상 전처리를 거친 후 같은 방법의 영상 전처리를 거친 전문가의 색상변환영상과의 차이 (E(i-i_)^2)를 오차로 정의하고, 이 오차의 역수를 강화학습의 리워드(reward)로 정의하여 알맞은 색상변환이 되도록 에이전트를 학습한다.
먼저, 에이전트부(310)에서 활용하는 수동적 방법의 영상 데이터의 생성과정을 간략하게 살펴본다. CBCT 등을 이용한 의료 영상의 특징은 영역별 상이한 HU(Hounsfield Unit) 값을 갖는다. CBCT를 촬영하는 여러 영역(예: 치아, 치조골 등)의 물리적 특성에 따라 서로 다른 스케일의 HU값을 가지게 된다. 또한, CBCT 등을 이용한 의료영상의 효과적인 시각화가 이루어지며 파라미터 기반의 색상 분할이 가능하다. 각 상이한 영역별 화소값을 서로 다른 색상으로 변환(양자화)하기 위해 N개의 색상을 결정하고, 양자화를 위한 N개의 HU 평균값 및 범위를 사용자가 수동으로 조절하여 실제 화소값(HU)이 N개의 서로 다른 양자화 영역에 포함될 경우 대표되는 색상값으로 양자화하여 색상변호나 결과를 획득한다. 도 4는 N개의 색상변환 방법을 나타내고 있다.
본 발명의 실시예에 따른 기생성된 색상변환영상을 생성하기 위해 사용된 수동적 방법은 서로 다른 색상으로의 분할을 위해 사전 지식이 풍부한 전문가가 수동으로 표현할 색상의 HU값 평균(M) 및 범위(R)의 변환파라미터를 조정한다. 이를 통해 사용자가 한눈에 각 영역을 이해하기 쉽도록 구성이 가능하다. 영역별 불균일한 색상변환 결과는 화소값(HU값) 단위의 필터링에 의한 변화(양자화)는 동일한 영역임에도 불구하고 불균일한 색상변환결과를 가져올 수 있다. 다시 말해, HU값을 이용한 변환영상은 화소값의 범위를 이용한 선형적 필터링에 의한 변환으로 동일 영역임에도 불구하고 잡음과 CT 의료기기의 한계로 인해 불균일한 변환 결과를 가져온다. 이를 해결하기 위해 전문가가 만들어 놓은 변환영상에 모폴로지 연산 등의 영상 전처리 기술을 통해 균일한 색상변환 결과를 재구성할 수 있다.
따라서, 본 발명의 실시예에서는 재구성된 색상변환결과를 기반으로 전문가 수준의 자동색상변환알고리즘을 구현하기 위해 강화학습 방법(예: Deep Q-Network 등)을 기반으로 수동변환에 사용된 여러가지 파라미터(M, R) 및 색상변환결과 상태(s)를 정의하고, 이 파라미터들의 값을 변환시킬 수 있는 액션(action(a))을 정의하여 전문가와 같은 색상변환을 자동으로 시행한다. 기존의 수동적 방법에 의해 전문가가 제작해 놓은 변환영상을 모폴로지 연산 등 영상 전처리를 통해 균일한 색상변환영상으로 변형하고, 이 영상을 출력(타겟) 데이터로 사용하며 입력 데이터인 CT로부터 현재 파라미터(M, R)를 이용해 재구성한 후 이를 모폴로지 연산 등의 영상전처리를 거친 결과와의 차이를 오차로 정의하고, 이 오차의 역수를 DQN(Deep Q-Network) 구조의 리워드(reward)로 사용하여 파라미터의 상태를 변환시키는 학습을 진행한다. 학습이 진행됨에 따라 파라미터의 자동선택이 전문가와 유사하게 변환된다.
본 발명의 실시예에 따른 에이전트부(310)는 학습데이터 정제를 위한 영상전처리 모델을 근거로 모폴로지 연산 등을 통해 전문가가 제작해 놓은 색상변환영상을 균일한 색상변환결과로 재구성하여 학습데이터를 정제하여 인공지능 학습 성능을 증대시킨다. 백그라운드 모델로서 강화학습모델 중 하나인 DQN 구조를 기반으로 전문가가 수동으로 영상변환시 필요한 파라미터(p)를 정의한다(N, m_n, m_r).
액션부(미표기)는 N개의 변환 파라미터(P)값을 조정하기 위한 강화학습의 3가지 결과 정의(예: 증가, 감소, 유지) 즉 3*N개의 강화학습 결과 중 선택되는 결과를 바탕으로 색상변환의 결과가 업데이트된다.
색상변환부(Environment)(320)는 에이전트부(310)에서 결정하는 파라미터를 이용하여 색상을 변환하는 동작을 수행한다. 예를 들어, 색상변환부(320)는 CT 입력영상의 분할 영역에 대하여 파라미터를 기준으로 색상을 변환할 수 있다.
또한, 색상변환부(320)는 에이전트부(310)로 피드백 동작을 수행할 수 있다. 이는 본 발명의 실시예에서 리워드(reward) 동작에 해당될 수 있다. 여기서, 리워드는 결정된 액션(Action)으로부터 변화한 파라미터와 실제 파라미터의 차이(Mean Square Error)의 역수이며, 결정된 액션으로부터 결정된 파라미터를 이용하여 색상변환 후 모폴로지 등의 영상전처리를 거친 영상과 전문가가 모폴로지 등의 영상 전처리를 통해 수동으로 제작한 색상변환 결과의 차이(Pixel-wise Cross-Entropy)의 역수에 해당된다.
에이전트부(310)는 백그라운드 모델로서 강화학습모델 중 하나인 DQN 구조를 기반으로 전문가가 수동으로 영상변환시 필요한 파라미터(p)를 정의하고, 학습데이터 정제를 위한 영상 전처리 모델을 통해 모폴로지 연산 등을 통해 전문가가 제작해 놓은 색상변환영상을 균일한 색상변환결과로 재구성하여 학습데이터를 정제하여 인공지능 학습 성능을 증대시키게 된다.
도 5는 도 1의 구강CT 색상변환장치의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 5를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 구강CT 색상변환장치(110)는 치조골(또는 치아)의 골밀도와 관련하여 사용자(혹은 전문가)가 기제작한 색상변환영상을 저장부에 저장한다(S500). 여기서, 기제작한 색상변환영상은 피시술자의 구강을 촬영하여 입력되는 구강CT 입력영상을 색상변환할 때 참조 또는 기준 영상이 될 수 있다.
또한, 구강CT 색상변환장치(110)는 임의 피시술자의 구강CT 입력영상이 수신되면, 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거해 변환하며, 변환한 구강CT 입력영상 및 기저장한 색상변환영상에서 발생하는 오차를 기설정된 파라미터 값에 반영해주어 추후 입력되는 구강CT 입력영상의 색상변환을 자동화한다(S510).
상기한 내용 이외에도 도 1의 구강CT 색상변환장치(110)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 구강 촬영장치 110, 110': 구강CT 색상변환장치
200: 통신 인터페이스부 210: 제어부
220: 구강CT 색상변환부 230: 사용자 인터페이스부
240: 저장부 300: 특징점 추출부
310: 에이전트부 320: 색상변환부
200: 통신 인터페이스부 210: 제어부
220: 구강CT 색상변환부 230: 사용자 인터페이스부
240: 저장부 300: 특징점 추출부
310: 에이전트부 320: 색상변환부
Claims (12)
- 치조골의 골밀도와 관련하여 사용자가 기제작한 색상변환영상을 저장하는 저장부; 및
임의 피수술자의 구강CT 입력영상이 수신되면, 상기 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거하여 색상을 변환하며, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상에서 발생하는 오차값으로 상기 기설정된 파라미터 값을 조정하여 추후 입력되는 구강CT 입력영상을 자동으로 색상변환하는 제어부;를 포함하되,
상기 제어부는, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상을 각각 모폴로지(morphology) 연산으로 영상 전처리를 수행한 후 오차값을 계산하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치. - 제1항에 있어서,
상기 제어부는, 상기 수신한 구강CT 입력영상에서 추출하는 특징점을 근거로 영역을 구별하고 상기 구별한 각 영역을 상기 기설정된 파라미터 값에 근거하여 색상을 서로 다르게 변환하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치. - 삭제
- 치조골의 골밀도와 관련하여 사용자가 기제작한 색상변환영상을 저장하는 저장부; 및
임의 피수술자의 구강CT 입력영상이 수신되면, 상기 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거하여 색상을 변환하며, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상에서 발생하는 오차값으로 상기 기설정된 파라미터 값을 조정하여 추후 입력되는 구강CT 입력영상을 자동으로 색상변환하는 제어부;를 포함하되,
상기 제어부는, 상기 기설정된 파라미터 값의 조정을 위해 사용되는 복수의 액션(action) 중에서 상기 사용자에 의해 선택되는 액션을 근거로 상기 구강CT 입력영상을 변환하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치. - 제1항에 있어서,
상기 제어부는, 상기 파라미터 값으로서 상기 구강CT 입력영상의 화소값을 서로 다른 복수의 색상으로 양자화하여 이용하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치. - 제1항에 있어서,
상기 제어부는, 상기 수신한 피수술자의 구강CT 입력영상에 상기 사용자가 가상의 임플란트를 치주골에 심으면, 상기 치주골에 심는 액션 및 치주골의 골밀도를 근거로 색상을 자동 변환하여 화면에 시각화하여 표시하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치. - 치조골의 골밀도와 관련하여 사용자가 기제작한 색상변환영상을 저장부에 저장하는 단계; 및
제어부가, 임의 피수술자의 구강CT 입력영상이 수신되면, 상기 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거하여 색상을 변환하며, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상에서 발생하는 오차값으로 상기 기설정된 파라미터 값을 조정하여 추후 입력되는 구강CT 입력영상을 자동으로 색상변환하는 단계;를 포함하되,
상기 자동으로 색상변환하는 단계는,
상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상을 각각 모폴로지 연산으로 영상 전처리를 수행한 후 오차값을 계산하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치의 구동방법. - 제7항에 있어서,
상기 자동으로 색상변환하는 단계는,
상기 수신한 구강CT 입력영상에서 추출하는 특징점을 근거로 영역을 구별하고 상기 구별한 각 영역을 상기 기설정된 파라미터 값에 근거하여 색상을 서로 다르게 변환하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치의 구동방법. - 삭제
- 치조골의 골밀도와 관련하여 사용자가 기제작한 색상변환영상을 저장부에 저장하는 단계; 및
제어부가, 임의 피수술자의 구강CT 입력영상이 수신되면, 상기 수신한 구강CT 입력영상을 기설정된 파라미터 값에 근거하여 색상을 변환하며, 상기 변환한 구강CT 입력영상 및 상기 저장한 색상변환영상에서 발생하는 오차값으로 상기 기설정된 파라미터 값을 조정하여 추후 입력되는 구강CT 입력영상을 자동으로 색상변환하는 단계;를 포함하되,
상기 자동으로 색상변환하는 단계는,
상기 제어부는, 상기 기설정된 파라미터 값의 조정을 위해 사용되는 복수의 액션 중에서 상기 사용자에 의해 선택되는 액션을 근거로 상기 구강CT 입력영상을 변환하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치의 구동방법. - 제7항에 있어서,
상기 자동으로 색상변환하는 단계는,
상기 파라미터 값으로서 상기 구강CT 입력영상의 화소값을 서로 다른 복수의 색상으로 양자화하여 이용하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치의 구동방법. - 제7항에 있어서,
상기 자동으로 색상변환하는 단계는,
상기 수신한 피수술자의 구강CT 입력영상에 상기 사용자가 가상의 임플란트를 치주골에 심으면, 상기 치주골에 심는 액션 및 치주골의 골밀도를 근거로 색상을 자동 변환하여 화면에 시각화하여 표시하는 것을 특징으로 하는 인공지능 기반 자동 구강 CT 색상변환장치의 구동방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190172902A KR102313749B1 (ko) | 2019-12-23 | 2019-12-23 | 인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법 |
| CN202080089495.3A CN114845638A (zh) | 2019-12-23 | 2020-10-08 | 基于人工智能的口腔计算机断层扫描影像自动色彩转换装置及其驱动方法 |
| PCT/KR2020/013738 WO2021132856A1 (ko) | 2019-12-23 | 2020-10-08 | 인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법 |
| US17/600,092 US20220183645A1 (en) | 2019-12-23 | 2020-10-08 | Artificial intelligence-based oral ct automatic color conversion device and method for driving same |
| TW109141107A TWI766446B (zh) | 2019-12-23 | 2020-11-24 | 基於人工智慧之口腔電腦斷層掃描影像的自動色彩轉換裝置及其驅動方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190172902A KR102313749B1 (ko) | 2019-12-23 | 2019-12-23 | 인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210080867A KR20210080867A (ko) | 2021-07-01 |
| KR102313749B1 true KR102313749B1 (ko) | 2021-10-18 |
Family
ID=76574871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190172902A KR102313749B1 (ko) | 2019-12-23 | 2019-12-23 | 인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220183645A1 (ko) |
| KR (1) | KR102313749B1 (ko) |
| CN (1) | CN114845638A (ko) |
| TW (1) | TWI766446B (ko) |
| WO (1) | WO2021132856A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI807809B (zh) * | 2022-05-04 | 2023-07-01 | 國立東華大學 | 利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101812484B1 (ko) * | 2016-10-06 | 2017-12-28 | 주식회사 메가젠임플란트 | 임플란트 진단용 영상 생성 시스템 및 그 생성방법 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4077430B2 (ja) * | 2003-07-31 | 2008-04-16 | 佳知 高石 | 骨密度評価装置および骨密度評価方法 |
| JP5113841B2 (ja) * | 2006-08-21 | 2013-01-09 | エスティーアイ・メディカル・システムズ・エルエルシー | 内視鏡からの映像を用いるコンピュータ支援解析 |
| TWI397402B (zh) * | 2010-06-17 | 2013-06-01 | Jing Jing Fang | 植牙植體方位規劃暨植牙鑽孔導引板設計之整合方法 |
| KR101179081B1 (ko) * | 2011-02-11 | 2012-09-03 | 한국과학기술연구원 | 골밀도 측정을 이용한 환자 맞춤형 인공삽입물 설계 장치 |
| TWM445431U (zh) * | 2012-08-28 | 2013-01-21 | jun-long Chen | 植牙導航透視一次性整合系統 |
| CN202920375U (zh) * | 2012-09-03 | 2013-05-08 | 陈俊龙 | 植牙导航透视一次性整合系统 |
| WO2014207932A1 (ja) * | 2013-06-28 | 2014-12-31 | メディア株式会社 | 歯周病検査装置及び歯周病検査装置に使用する画像処理プログラム |
| JP6262179B2 (ja) * | 2014-12-05 | 2018-01-17 | ディオ コーポレーションＤｉｏ Ｃｏｒｐｏｒａｔｉｏｎ | デンタルインプラント施術のための手術ガイドおよび植立物の製造方法 |
| KR101631256B1 (ko) * | 2015-03-09 | 2016-06-16 | 주식회사 디오 | 트레이를 이용한 치아 임플란트 시술을 위한 서지컬 가이드 및 크라운 제조방법 |
| JP6475138B2 (ja) * | 2015-09-30 | 2019-02-27 | 富士フイルム株式会社 | 制御装置、放射線画像撮影装置、放射線画像撮影方法、及び放射線画像撮影プログラム |
| WO2018127949A1 (ja) * | 2017-01-05 | 2018-07-12 | 佳知 高石 | 骨質評価装置，方法およびプログラムならびに骨折リスク評価装置，方法およびプログラム |
| EP3588438A4 (en) * | 2017-03-07 | 2020-03-18 | Shanghai United Imaging Healthcare Co., Ltd. | METHOD AND SYSTEM FOR PRODUCING COLORED MEDICAL IMAGES |
| KR102054210B1 (ko) * | 2018-03-06 | 2019-12-10 | 경희대학교 산학협력단 | 치아 ct 영상을 이용한 자동 파노라마 영상 생성 방법 및 시스템 |
| KR101981202B1 (ko) * | 2018-12-11 | 2019-05-22 | 메디컬아이피 주식회사 | 의료영상 재구성 방법 및 그 장치 |
-
2019
- 2019-12-23 KR KR1020190172902A patent/KR102313749B1/ko active IP Right Grant
-
2020
- 2020-10-08 US US17/600,092 patent/US20220183645A1/en active Pending
- 2020-10-08 WO PCT/KR2020/013738 patent/WO2021132856A1/ko active Application Filing
- 2020-10-08 CN CN202080089495.3A patent/CN114845638A/zh active Pending
- 2020-11-24 TW TW109141107A patent/TWI766446B/zh active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101812484B1 (ko) * | 2016-10-06 | 2017-12-28 | 주식회사 메가젠임플란트 | 임플란트 진단용 영상 생성 시스템 및 그 생성방법 |
Non-Patent Citations (1)
| Title |
|---|
| M.M. Sorkhabi 외, Classification of alveolar bone density using 3-D deep convolutional neural network in the cone-beam CT images: A 6-month clinical study. Measurement 148(2019). 2019년 8월 12일 공개* |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202127368A (zh) | 2021-07-16 |
| CN114845638A (zh) | 2022-08-02 |
| WO2021132856A1 (ko) | 2021-07-01 |
| US20220183645A1 (en) | 2022-06-16 |
| KR20210080867A (ko) | 2021-07-01 |
| TWI766446B (zh) | 2022-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10098715B2 (en) | Generating a design for a dental restorative product from dental images | |
| CN106725936B (zh) | 一种基于云技术的牙科3d打印系统 | |
| Barone et al. | Interactive design of dental implant placements through CAD-CAM technologies: from 3D imaging to additive manufacturing | |
| KR20110086035A (ko) | 치과 보철물 형성 방법 및 시스템 | |
| CN106580495B (zh) | 一种牙科3d打印系统 | |
| KR102283821B1 (ko) | 구조물 데이터 매칭 방법 및 구강 내 구조물 데이터 매칭 시스템 | |
| AU2015245927A1 (en) | Dental implant guide formation system | |
| KR20200109419A (ko) | 최적화된 어버트먼트 및 보철물 수복 유형 설계를 위한 임플란트 식립 설계장치 및 그 방법 | |
| KR20110074186A (ko) | 보철물을 설계하는 방법 | |
| KR102255413B1 (ko) | Ct 영상에서 치아 관심 영역 추출 방법 및 장치 | |
| KR102313749B1 (ko) | 인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법 | |
| CN108022247B (zh) | 基于牙周膜影像学解剖特征提取活体牙三维牙根形态方法 | |
| KR102191798B1 (ko) | 임플란트 수술결과 평가방법 및 장치, 그를 위한 스캔정보 획득방법 | |
| KR20210072786A (ko) | 맞춤형 치과 임플란트 그리고 맞춤형 치과 임플란트를 제작하기 위한 방법 및 시스템 | |
| KR20210092974A (ko) | 신경관 라인 생성방법 및 이를 위한 치과 임플란트 수술계획 수립장치 | |
| KR20120081578A (ko) | 구강 모델을 형성하는 방법 | |
| JP7269587B2 (ja) | セグメンテーション装置 | |
| KR102292873B1 (ko) | 상악동 영역 분할방법 및 이를 위한 치과영상 처리장치 | |
| Moglioni et al. | Intra-oral scanning and CAD/CAM prosthesis fabrication | |
| KR20200134037A (ko) | 신경관 라인 자동 생성방법 및 이를 위한 의료영상 처리장치 | |
| CN115315229B (zh) | 牙科器具的数字上蜡 | |
| KR20240044045A (ko) | 의료 영상 처리 방법 및 디바이스 | |
| KR20150016194A (ko) | 수술용 가이드를 설계하는 방법 | |
| KR20230162819A (ko) | 인공지능 기반 치아 수복을 위한 보철물 제작 프로그램을 기록한 기록매체 | |
| KR20230161624A (ko) | 인공지능 기반 치아 보철물 제작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |