KR20220158893A - 전자 장치 및 그의 이미지 처리 방법 - Google Patents

전자 장치 및 그의 이미지 처리 방법 Download PDF

Info

Publication number
KR20220158893A
KR20220158893A KR1020210066144A KR20210066144A KR20220158893A KR 20220158893 A KR20220158893 A KR 20220158893A KR 1020210066144 A KR1020210066144 A KR 1020210066144A KR 20210066144 A KR20210066144 A KR 20210066144A KR 20220158893 A KR20220158893 A KR 20220158893A
Authority
KR
South Korea
Prior art keywords
image
oral cavity
region
target
tooth
Prior art date
Application number
KR1020210066144A
Other languages
English (en)
Inventor
이동훈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to KR1020210066144A priority Critical patent/KR20220158893A/ko
Priority to PCT/KR2022/007318 priority patent/WO2022250403A1/ko
Priority to EP22811596.0A priority patent/EP4350705A1/en
Priority to CN202280037126.9A priority patent/CN117378013A/zh
Publication of KR20220158893A publication Critical patent/KR20220158893A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00172—Optical arrangements with means for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

본 개시의 다양한 실시예에 따른 전자 장치는, 3차원 스캐너와 통신 연결되는 통신 회로, 기계 학습 알고리즘에 따라, 대상체들의 구강에 대한 2차원 이미지 세트 및 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델을 저장하는 하나 이상의 메모리 및 하나 이상의 프로세서를 포함할 수 있다. 다양한 실시예에 따른 하나 이상의 프로세서는, 상기 통신 회로를 통해 상기 3차원 스캐너로부터 수신된 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근하고, 상기 상관 모델을 이용하여, 상기 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터, 치아 영역 및 치은 영역을 식별하도록 구성될 수 있다.

Description

전자 장치 및 그의 이미지 처리 방법{ELECTRONIC DEVICE AND IMAGE PROCESSING METHOD USING THEREOF}
본 개시는 전자 장치 및 그의 이미지 처리 방법에 관한 것으로서, 구체적으로는 3차원 스캐너(3D scanner)로부터 수신한 구강에 대한 이미지를 처리하는 전자 장치 및 그의 이미지 처리 방법에 관한 것이다.
일반적으로, 치과 진단 및 치료를 목적으로 환자의 구강 정보(예: 구강 내 치아를 포함한 경조직 및 연조직에 관한 정보)를 획득하기 위하여, 가소성 재료를 이용하여 환자의 구강의 모습을 인상하고(또는 본뜨고), 환자의 구강의 모습을 본뜬 인상체에 석고를 부어서 환자의 구강에 대한 3차원 모형을 만들 수 있다.
최근에는 환자의 구강 정보를 획득하기 위하여, 환자의 구강 내부에 삽입하여 구강 내부의 이미지를 획득하는 3차원 스캐너가 이용되고 있다. 3차원 스캐너를 이용하여 환자의 구강을 스캔함으로써, 환자의 구강에 대한 복수의 2차원 이미지를 획득할 수 있고, 획득한 복수의 2차원 이미지를 이용하여 환자의 구강에 대한 3차원 이미지를 구축할 수 있다. 예를 들어, 의사는 3차원 스캐너를 환자의 구강 내부에 삽입하여, 환자의 치아, 치은 및/또는 연조직을 스캔함으로써, 환자의 구강에 대한 복수의 2차원 이미지를 획득할 수 있다. 이후, 3D 모델링 기술을 적용함으로써, 환자의 구강에 대한 2차원 이미지를 이용하여 환자의 구강에 대한 3차원 이미지를 구축할 수 있다.
본 문서에 개시된 다양한 실시예들은 기계 학습(machine learning)을 통하여 환자의 구강 또는 구강의 진단 모델에 대한 2차원 이미지에 포함된 다양한 영역을 식별하여, 사용자가 구강에 대한 3차원 이미지 재구축을 위한 관심 영역을 쉽게 설정할 수 있는 기술을 제공한다.
본 개시의 다양한 실시예에 따른 전자 장치는, 3차원 스캐너와 통신 연결되는 통신 회로, 기계 학습 알고리즘에 따라, 대상체들의 구강에 대한 2차원 이미지 세트 및 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델을 저장하는 하나 이상의 메모리 및 하나 이상의 프로세서를 포함할 수 있다. 다양한 실시예에 따른 하나 이상의 프로세서는, 상기 통신 회로를 통해 상기 3차원 스캐너로부터 수신된 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근하고, 상기 상관 모델을 이용하여, 상기 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터, 치아 영역 및 치은 영역을 식별하도록 구성될 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치의 이미지 처리 방법은, 3차원 스캐너로부터 수신된 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근하는 동작 및 상관 모델을 이용하여, 상기 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터, 치아 영역 및 치은 영역을 식별하는 동작을 포함할 수 있고, 상기 상관 모델은, 기계 학습 알고리즘에 따라, 대상체들의 구강에 대한 2차원 이미지 세트 및 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다.
본 개시의 다양한 실시예에 따른 치아 영역 및 치은 영역의 식별에 이용되는 기계 학습 모델을 학습시키기 위한 전자 장치는, 대상체들의 구강 또는 구강의 진단 모델에 대한 2차원 이미지 세트 및 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트를 저장하는 하나 이상의 메모리 및 하나 이상의 프로세서를 포함할 수 있다. 다양한 실시예에 따른 상기 하나 이상의 프로세서는, 상기 대상체들의 구강에 대한 2차원 이미지 세트를 입력 데이터로 사용하고, 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시키도록 구성될 수 있다.
본 개시의 다양한 실시예에 따르면, 기계 학습을 통하여 구축된 상관 모델을 이용하여, 구강 또는 구강의 진단 모델에 대한 2차원 이미지로부터 치아 영역 및 치은 영역을 식별하고, 사용자에 의해 식별된 영역들 중 적어도 하나의 영역을 선택하여 구강 또는 진단 모델에 대한 3차원 이미지를 생성함으로써, 사용자가 원하는 영역에 대한 3차원 이미지를 편리하고 빠르게 생성할 수 있다.
본 개시의 다양한 실시예에 따르면, 상관 모델을 이용하여 구강 또는 구강의 진단 모델에 대한 2차원 이미지로부터 치아 영역 및 치은 영역을 식별하고, 식별된 영역들 중 선택된 적어도 하나의 영역에 대응하는 구강 또는 구강의 진단 모델에 대한 3차원 이미지를 생성할 수 있으므로, 3차원 이미지 생성에 필요한 데이터의 양이 줄어들고 3차원 이미지를 생성하는데 소요되는 시간 및 리소스가 줄어들 수 있다.
도 1은 본 개시의 다양한 실시예에 따른 3차원 스캐너를 이용하여 환자의 구강에 대한 이미지를 획득하는 모습을 도시한 도면이다.
도 2a는 본 개시의 다양한 실시예에 따른 전자 장치 및 3차원 스캐너의 블록도이다. 도 2b는 본 개시의 다양한 실시예에 따른 3차원 스캐너의 사시도이다.
도 3은 본 개시의 다양한 실시예에 따른 구강에 대한 3차원 이미지를 생성하는 방법을 도시한 도면이다.
도 4a 및 4b는 본 개시의 다양한 실시예에 따른 구강에 대한 2차원 이미지에 마스킹 작업을 수행하는 것을 도시한 도면이다.
도 5는 본 개시의 다양한 실시예에 따른 상관 모델을 구축하는 방법을 도시한 도면이다.
도 6a 및 6b는 다양한 실시예에 따른 상관 모델을 활용하는 방법을 나타낸 도면이다.
도 7은 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 8은 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 9a 내지 9c는 본 개시의 다양한 실시예에 따른 타겟 구강에 대한 3차원 이미지를 도시한다
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다. 본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.
본 개시에서, 인공지능(artificial intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직의 개념을 포함할 수 있다. 기계 학습(machine learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술일 수 있다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터들 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 기반으로 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어의 기술 분야가 포함될 수 있다.
본 개시에서, 기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
본 개시에서, 인공지능 학습 모델, 기계 학습 모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습 모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 인공지능 학습 모델은, 예를 들어, 인공 신경망 모델(artificial neural network), 합성곱 신경망 모델(convolution neural network) 등일 수 있다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1은 본 개시의 다양한 실시예에 따른 3차원 스캐너(200)를 이용하여 환자의 구강에 대한 이미지를 획득하는 모습을 도시한 도면이다. 다양한 실시예에 따르면, 3차원 스캐너(200)는 대상체(20)의 구강 내의 이미지를 획득하기 위한 치과용 의료 기기일 수 있다. 예를 들어, 3차원 스캐너(200)는 구강 스캐너(intraoral scanner)일 수 있다. 도 1에 도시된 것처럼 사용자(10)(예: 치과 의사, 치과위생사)가 3차원 스캐너(200)를 이용하여 대상체(20)(예: 환자)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 다른 예로는, 사용자(10)가 대상체(20)의 구강의 모양을 본뜬 진단 모델(예: 석고 모델, 인상(impression) 모델)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수도 있다. 이하에서는 설명의 편의를 위하여, 대상체(20)의 구강을 스캐닝하여, 대상체(20)의 구강에 대한 이미지를 획득하는 것으로 설명하지만, 이에 제한되지 않으며, 대상체(20)의 다른 부위(예: 대상체(20)의 귀)에 대한 이미지를 획득하는 것도 가능하다. 3차원 스캐너(200)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 스캔 거리와 스캔 각도를 사용자(10)가 자유롭게 조절할 수 있는 핸드헬드형 스캐너(handheld scanner)일 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)는 대상체(20)의 구강 내에 삽입되어 비 접촉식으로 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득할 수 있다. 구강에 대한 이미지는 적어도 하나의 치아, 치은, 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 의치(denture), 구강 내 삽입되는 교정 보조 도구)을 포함할 수 있다. 3차원 스캐너(200)는 광원(또는 프로젝터)을 이용하여 대상체(20)의 구강(예: 대상체(20)의 적어도 하나의 치아, 치은)에 광을 조사할 수 있고, 대상체(20)의 구강으로부터 반사된 광을 카메라(또는, 적어도 하나의 이미지 센서)를 통해 수신할 수 있다. 다른 실시예에 따르면, 3차원 스캐너(200)는 구강의 진단 모델을 스캐닝함으로써, 구강의 진단 모델에 대한 이미지를 획득할 수도 있다. 구강의 진단 모델이 대상체(20)의 구강의 모양을 본뜬 진단 모델인 경우, 구강의 진단 모델에 대한 이미지는 대상체의 구강에 대한 이미지가 될 수 있다. 이하에서는, 설명의 편의를 위하여, 대상체(20)의 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득하는 경우를 가정하여 설명하도록 하지만, 이에 제한되는 것은 아니다.
다양한 실시예에 따른 3차원 스캐너(200)는 카메라를 통해 수신한 정보에 기초하여, 대상체(20)의 구강에 대한 표면 이미지를 2차원 이미지로서 획득할 수 있다. 대상체(20)의 구강에 대한 표면 이미지는 대상체(20)의 적어도 하나의 치아, 치은, 인공 구조물, 대상체(20)의 볼, 혀 또는 입술 중 적어도 하나를 포함할 수 있다. 대상체(20)의 구강에 대한 표면 이미지는 2차원 이미지일 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)에서 획득된 구강에 대한 2차원 이미지는 유선 또는 무선 통신 네트워크를 통해 연결되는 전자 장치(100)로 전송될 수 있다. 전자 장치(100)는, 컴퓨터 장치 또는 휴대용 통신 장치일 수 있다. 전자 장치(100)는 3차원 스캐너(200)로부터 수신한 구강에 대한 2차원 이미지에 기초하여 구강을 3차원적으로 나타내는 구강에 대한 3차원 이미지(또는, 3차원 구강 이미지, 3차원 구강 모델)를 생성할 수 있다. 전자 장치(100)는 수신한 구강에 대한 2차원 이미지에 기초하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 구강에 대한 3차원 이미지를 생성할 수 있다.
또 다른 실시예에 따른 3차원 스캐너(200)는 대상체(20)의 구강을 스캔하여 구강에 대한 2차원 이미지를 획득하고, 획득한 구강에 대한 2차원 이미지에 기초하여 구강에 대한 3차원 이미지를 생성하며, 생성한 구강의 3차원 이미지를 전자 장치(100)로 전송할 수도 있다.
다양한 실시예에 따른 전자 장치(100)는 클라우드 서버(미도시)와 통신 연결될 수 있다. 상기의 경우, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 클라우드 서버에 전송할 수 있고, 클라우드 서버는 전자 장치(100)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 저장할 수 있다.
또 다른 실시예에 따르면, 3차원 스캐너는 대상체(20)의 구강에 삽입하여 사용하는 핸드헬드형 스캐너 이외에도, 특정 위치에 고정시켜 사용하는 테이블 스캐너(미도시)가 사용될 수도 있다. 테이블 스캐너는 구강의 진단 모델을 스캐닝함으로써 구강의 진단 모델에 대한 3차원 이미지를 생성할 수 있다. 상기의 경우, 테이블 스캐너의 광원(또는 프로젝터) 및 카메라는 고정되어 있으므로, 사용자는 구강의 진단 모델을 움직이면서 구강의 진단 모델을 스캐닝할 수 있다.
도 2a는 본 개시의 다양한 실시예에 따른 전자 장치(100) 및 3차원 스캐너(200)의 블록도이다. 전자 장치(100) 및 3차원 스캐너(200)는 유선 또는 무선 통신 네트워크를 통해 서로 통신 연결될 수 있으며, 다양한 데이터를 서로 송수신할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)는, 프로세서(201), 메모리(202), 통신 회로(203), 광원(204), 카메라(205), 입력 장치(206) 및/또는 센서 모듈(207)을 포함할 수 있다. 3차원 스캐너(200)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 3차원 스캐너(200)에 추가될 수 있다. 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 3차원 스캐너(200) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 프로세서(201)는 3차원 스캐너(200)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로서, 3차원 스캐너(200)의 구성요소들과 작동적으로 연결될 수 있다. 프로세서(201)는 3차원 스캐너(200)의 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(202)에 로드하고, 메모리(202)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다. 다양한 실시예에 따른 3차원 스캐너(200)의 메모리(202)는, 상기에 기재된 프로세서(201)의 동작에 대한 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 3차원 스캐너(200)의 통신 회로(203)는 외부 장치(예: 전자 장치(100))와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 일 실시예에 따르면, 통신 회로(203)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 상기의 경우, 통신 회로(203)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 일 실시예에 따르면, 통신 회로(203)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 통신 회로(203)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 통신 회로(203)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 광원(204)은 대상체(20)의 구강을 향해 광을 조사할 수 있다. 예를 들어, 광원(204)으로부터 조사되는 광은 소정 패턴(예: 서로 다른 색상의 직선 무늬가 연속적으로 나타나는 스트라이프 패턴)을 갖는 구조광일 수 있다. 구조광의 패턴은, 예를 들어, 패턴 마스크 또는 DMD(digital micro-mirror device)를 이용하여 생성될 수 있지만, 이에 제한되는 것은 아니다. 다양한 실시예에 따른 3차원 스캐너(200)의 카메라(205)는 대상체(20)의 구강에 의해 반사된 반사광을 수신함으로써, 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 카메라(205)는, 예를 들어, 광 삼각 측량 방식에 따라서 3차원 이미지를 구축하기 위하여, 좌안 시야에 대응되는 좌측 카메라 및 우안 시야에 대응되는 우측 카메라를 포함할 수 있다. 카메라(205)는, CCD 센서 또는 CMOS 센서와 같은 적어도 하나의 이미지 센서를 포함할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 입력 장치(206)는 3차원 스캐너(200)를 제어하기 위한 사용자 입력을 수신할 수 있다. 입력 장치(206)는 사용자(10)의 푸시 조작을 수신하는 버튼, 사용자(10)의 터치를 감지하는 터치 패널, 마이크를 포함하는 음성 인식 장치를 포함할 수 있다. 예를 들어, 사용자(10)는 입력 장치(206)를 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 센서 모듈(207)은 3차원 스캐너(200)의 작동 상태 또는 외부의 환경 상태(예: 사용자의 동작)을 감지하고, 감지된 상태에 대응하는 전기 신호를 생성할 수 있다. 센서 모듈(207)은, 예를 들어, 자이로 센서, 가속도 센서, 제스처 센서, 근접 센서 또는 적외선 센서 중 적어도 하나를 포함할 수 있다. 사용자(10)는 센서 모듈(207)을 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다. 예를 들어, 사용자(10)가 3차원 스캐너(200)를 손에 쥐고 움직이는 경우, 3차원 스캐너(200)는 센서 모듈(207)을 통해 측정된 각속도가 기 설정된 임계 값을 초과할 때, 프로세서(201) 스캐닝 동작을 시작하도록 제어할 수 있다.
일 실시예에 따르면, 3차원 스캐너(200)는, 3차원 스캐너(200)의 입력 장치(206) 또는 전자 장치(100)의 입력 장치(206)를 통해 스캔을 시작하기 위한 사용자 입력을 수신하거나, 3차원 스캐너(200)의 프로세서(201) 또는 전자 장치(100)의 프로세서(201)에서의 처리에 따라, 스캔을 시작할 수 있다. 사용자(10)가 3차원 스캐너(200)를 통해 대상체(20)의 구강 내부를 스캔하는 경우, 3차원 스캐너(200)는 대상체(20)의 구강에 대한 2차원 이미지를 생성할 수 있고, 실시간으로 대상체(20)의 구강에 대한 2차원 이미지를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 수신한 대상체(20)의 구강에 대한 2차원 이미지를 디스플레이를 통해 표시할 수 있다. 또한, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지에 기초하여, 대상체(20)의 구강에 대한 3차원 이미지를 생성(구축)할 수 있으며, 구강에 대한 3차원 이미지를 디스플레이를 통해 표시할 수 있다. 전자 장치(100)는 생성되고 있는 3차원 이미지를 실시간으로 디스플레이를 통해 표시할 수도 있다.
다양한 실시예에 따른 전자 장치(100)는 하나 이상의 프로세서(101), 하나 이상의 메모리(103), 통신 회로(105), 디스플레이(107) 및/또는 입력 장치(109)를 포함할 수 있다. 전자 장치(100)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 전자 장치(100)에 추가될 수 있다. 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 전자 장치(100) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 하나 이상의 프로세서(101)는 전자 장치(100)의 각 구성요소들(예: 메모리(103))의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 하나 이상의 프로세서(101)는, 예를 들어, 전자 장치(100)의 구성요소들과 작동적으로 연결될 수 있다. 하나 이상의 프로세서(101)는 전자 장치(100)의 다른 구성요소로부터 수신된 명령 또는 데이터를 하나 이상의 메모리(103)에 로드(load)하고, 하나 이상의 메모리(103)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 하나 이상의 메모리(103)는 하나 이상의 프로세서(101)의 동작에 대한 인스트럭션들을 저장할 수 있다. 하나 이상의 메모리(103)는 기계 학습 알고리즘에 따라 구축된 상관 모델들을 저장할 수 있다. 하나 이상의 메모리(103)는 3차원 스캐너(200)로부터 수신되는 데이터(예를 들어, 구강 스캔을 통하여 획득된 구강에 대한 2차원 이미지)를 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 통신 회로(105)는 외부 장치(예: 3차원 스캐너(200), 클라우드 서버)와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 일 실시예에 따르면, 통신 회로(105)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 상기의 경우, 통신 회로(105)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 일 실시예에 따르면, 통신 회로(105)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 통신 회로(105)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 통신 회로(105)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다.
다양한 실시예에 따른 전자 장치(100)의 디스플레이(107)는 프로세서(101)의 제어에 기반하여 다양한 화면을 표시할 수 있다. 프로세서(101)는 3차원 스캐너(200)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 및/또는 구강의 내부 구조를 3차원적으로 모델링한 구강에 대한 3차원 이미지를 디스플레이(107)를 통해 표시할 수 있다. 예를 들어, 특정 응용 프로그램을 통해 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 표시할 수 있다. 상기의 경우, 사용자(10)는 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 편집, 저장 및 삭제할 수 있다.
다양한 실시예에 따른 전자 장치(100)의 입력 장치(109)는, 전자 장치(100)의 구성요소(예: 하나 이상의 프로세서(101))에 사용될 명령 또는 데이터를 전자 장치(100)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(109)는, 예를 들면, 마이크, 마우스 또는 키보드를 포함할 수 있다. 일 실시예에 따르면, 입력 장치(109)는 디스플레이(107)와 결합되어 다양한 외부 객체의 접촉 또는 근접을 인식할 수 있는 터치 센서 패널의 형태로 구현될 수도 있다.
도 2b는 다양한 실시예에 따른 3차원 스캐너(200)의 사시도이다. 다양한 실시예에 따른 3차원 스캐너(200)는 본체(210) 및 프로브 팁(220)을 포함할 수 있다. 3차원 스캐너(200)의 본체(210)는 사용자(10)가 손으로 그립하여 사용하기 용이한 모양으로 형성될 수 있다. 프로브 팁(220)은 대상체(20)의 구강으로 인입 및 인출이 용이한 모양으로 형성될 수 있다. 또한, 본체(210)는 프로브 팁(220)과 결합 및 분리될 수 있다. 본체(210) 내부에는, 도 2a에서 설명한 3차원 스캐너(200)의 구성요소들이 배치될 수 있다. 본체(210)의 일측 단부에는 광원(204)로부터 출력된 광이 대상체(20)에 조사될 수 있도록 개구된 개구부가 형성될 수 있다. 개구부를 통해 조사된 광은, 대상체(20)에 의해 반사되어 다시 개구부를 통해 유입될 수 있다. 개구부를 통해 유입된 반사광은 카메라에 의해 캡쳐되어 대상체(20)에 대한 이미지를 생성할 수 있다. 사용자(10)는 3차원 스캐너(200)의 입력 장치(206)(예: 버튼)를 이용하여 스캔을 시작할 수 있다. 예를 들어, 사용자(10)가 입력 장치(206)를 터치하거나 가압하는 경우, 광원(204)으로부터 광이 대상체(20)에 조사될 수 있다.
도 3은 다양한 실시예에 따른 구강에 대한 3차원 이미지(320)를 생성하는 방법을 도시한 도면이다. 사용자(10)는 3차원 스캐너(200)를 움직여가면서 대상체(20)의 구강 내부를 스캔할 수 있고, 이 경우, 3차원 스캐너(200)는 대상체(20)의 구강에 대한 복수의 2차원 이미지(310)를 획득할 수 있다. 예를 들어, 3차원 스캐너(200)는 대상체(20)의 앞니가 포함된 영역에 대한 2차원 이미지, 대상체(20)의 어금니가 포함된 영역에 대한 2차원 이미지 등을 획득할 수 있다. 3차원 스캐너(200)는 획득한 복수의 2차원 이미지(310)를 전자 장치(100)로 전송할 수 있다. 다른 실시예에 따르면, 사용자(10)는 3차원 스캐너(200)를 움직여가면서, 구강의 진단 모델을 스캔할 수도 있고, 구강의 진단 모델에 대한 복수의 2차원 이미지를 획득할 수도 있다. 이하에서는, 설명의 편의를 위하여, 대상체(20)의 구강 내부를 스캐닝함으로써, 대상체(20)의 구강에 대한 이미지를 획득하는 경우를 가정하여 설명하도록 하지만, 이에 제한되는 것은 아니다.
다양한 실시예에 따른 전자 장치(100)는 대상체(20)의 구강에 대한 복수의 2차원 이미지(310) 각각을 3차원 좌표값을 갖는 복수의 포인트들의 집합으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 복수의 2차원 이미지(310) 각각을, 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드(point cloud)로 변환할 수 있다. 예를 들어, 복수의 2차원 이미지(310)를 기초로 하는 3차원 좌표값인 포인트 클라우드 세트는, 대상체(20)의 구강에 대한 로우 데이터(raw data)로서 저장될 수 있다. 전자 장치(100)는, 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드를 정렬(align)함으로써, 전체 치아 모형을 완성할 수 있다.
다양한 실시예에 따른 전자 장치(100)는 구강에 대한 3차원 이미지를 재구성(재구축)할 수 있다. 예를 들어, 전자 장치(100)는 푸아송 알고리즘을 사용하여, 로우 데이터로서 저장된 포인트 클라우드 세트를 병합함으로써, 복수의 포인트들을 재구성하고, 폐쇄된 3차원 표면으로 변환하여 대상체(20)의 구강에 대한 3차원 이미지(320)를 재구성할 수 있다.
도 4a 및 4b는 본 개시의 다양한 실시예에 따른 구강에 대한 2차원 이미지에 마스킹 작업을 수행하는 것을 도시한 도면이다. 다양한 실시예에 따른 전자 장치(100)는 구강에 대한 2차원 이미지에서 치아 영역 및/또는 치은 영역을 식별(구분)하기 위한 상관 모델을 생성(구축)할 수 있다. 치아 영역 및/또는 치은 영역 분할에 이용되는 기계 학습 모델을 학습시키기 위하여, 전자 장치(100)는 대상체의 구강에 대한 2차원 이미지 세트뿐만 아니라, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트를 학습 데이터(또는 훈련 데이터)로 사용할 수 있다. 구강에 대한 2차원 이미지는, 대상체(20)를 스캐닝함으로서 획득한 대상체(20)의 구강에 대한 2차원 이미지를 포함할 수도 있고, 대상체(20)의 구강의 모양을 본뜬 구강의 진단 모델을 스캐닝함으로서 획득한 구강의 진단 모델에 대한 2차원 이미지를 포함할 수도 있다.
일 실시예에 따르면, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트는 이미지 형식일 수 있다. 이 경우, 이러한 데이터 세트는, 예를 들어, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역 각각이 마스킹된 복수의 2차원 이미지일 수 있다. 다른 실시예에 따르면, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트는 메타데이터 형식일 수 있다. 이 경우, 이러한 데이터 세트는, 예를 들어, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역 각각을 지시하는 메타데이터일 수 있다.
도 4a 및 4b는 기계 학습 모델을 학습시키기 위해 필요한 학습 데이터를 생성하는 과정을 설명하기 위한 예시적인 도면이다. 다양한 실시예에 따르면, 전자 장치(100)는 구강에 대한 2차원 이미지(410) 중 소정의 영역만 마스킹할 수 있다. 일 실시예에 따르면, 도 4a와 같이, 전자 장치(100)는 구강에 대한 2차원 이미지(410) 중 치아 영역(421)만을 마스킹하고, 나머지 영역인 치은 영역 및 연조직 영역(예: 볼 영역, 혀 영역 등)은 마스킹하지 않을 수 있다. 여기서, 마스킹이란 특정 영역을 다른 영역들과 구별될 수 있게 하는 동작일 수 있다. 예를 들어, 전자 장치(100)는 사용자로부터 구강에 대한 2차원 이미지(410)에서 치아 영역(421)만을 마스킹하기 위한 사용자 입력을 수신하는 경우, 상기 사용자 입력에 응답하여, 치아 영역(421)이 마스킹된 이미지(420a)를 획득할 수 있다. 예를 들어, 마스킹 이미지(420a)와 같이, 치아 영역(421)만을 점 영역으로 표시함으로써 나머지 영역들과 구별될 수 있도록 표시할 수 있다. 예를 들어, 치아 영역(421)만을 빨간색 영역으로 표시함으로써 나머지 영역들과 구별될 수 있도록 표시할 수도 있다.
전자 장치(100)는 대상체들의 구강에 대한 2차원 이미지 세트를 입력 데이터로 사용하고, 2차원 이미지 세트의 각 이미지에서 치아 영역이 식별된 데이터 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시킬 수 있다. 여기서, 2차원 이미지 세트의 각 이미지에서 치아 영역이 식별된 데이터 세트는, 예를 들어, 2차원 이미지(410)에서 치아 영역(421)이 마스킹된 2차원 이미지(420a)를 포함할 수 있다. 본 실시예에 따르면, 전자 장치(100)는 대상체들의 구강에 대한 2차원 이미지 세트 및 2차원 이미지 세트의 각 이미지에서 치아 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링한 상관 모델을 구축할 수 있다. 상관 모델을 구축하고 이용하는 구체적인 방법은, 도 5, 도 6a 및 도 6b에서 후술하도록 하겠다.
다양한 실시예에 따르면, 전자 장치(100)는 구강에 대한 2차원 이미지(410) 중 복수의 영역을 각각 마스킹할 수 있다. 일 실시예에 따르면, 도 4b와 같이, 전자 장치(100)는 구강에 대한 2차원 이미지(410) 중 치아 영역(423) 및 치은 영역(425)을 각각 마스킹하고, 나머지 영역인 연조직 영역은 마스킹하지 않을 수도 있다. 예를 들어, 전자 장치(100)는 사용자로부터 구강에 대한 2차원 이미지(410)에서 치아 영역(423) 및 치은 영역(425)을 각각 마스킹하기 위한 사용자 입력을 수신하는 경우, 상기 사용자 입력에 응답하여, 치아 영역(423) 및 치은 영역(425) 각각이 마스킹된 이미지(420b)를 획득할 수 있다. 예를 들어, 전자 장치(100)는 마스킹 이미지(420b)와 같이, 치아 영역(423)을 점 영역으로 표시하고, 치은 영역(425)을 빗금 친 영역으로 표시함으로써 나머지 영역들과 구별될 수 있도록 표시할 수 있다. 예를 들어, 전자 장치(100)는 치아 영역(423)을 빨간색 영역으로 표시하고, 치은 영역(425)을 파란색 영역으로 표시함으로써 나머지 영역들과 구별될 수 있도록 표시할 수도 있다.
전자 장치(100)는 대상체들의 구강에 대한 2차원 이미지 세트를 입력 데이터로 사용하고, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시킬 수 있다. 여기서, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트는, 예를 들어, 2차원 이미지(410)에서 치아 영역(423) 및 치은 영역(425)이 각각 마스킹된 2차원 이미지(420b)를 포함할 수 있다. 본 실시예에 따르면, 전자 장치(100)는 대상체들의 구강에 대한 2차원 이미지 세트, 및 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링한 상관 모델을 구축할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 구강에 대한 2차원 이미지에 포함된 복수의 영역 각각을 별도로 마스킹할 수 있다. 예를 들어, 사용자는 치아 영역, 치은 영역, 볼 영역, 입술 영역, 혀 영역 및 금속 영역 각각을 식별할 수 있도록 마스킹할 수 있다. 전자 장치(100)는 사용자로부터 구강에 대한 2차원 이미지에서 치아 영역, 치은 영역, 볼 영역, 입술 영역, 혀 영역 및 금속 영역을 각각 마스킹하기 위한 사용자 입력을 수신하는 경우, 상기 사용자 입력에 응답하여, 상술한 영역들이 마스킹된 이미지(미도시)를 획득할 수 있다. 본 실시예에 따르면, 전자 장치(100)는 대상체들의 구강에 대한 2차원 이미지 세트, 및 2차원 이미지 세트의 각 이미지에서 치아 영역, 치은 영역, 볼 영역, 입술 영역, 혀 영역 및 금속 영역 각각이 식별된 데이터 세트 사이의 상관 관계를 모델링한 상관 모델을 구축할 수 있다.
구강에 대한 2차원 이미지를 마스킹하는 방법은 상술한 실시예들에 한정되는 것은 아니며, 필요에 따라 2차원 이미지에 포함된 복수의 영역들 중 적어도 하나의 영역들을 식별할 수 있도록 마스킹할 수 있다.
도 5는 본 개시의 다양한 실시예에 따른 상관 모델을 구축하는 방법을 도시한 도면이다. 이하에서는, 설명의 편의를 위하여, 치아 영역 및 치은 영역을 각각 식별하기 위한 상관 모델(500)을 구축하는 내용에 대해서 설명하겠으나, 이에 제한되는 것은 아니며, 필요에 따라 2차원 이미지에 포함된 복수의 영역들 중 적어도 하나의 영역 각각을 식별하기 위한 상관 모델을 구축할 수도 있다.
도 5를 참조하면, 다양한 실시예에 따른 전자 장치(100)는 대상체들의 구강에 대한 2차원 이미지 세트(410), 및 2차원 이미지 세트(410)의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트(420)를 이용하여, 상관 모델(500)을 구축할 수 있다. 2차원 이미지 세트(410)의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트(420)는, 예를 들어, 2차원 이미지 세트(410)의 각 이미지에서 치아 영역 및 치은 영역이 각각 마스킹된 복수의 2차원 이미지일 수 있다. 대상체들의 구강에 대한 2차원 이미지 세트(410) 각각은, 치아 영역 및 치은 영역이 식별된 데이터 세트(420) 중 대응되는 데이터와 각각 결합될 수 있다. 대상체들의 구강에 대한 2차원 이미지 세트(410)는, 예를 들어, 대상체(20)의 구강을 스캐닝함으로서 획득한 구강에 대한 복수의 2차원 이미지를 포함할 수도 있고, 대상체(20)의 구강의 모양을 본뜬 진단 모델을 스캐닝함으로서 획득한 구강의 진단 모델에 복수의 2차원 이미지를 포함할 수도 있다.
다양한 실시예에 따른 상관 모델(500)은, 기계 학습 알고리즘에 따라, 대상체들의 구강에 대한 2차원 이미지 세트(410), 및 2차원 이미지 세트(410)의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트(420) 사이의 상관 관계를 모델링하여 구축된 상관 모델일 수 있다. 기계 학습 알고리즘은, 예를 들어, 심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석을 위한 머신 러닝 모델 또는 강화 학습 모델 중 하나일 수 있다.
전자 장치(100)는 대상체들의 구강에 대한 2차원 이미지 세트(410)를 입력 데이터로 사용하고, 2차원 이미지 세트(410)의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트(420)를 출력 데이터로 사용하여, 기계 학습 모델을 학습할 수 있다. 전자 장치(100)는 상술한 기계 학습 과정을 통하여, 대상체들의 구강에 대한 2차원 이미지 세트(410), 및 2차원 이미지 세트(410)의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트(420) 사이의 상관 관계를 모델링한 상관 모델(500)을 구축할 수 있다.
상관 모델(500)은 2차원 이미지 세트(410)의 각 이미지에서 식별된 상기 치아 영역 및 상기 치은 영역의 질감, 밀도, 색상, 치아의 모양, 치은의 모양 및 구강 내부의 모양 중 적어도 하나의 특징을 추출하고, 추출된 적어도 하나의 특징을 이용하여, 2차원 이미지 세트(410) 및 데이터 세트(420) 사이의 상관 관계를 도출하도록 기계 학습된 상관 모델일 수 있다. 구축된 상관 모델(500)을 이용하여 구강에 대한 2차원 이미지로부터 치아 영역 및 치은 영역에 관한 데이터를 획득하는 방법에 대해서는 후술하기로 한다.
본 도면에서는, 상관 모델을 구축하기 위하여, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 각각 마스킹된 복수의 2차원 이미지를 학습 데이터로 사용하는 실시예에 대해서 설명하였으나, 이러한 실시예에 한정되는 것은 아니며, 다양한 데이터 세트, 예를 들어, 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역 각각을 지시하는 메타 데이터를 학습 데이터로 사용하여 상관 모델을 구축할 수도 있다.
도 6a 및 6b는 다양한 실시예에 따른 구축된 상관 모델(500)을 활용하는 방법을 나타낸 도면이다. 전술한 바와 같이, 상관 모델(500)은 기계 학습 알고리즘에 따라 구축될 수 있다.
도 6a 및 6b를 참조하면, 다양한 실시예에 따른 전자 장치(100)는 구축된 상관 모델(500)을 이용하여, 타겟 대상체의 구강(이하, 타겟 구강이라고 함)에 대한 2차원 이미지(601)로부터 치아 영역 및 치은 영역이 식별된 데이터를 획득할 수 있다. 예를 들어, 전자 장치(100)는 3차원 스캐너(200)로부터 수신한 타겟 구강에 대한 2차원 이미지(601)에 접근하고, 타겟 구강에 대한 2차원 이미지(601)를 상관 모델(500)에 입력하여, 치아 영역 및 치은 영역이 식별된 데이터를 도출할 수 있다. 치아 영역 및 치은 영역이 식별된 데이터는, 예를 들어, 입력된 타겟 구강에 대한 2차원 이미지(601) 상에서 치아 영역(603a) 및 치은 영역(603b)이 마스킹된 이미지를 나타낼 수 있다. 치아 영역 및 치은 영역이 식별된 데이터는, 예를 들어, 입력된 타겟 구강에 대한 2차원 이미지(601) 상에서의 치아 영역 및 치은 영역의 위치를 나타내는 메타데이터일 수 있다. 따라서, 구축된 상관 모델(500)을 이용하여, 3차원 스캐너(200)로부터 수신한 타겟 구강에 대한 2차원 이미지(601)로부터 치아 영역 및 치은 영역 각각의 위치를 식별할 수 있다. 상관 모델(500)을 이용하여, 타겟 구강의 2차원 이미지에서 치아 영역 및 치은 영역이 식별된 데이터는, 타겟 구강에 대한 3차원 이미지를 생성하기 위해 사용될 수 있다.
또 다른 실시예에 따르면, 전자 장치(100)는 구축된 상관 모델(500)을 이용하여, 타겟 대상체의 구강의 모양을 본뜬 진단 모델(이하, 타겟 진단 모델이라고 함)에 대한 2차원 이미지(601)로부터 치아 영역 및 치은 영역이 식별된 데이터를 획득할 수도 있다. 상기의 경우, 전자 장치(100)는 3차원 스캐너(200)로부터 수신한 타겟 진단 모델에 대한 2차원 이미지(601)에 접근하고, 타겟 진단 모델에 대한 2차원 이미지(601)를 상관 모델(500)에 입력하여, 치아 영역 및 치은 영역이 식별된 데이터를 도출할 수 있다. 치아 영역 및 치은 영역이 식별된 데이터는, 예를 들어, 입력된 타겟 진단 모델에 대한 2차원 이미지(601) 상에서 치아 영역(603a) 및 치은 영역(603b)이 마스킹된 이미지를 나타낼 수 있다. 치아 영역 및 치은 영역이 식별된 데이터는, 예를 들어, 입력된 타겟 진단 모델에 대한 2차원 이미지(601) 상에서의 치아 영역 및 치은 영역의 위치를 나타내는 메타데이터일 수 있다.
다양한 실시예에 따른 전자 장치(100)는, 사용자가 3차원 스캐너(200)를 통해 타겟 구강을 스캔하는 중, 실시간으로 3차원 스캐너(200)로부터 타겟 구강에 대한 2차원 이미지(601)를 수신할 수 있다. 이 경우, 전자 장치(100)는 타겟 구강에 대한 2차원 이미지(601)를 수신하는 것에 응답하여, 상관 모델(500)에 타겟 구강에 대한 2차원 이미지(601)를 입력함으로써, 치아 영역 및 치은 영역이 식별된 데이터를 획득할 수 있다. 또한, 전자 장치(100)는 3차원 스캐너(200)로부터 타겟 구강에 대한 복수의 2차원 이미지(601)를 순차적으로 수신하는 경우, 타겟 구강에 대한 복수의 2차원 이미지 각각에 대한 치아 영역 및 치은 영역이 식별된 데이터를 순차적으로 획득할 수 있다.
또 다른 실시예에 따른 전자 장치(100)는, 사용자가 3차원 스캐너(200)를 통해 타겟 진단 모델을 스캔하는 중, 실시간으로 3차원 스캐너(200)로부터 타겟 진단 모델에 대한 2차원 이미지(601)를 수신할 수 있다. 이 경우, 전자 장치(100)는 타겟 진단 모델에 대한 2차원 이미지(601)를 수신하는 것에 응답하여, 상관 모델(500)에 타겟 진단 모델에 대한 2차원 이미지(601)를 입력함으로써, 치아 영역 및 치은 영역이 식별된 데이터를 획득할 수 있다.
도 7은 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 동작 흐름도 700을 참조하면, 다양한 실시예에 따른 전자 장치(100)의 하나 이상의 프로세서(101)는, 동작 710에서, 통신 회로(105)를 통해 3차원 스캐너(200)로부터 수신한 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근(access)할 수 있다. 예를 들어, 3차원 스캐너(200)로부터 수신한 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지는 하나 이상의 메모리(103)에 저장될 수 있고, 하나 이상의 프로세서(101)는 하나 이상의 메모리(103)에 저장된 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(101)는, 동작 720에서, 기계 학습 과정을 통해 구축된 상관 모델(예: 도 5의 상관 모델(500))을 이용하여, 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터 치아 영역 및 치은 영역을 식별할 수 있다. 하나 이상의 프로세서(101)는 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지를 구축된 상관 모델에 입력하고, 상관 모델로부터 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에서 치아 영역 및 치은 영역을 식별할 수 있는 데이터를 획득할 수 있다. 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에서 치아 영역 및 치은 영역을 식별할 수 있는 데이터는, 예를 들어, 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에서 치아 영역 및 치은 영역이 각각 마스킹된 이미지일 수 있다.
도 8은 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 도 7에서 설명한 내용과 중복되는 내용은 생략하기로 한다. 동작 흐름도 800을 참조하면, 다양한 실시예에 따른 전자 장치(100)의 하나 이상의 프로세서(101)는, 동작 810에서, 통신 회로(105)를 통해 3차원 스캐너(200)로부터 수신한 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근(access)할 수 있다. 다양한 실시예에 따른 하나 이상의 프로세서(101)는, 동작 820에서, 기계 학습 과정을 통해 구축된 상관 모델(예: 도 5의 상관 모델(500))을 이용하여, 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터 치아 영역 및 치은 영역을 식별할 수 있다. 하나 이상의 프로세서(101)는 3차원 스캐너(200)로부터 순차적으로 수신한 타겟 구강 또는 타겟 진단 모델에 대한 복수의 2차원 이미지에 접근하고, 상관 모델을 이용하여 타겟 구강 또는 타겟 진단 모델에 대한 복수의 2차원 이미지 각각으로부터 치아 영역 및 치은 영역을 식별할 수 있다.
다양한 실시예에 따른 하나 이상의 프로세서(101)는, 동작 830에서, 입력 장치(109)를 통해, 치아 영역 및 치은 영역 중 적어도 하나의 영역을 선택하기 위한 사용자 입력을 수신할 수 있다. 사용자는 치아 영역 및 치은 영역 중 전체 영역(치아 영역 및 치은 영역 모두 포함)을 선택할 수도 있고, 치아 영역만을 선택할 수도 있으며, 치아 영역 및 일부 치은 영역만을 선택할 수도 있고, 치은 영역만을 선택할 수도 있다.
일 실시예에 따르면, 하나 이상의 프로세서는 디스플레이(107)를 통해, 특정 영역을 표시하기 위한 필터링 UI(user interface) 를 표시할 수 있다. 필터링 UI는, 전체 영역(치아 영역 및 치은 영역 모두 포함)을 표시하기 위한 아이콘, 치아 영역만을 표시하기 위한 아이콘 및 치은 영역만을 표시하기 위한 아이콘을 포함할 수 있다. 또한, 필터링 UI는 치아 영역 및 일부 치은 영역을 표시하기 위한 아이콘을 더 포함할 수도 있다.
일 실시예에 따르면, 하나 이상의 프로세서(101)는 디스플레이(107)를 통해 치아 영역 및 치은 영역이 식별된 타겟 구강에 대한 2차원 이미지를 표시할 수 있다. 예를 들어, 하나 이상의 프로세서(101)는 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지 상에서 치아 영역을 빨간색으로 표시하고, 치은 영역을 파란색으로 표시할 수 있다. 상기의 경우, 치아 영역 및 치은 영역을 제외한 나머지 영역(예: 연조직 영역)은 특정 색으로 표시하지 않을 수 있다. 사용자는 입력 장치(109)를 통해 표시된 2차원 이미지 중 치아 영역 및 치은 영역 중 적어도 하나의 영역을 선택할 수도 있다.
본 도면에서는, 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터 치아 영역 및 치은 영역을 식별하는 동작(820) 이후, 치아 영역 및 치은 영역 중 적어도 하나의 영역을 선택하기 위한 사용자 입력을 수신하는 동작(830)이 수행되는 것으로 설명하였으나, 이에 제한되는 것은 아니며, 치아 영역 및 치은 영역 중 적어도 하나의 영역을 선택하기 위한 사용자 입력을 수신하는 동작(830)은, 3차원 스캐너로부터 수신한 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근하는 동작(810) 이전에 수행될 수도 있고, 치아 영역 및 치은 영역을 식별하는 동작(820) 이전에 수행될 수도 있다.
다양한 실시예에 따른 하나 이상의 프로세서(101)는, 동작 840에서, 사용자 입력에 응답하여 선택된 적어도 하나의 영역에 대응되는 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성할 수 있다. 일 실시예에 따르면, 사용자가 치아 영역만을 선택한 경우, 하나 이상의 프로세서(101)는 치아 영역을 재구축 영역으로 설정할 수 있고, 설정된 재구축 영역에 대응하는 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성할 수 있다.
사용자(10)가 3차원 스캐너(200)를 손에 들고 대상체(20)의 구강 내부를 스캔하기 때문에, 일부 영역(예: 치아와 치아 사이의 협소한 영역)에 대해서는 스캔 데이터를 획득하지 못할 수 있다. 상기의 경우, 3차원 스캐너(200)를 통해 획득한 타겟 구강에 대한 복수의 2차원 이미지를 이용하여, 타겟 구강에 대한 3차원 이미지(이하, 3차원 로우 이미지라고 함)를 생성하는 경우, 상기 타겟 구강에 대한 3차원 로우 이미지는 상기 일부 영역이 빈 영역으로 나타날 수 있다. 따라서, 전자 장치(100)는 타겟 구강에 대한 3차원 로우 이미지의 빈 영역을 채워주는 다양한 알고리즘을 수행하여, 데이터를 재구성함으로써, 재구성된 타겟 구강에 대한 3차원 이미지를 생성할 수 있다.
일 실시예에 따르면, 타겟 구강에 대한 3차원 로우 이미지의 빈 영역을 채우기 위하여, 푸아송 알고리즘(Poisson Algorithm)을 사용할 수 있다. 상기의 경우, 전자 장치(100)는 타겟 대상의 구강에 대한 복수의 2차원 이미지 각각을 3차원 좌표값을 갖는 복수의 포인트들의 집합으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 복수의 2차원 이미지 각각을 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드(point clouds)로 변환할 수 있다. 상기 포인트 클라우드는 타겟 구강에 대한 로우 데이터(raw data)로서 저장될 수 있다. 전자 장치(100)는 포인트 클라우드를 푸아송 알고리즘을 이용해 정렬함으로써, 타겟 구강에 대한 3차원 이미지를 생성(재구축)할 수 있다. 본 실시예에 따르면, 전자 장치(100)는 포인트 클라우드 중 재구축 영역으로 선택된 치아 영역에 대응되는 데이터 포인트들을 식별하고, 치아 영역에 대응되는 데이터 포인트들에만 푸아송 알고리즘을 적용하여, 타겟 구강에 대한 3차원 이미지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 치아 영역에 대응하는 복수의 데이터 포인트들을 재구성하고, 폐쇄된 3차원 표면으로 변환하여, 치아 영역에 대응하는 타겟 구강에 대한 3차원 이미지를 생성할 수 있다. 본 실시예에 따르면, 생성된 타겟 구강에 대한 3차원 이미지에는 치아 영역을 제외한 나머지 영역(예: 치은 영역 및 연조직 영역)이 포함되지 않을 수 있다. 이 경우, 치아 영역에 대해서만 푸아송 알고리즘을 수행하기 때문에, 타겟 구강의 전체 영역에 대하여 푸아송 알고리즘을 수행할 필요가 없으므로, 3차원 이미지 생성에 필요한 데이터의 양이 줄어들고, 3차원 이미지를 생성하는 데에 소요되는 시간 및 리소스가 줄어들 수 있다.
일 실시예에 따르면, 타겟 구강에 대한 3차원 로우 이미지의 빈 영역을 채우기 위하여, 보간법(interpolation)을 사용할 수 있다. 예를 들어, 전자 장치(100)는 보간법을 이용하여, 재구축 영역으로 설정된 치아 영역에 포함되는 복수의 포인트 사이를 채움으로써, 치아 영역에 대응하는 타겟 구강에 대한 3차원 이미지를 생성할 수 있다. 예를 들어, 하나 이상의 프로세서(101)는 타겟 구강에 대한 2차원 이미지 중 치아 영역만을 3차원 좌표값을 갖는 복수의 포인트들의 집합으로 변환할 수 있다. 하나 이상의 프로세서(101)는 보간법을 사용하여 복수의 포인트 사이에 임의의 공간적인 위치 값을 추정하여 포인트를 새로 추가함으로써, 복수의 포인트 사이를 채울 수 있다. 이러한 방식으로 치아 영역에 대응하는 타겟 구강에 대한 3차원 이미지를 생성할 수도 있다.
다른 실시예에 따르면, 사용자가 치은 영역만을 선택한 경우, 하나 이상의 프로세서(101)는 치은 영역을 재구축 영역으로 설정할 수 있고, 다양한 알고리즘을 사용하여 재구축 영역으로 설정된 치은 영역에 대응하는 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성할 수 있다. 또 다른 실시예에 따르면, 사용자가 전체 영역(치아 영역 및 치은 영역 모두 포함하는 영역)을 선택한 경우, 하나 이상의 프로세서(101)는 전체 영역을 재구축 영역으로 설정할 수 있고, 다양한 알고리즘을 사용하여 구강 전체 영역에 대응하는 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성할 수도 있다.
다양한 실시예에 따르면, 하나 이상의 프로세서(101)는 입력 장치(109)를 통해, 치아 영역에 포함된 복수의 치아 중 적어도 하나의 관심 치아를 선택하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 앞니에 대한 정보만을 획득하고 싶은 경우, 사용자는 입력 장치를 통해 앞니를 관심 치아로 선택할 수 있다. 이 경우, 하나 이상의 프로세서(101)는 사용자 입력에 응답하여 선택된 관심 치아 영역에 대응되는 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성할 수 있다. 하나 이상의 프로세서(101)는 선택된 관심 치아에 해당하는 영역만을 재구축 영역으로 설정할 수 있고, 다양한 알고리즘을 사용하여, 설정된 재구축 영역에 대응하는 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성할 수 있다. 본 실시예에 따르면, 관심 치아를 제외한 다른 치아들은 3차원 이미지에 포함되지 않을 수 있다.
도 9a 내지 9c는 본 개시의 다양한 실시예에 따른 타겟 구강에 대한 3차원 이미지를 도시한다. 도 9a는 전체 영역(치아 영역 및 치은 영역 포함)을 재구축 영역으로 설정한 경우 생성되는 타겟 구강에 대한 3차원 이미지(910)를 도시한다. 도 9b는 치아 영역 및 일부 치은 영역을 재구축 영역으로 설정한 경우에 생성되는 타겟 구강에 대한 3차원 이미지(920)를 도시한다. 도 9c는 치아 영역을 재구축 영역으로 설정한 경우에 생성되는 타겟 구강에 대한 3차원 이미지(930)를 도시한다. 전자 장치(100)는 특정 응용 프로그램의 실행 화면(900)을 통해, 타겟 구강에 대한 3차원 이미지(910, 920, 930)를 표시할 수 있다. 도 9a 내지 9c에서는 설명의 편의를 위하여, 대상체의 구강 중 하악에 대한 3차원 이미지를 도시하였으나, 이에 제한되는 것은 아니며, 대상체의 상악에 대한 3차원 이미지 또는 대상체의 상악 및 하악을 모두 포함하는 3차원 이미지를 생성할 수도 있다. 또 다른 실시예에 따르면, 전자 장치(100)는 타겟 진단 모델에 대한 3차원 이미지를 생성하여 도시할 수도 있으나, 이하에서는 설명의 편의를 위하여, 타겟 구강에 대한 3차원 이미지를 생성하여 도시하는 것으로 설명한다.
도 9a를 참조하면, 사용자가 입력 장치(109)를 통해 특정 영역을 표시하기 위한 필터링 UI 중 전체 영역(치아 영역 및 치은 영역 모두 포함)을 표시하기 위한 아이콘(901)을 선택할 수 있다. 상기의 경우, 전자 장치(100)는 타겟 대상체의 구강(이하, 타겟 구강이라고 함)의 전체 영역을 재구축 영역으로 설정하고, 설정된 재구축 영역에 대응하는 타겟 구강에 대한 3차원 이미지(910)를 생성할 수 있다.
예를 들어, 사용자가 3차원 스캐너(200)를 이용하여 타겟 대상체의 구강(이하, 타겟 구강이라고 함) 내부를 스캔하고 있는 경우, 전자 장치(100)는 3차원 스캐너(200)로부터 타겟 구강에 대한 복수의 2차원 이미지를 수신할 수 있다. 전자 장치(100)는 3차원 스캐너(200)으로부터 수신한 타겟 구강에 대한 복수의 2차원 이미지 각각을 3차원 좌표값을 갖는 복수의 포인트들의 집합(예: 포인트 클라우드)으로 변환할 수 있다. 즉, 전체 영역을 표시하기 위한 아이콘(901)이 선택 되었으므로, 전자 장치(100)는 복수의 2차원 이미지 각각에 포함된 전체 영역을 복수의 포인트들의 집합으로 변환할 수 있다. 전자 장치(100)는 복수의 2차원 이미지에 기초한 복수의 포인트들의 집합에 푸아송 알고리즘 또는 보간법을 수행함으로써, 타겟 구강에 대한 3차원 이미지(910)를 생성(재구축)할 수 있다. 상기의 경우, 생성된 타겟 구강에 대한 3차원 이미지(910)는, 타겟 구강의 전체 영역(치아 영역(911) 및 치은 영역(913) 포함)에 대한 3차원 이미지일 수 있다. 전자 장치(100)는 특정 응용 프로그램의 실행 화면(900)을 통해, 전체 영역에 대응하는 타겟 구강에 대한 3차원 이미지(910)를 표시할 수 있다.
도 9b를 참조하면, 사용자가 입력 장치(109)를 통해 특정 영역을 표시하기 위한 필터링 UI 중 치아 영역 및 일부 치은 영역을 표시하기 위한 아이콘(903)을 선택할 수 있다. 상기의 경우, 전자 장치(100)는 타겟 구강에 포함된 치아 영역 및 상기 치아 영역으로부터 소정의 거리(예: 50픽셀 또는 1cm) 내에 있는 일부 치은 영역을 재구축 영역으로 설정하고, 설정된 재구축 영역에 대응하는 타겟 구강에 대한 3차원 이미지(920)를 생성할 수 있다.
예를 들어, 사용자가 3차원 스캐너(200)를 이용하여 타겟 대상체의 구강(이하, 타겟 구강이라고 함) 내부를 스캔하고 있는 경우, 전자 장치(100)는 3차원 스캐너(200)로부터 타겟 구강에 대한 복수의 2차원 이미지를 수신할 수 있다. 전자 장치(100)는 3차원 스캐너(200)로부터 수신한 타겟 구강에 대한 복수의 2차원 이미지에 접근하고, 미리 구축된 상관 모델(예: 도 5의 상관 모델(500))을 이용하여, 타겟 구강에 대한 복수의 2차원 이미지 각각으로부터 치아 영역을 식별할 수 있다. 전자 장치(100)는 식별한 치아 영역 및 치아 영역으로부터 소정의 거리 내에 있는 일부 치은 영역을 재구축 영역으로 설정할 수 있다. 전자 장치(100)는 설정된 재구축 영역(치아 영역 및 치아 영역으로부터 소정 거리 내에 있는 치은 영역)을 3차원 좌표값을 갖는 복수의 포인트들의 집합으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 푸아송 알고리즘을 사용하여, 설정된 재구축 영역에 대응하는 복수의 포인트들만을 병합함으로써, 치아 영역(921) 및 일부 치은 영역(923)에 대응하는 타겟 구강에 대한 3차원 이미지(920)를 생성할 수 있다. 상기의 경우, 생성된 3차원 이미지(920)에는 재구축 영역으로 설정된 치아 영역(921) 및 일부 치은 영역(923)을 제외한 나머지 영역이 포함되지 않을 수 있다. 전자 장치(100)는 특정 응용 프로그램의 실행 화면(900)을 통해, 치아 영역(921) 및 일부 치은 영역(923)에 대응하는 타겟 구강에 대한 3차원 이미지(920)를 표시할 수 있다.
본 실시예에 따르면, 선택된 치아 영역(921) 및 일부 치은 영역(923)만이 재구축 영역으로 설정되므로, 타겟 구강에 대한 3차원 이미지(920)를 재구축하는 과정에서 사용되는 리소스가 대폭 줄어들 수 있고, 타겟 구강에 대한 3차원 이미지(920)를 생성하는 시간이 대폭 경감될 수 있다. 또한, 사용자는 원하는 영역에 대응하는 3차원 이미지(920)를 획득할 수 있으므로, 사용자의 편의성을 증대시킬 수 있다.
도 9c를 참조하면, 사용자가 입력 장치(109)를 통해 특정 영역을 표시하기 위한 필터링 UI 중 치아 영역만을 표시하기 위한 아이콘(905)을 선택할 수 있다. 상기의 경우, 전자 장치(100)는 타겟 구강에 포함된 치아 영역만을 재구축 영역으로 설정하고, 설정된 재구축 영역에 대응하는 타겟 구강에 대한 3차원 이미지(930)를 생성할 수 있다.
예를 들어, 전자 장치(100)는 3차원 스캐너(200)로부터 타겟 구강에 대한 복수의 2차원 이미지를 수신할 수 있다. 전자 장치(100)는 3차원 스캐너(200)로부터 수신한 타겟 구강에 대한 복수의 2차원 이미지에 접근하고, 미리 구축된 상관 모델을 이용하여, 타겟 구강에 대한 복수의 2차원 이미지 각각으로부터 치아 영역을 식별할 수 있다. 전자 장치(100)는 식별한 치아 영역을 재구축 영역으로 설정할 수 있다. 예를 들어, 전자 장치(100)는 푸아송 알고리즘을 사용하여, 설정된 재구축 영역에 대응하는 복수의 포인트들을 병합함으로써, 치아 영역(931)에 대응하는 타겟 구강에 대한 3차원 이미지(930)를 생성할 수 있다. 상기의 경우, 생성된 3차원 이미지(930)에는 재구축 영역으로 설정된 치아 영역(931)을 제외한 나머지 영역이 포함되지 않을 수 있다. 전자 장치(100)는 특정 응용 프로그램의 실행 화면(900)을 통해, 치아 영역(931)에 대응하는 타겟 구강에 대한 3차원 이미지(930)를 표시할 수 있다.
본 실시예에 따르면, 선택된 치아 영역(931)만이 재구축 영역으로 설정되므로, 타겟 구강에 대한 3차원 이미지(930)를 재구축하는 과정에서 사용되는 리소스가 대폭 줄어들 수 있고, 타겟 구강에 대한 3차원 이미지(930)를 생성하는 시간이 대폭 경감될 수 있다. 또한, 사용자는 원하는 영역에 대응하는 3차원 이미지(930)를 획득할 수 있으므로, 사용자의 편의성을 증대시킬 수 있다.
또 다른 실시예에 따르면, 전자 장치(100)는 타겟 구강에 포함된 치은 영역만을 재구축 영역으로 설정하고, 재구축 영역으로 설정된 치은 영역에 대응하는 타겟 구강에 대한 3차원 이미지(미도시)를 생성할 수도 있다.
따라서, 사용자는 필요에 따라서 3차원 이미지를 구축하기 위한 특정 영역을 선택할 수 있으며, 원하는 영역에 대응하는 타겟 구강에 대한 3차원 이미지를 획득할 수 있다.
본 문서에 도시된 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 개시의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 개시에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 개시의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 개시가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    3차원 스캐너와 통신 연결되는 통신 회로;
    기계 학습 알고리즘에 따라, 대상체들의 구강에 대한 2차원 이미지 세트 및 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델을 저장하는 하나 이상의 메모리; 및
    하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    상기 통신 회로를 통해 상기 3차원 스캐너로부터 수신된 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근하고,
    상기 상관 모델을 이용하여, 상기 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터, 치아 영역 및 치은 영역을 식별하도록 구성되는, 전자 장치.
  2. 제1항에 있어서,
    상기 데이터 세트는 복수의 2차원 이미지를 포함하되, 상기 복수의 2차원 이미지 각각은 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 각각 마스킹된 이미지인, 전자 장치.
  3. 제1항에 있어서,
    디스플레이를 더 포함하고,
    상기 하나 이상의 프로세서는,
    상기 디스플레이를 통해 상기 치아 영역 및 상기 치은 영역이 식별된 상기 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지를 표시하도록 구성되는, 전자 장치.
  4. 제1항에 있어서,
    입력 장치를 더 포함하고,
    상기 하나 이상의 프로세서는,
    상기 입력 장치를 통해 상기 치아 영역 및 상기 치은 영역 중 적어도 하나의 영역을 선택하기 위한 사용자 입력을 수신하고,
    상기 사용자 입력에 응답하여, 상기 선택된 적어도 하나의 영역에 대응되는 상기 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성하도록 구성된, 전자 장치.
  5. 제4항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 선택된 적어도 하나의 영역을 재구축 영역으로 설정하고,
    푸아송 알고리즘을 사용하여 상기 설정된 재구축 영역에 포함되는 복수의 포인트를 서로 연결함으로써, 상기 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성하도록 구성된, 전자 장치.
  6. 제4항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 선택된 적어도 하나의 영역을 재구축 영역으로 설정하고,
    보간법을 사용하여 상기 설정된 재구축 영역에 포함되는 복수의 포인트 사이를 채움으로써, 상기 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성하도록 구성된, 전자 장치.
  7. 제4항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 생성한 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 클라우드 서버로 전송하도록 구성된, 전자 장치.
  8. 제1항에 있어서,
    상기 상관 모델은,
    상기 2차원 이미지 세트의 각 이미지에서 식별된 상기 치아 영역 및 상기 치은 영역의 질감, 밀도, 색상, 치아의 모양, 치은의 모양 및 구강 내부의 모양 중 적어도 하나의 특징을 추출하고,
    상기 추출된 적어도 하나의 특징을 이용하여, 상기 2차원 이미지 세트 및 상기 데이터 세트 사이의 상관 관계를 도출하도록 기계 학습된 상관 모델인, 전자 장치.
  9. 제1항에 있어서,
    상기 기계 학습 알고리즘은,
    심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석을 위한 머신 러닝 모델 또는 강화 학습 모델 중 하나인, 전자 장치.
  10. 전자 장치의 이미지 처리 방법에 있어서,
    3차원 스캐너로부터 수신된 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지에 접근하는 동작; 및
    상관 모델을 이용하여, 상기 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지로부터, 치아 영역 및 치은 영역을 식별하는 동작을 포함하고,
    상기 상관 모델은, 기계 학습 알고리즘에 따라, 대상체들의 구강에 대한 2차원 이미지 세트 및 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링하여 구축된 상관 모델인, 방법.
  11. 제10항에 있어서,
    상기 데이터 세트는 복수의 2차원 이미지를 포함하되,
    상기 복수의 2차원 이미지 각각은 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 각각 마스킹된 이미지인, 방법.
  12. 제10항에 있어서,
    디스플레이를 통해 상기 치아 영역 및 상기 치은 영역이 식별된 상기 타겟 구강 또는 타겟 진단 모델에 대한 2차원 이미지를 표시하는 동작을 더 포함하는, 방법.
  13. 제10항에 있어서,
    입력 장치를 통해 상기 치아 영역 및 상기 치은 영역 중 적어도 하나의 영역을 선택하기 위한 사용자 입력을 수신하는 동작; 및
    상기 사용자 입력에 응답하여, 상기 선택된 적어도 하나의 영역에 대응되는 상기 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성하는 동작을 더 포함하는, 방법.
  14. 제13항에 있어서,
    상기 3차원 이미지를 생성하는 동작은,
    상기 선택된 적어도 하나의 영역을 재구축 영역으로 설정하는 동작; 및
    푸아송 알고리즘을 사용하여 상기 설정된 재구축 영역에 포함되는 복수의 포인트를 서로 연결함으로써, 상기 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성하는 동작을 포함하는, 방법.
  15. 제13항에 있어서,
    상기 3차원 이미지를 생성하는 동작은,
    상기 선택된 적어도 하나의 영역을 재구축 영역으로 설정하는 동작; 및
    보간법을 사용하여 상기 설정된 재구축 영역에 포함되는 복수의 포인트 사이를 채움으로써, 상기 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 생성하는 동작을 더 포함하는, 방법.
  16. 제13항에 있어서,
    상기 타겟 구강 또는 타겟 진단 모델에 대한 3차원 이미지를 클라우드 서버로 전송하는 동작을 더 포함하는, 방법.
  17. 제10항에 있어서,
    상기 상관 모델은,
    상기 2차원 이미지 세트의 각 이미지에서 식별된 상기 치아 영역 및 상기 치은 영역의 질감, 밀도, 색상, 치아의 모양, 치은의 모양 및 구강 내부의 모양 중 적어도 하나의 특징을 추출하고,
    상기 추출된 적어도 하나의 특징을 이용하여, 상기 2차원 이미지 세트 및 상기 데이터 세트 사이의 상관 관계를 도출하도록 기계 학습된 상관 모델인, 방법.
  18. 제10항에 있어서,
    상기 기계 학습 알고리즘은,
    심층 신경망, 순환 신경망, 합성곱 신경망, 분류-회귀 분석을 위한 머신 러닝 모델 또는 강화 학습 모델 중 하나인, 방법.
  19. 치아 영역 및 치은 영역의 식별에 이용되는 기계 학습 모델을 학습시키기 위한 전자 장치에 있어서,
    대상체들의 구강 또는 구강의 진단 모델에 대한 2차원 이미지 세트 및 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트를 저장하는 하나 이상의 메모리; 및
    하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    상기 대상체들의 구강에 대한 2차원 이미지 세트를 입력 데이터로 사용하고, 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트를 출력 데이터로 사용하여, 기계 학습 모델을 학습시키도록 구성된, 전자 장치.
  20. 제19항에 있어서,
    상기 데이터 세트는 복수의 2차원 이미지를 포함하되,
    상기 복수의 2차원 이미지 각각은 상기 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 각각 마스킹된 이미지인, 전자 장치.
KR1020210066144A 2021-05-24 2021-05-24 전자 장치 및 그의 이미지 처리 방법 KR20220158893A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210066144A KR20220158893A (ko) 2021-05-24 2021-05-24 전자 장치 및 그의 이미지 처리 방법
PCT/KR2022/007318 WO2022250403A1 (ko) 2021-05-24 2022-05-24 전자 장치 및 그의 이미지 처리 방법
EP22811596.0A EP4350705A1 (en) 2021-05-24 2022-05-24 Electronic device and image processing method therefor
CN202280037126.9A CN117378013A (zh) 2021-05-24 2022-05-24 电子设备及其图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210066144A KR20220158893A (ko) 2021-05-24 2021-05-24 전자 장치 및 그의 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20220158893A true KR20220158893A (ko) 2022-12-02

Family

ID=84229354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210066144A KR20220158893A (ko) 2021-05-24 2021-05-24 전자 장치 및 그의 이미지 처리 방법

Country Status (4)

Country Link
EP (1) EP4350705A1 (ko)
KR (1) KR20220158893A (ko)
CN (1) CN117378013A (ko)
WO (1) WO2022250403A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101739091B1 (ko) * 2014-11-19 2017-05-24 성균관대학교산학협력단 치과용 ct 이미지들을 이용한 3차원 이미지의 재구성 방법 및 장치
KR20180094554A (ko) * 2017-02-16 2018-08-24 한국전자통신연구원 3d 이미지 생성 장치 및 방법
KR102442720B1 (ko) * 2019-03-12 2022-09-13 주식회사 메디트 치아 보철 제조를 위한 3차원 스캔 데이터 처리 방법
JP7152455B2 (ja) * 2019-10-07 2022-10-12 株式会社モリタ製作所 セグメンテーション装置および学習モデルの生成方法
KR20210054704A (ko) * 2019-11-06 2021-05-14 장재원 치과보철물 제작용 촬영 어플리케이션 기반 환자 촬영 방법

Also Published As

Publication number Publication date
CN117378013A (zh) 2024-01-09
WO2022250403A1 (ko) 2022-12-01
EP4350705A1 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
EP4066255A1 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
KR101556992B1 (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
KR102351684B1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102347038B1 (ko) 초음파 진단 장치 및 초음파 진단 방법
EP4350705A1 (en) Electronic device and image processing method therefor
KR102532535B1 (ko) 3차원 스캐너의 스캔 이미지 처리에 있어서의 노이즈 필터링을 위한 방법 및 장치
KR102612679B1 (ko) 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체
US20230386141A1 (en) Method, apparatus and recording medium storing commands for processing scanned images of 3d scanner
KR102583414B1 (ko) 3차원 스캐너의 스캔 이미지 처리 방법 및 장치
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102615021B1 (ko) 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체
KR20220059908A (ko) 데이터 처리 장치 및 데이터 처리 방법
KR102509772B1 (ko) 전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법
KR20230014621A (ko) 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치
KR102612682B1 (ko) 전자 장치 및 3차원 스캐너의 스캔 이미지 처리 방법
KR101657285B1 (ko) 초음파 치료 시뮬레이션시스템
EP4374769A1 (en) Method and apparatus for adjusting scan depth of three-dimensional scanner
WO2023204509A1 (ko) 3차원 스캐너의 3차원 이미지 모델의 생성과 정렬을 위한 전자 장치, 방법 및 기록 매체
KR20230052217A (ko) 데이터 처리 장치 및 데이터 처리 방법
EP4242966A1 (en) Data processing device and data processing method
EP4374819A1 (en) Image processing apparatus and image processing method
CN117677337A (zh) 用于调节三维扫描仪的扫描深度的方法和装置
KR20230029554A (ko) 이미지 처리 장치, 및 이미지 처리 방법
KR20240009898A (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
CN118076318A (en) Data processing apparatus and data processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal