KR20230052217A - A data processing apparatus, a data processing method - Google Patents
A data processing apparatus, a data processing method Download PDFInfo
- Publication number
- KR20230052217A KR20230052217A KR1020220106345A KR20220106345A KR20230052217A KR 20230052217 A KR20230052217 A KR 20230052217A KR 1020220106345 A KR1020220106345 A KR 1020220106345A KR 20220106345 A KR20220106345 A KR 20220106345A KR 20230052217 A KR20230052217 A KR 20230052217A
- Authority
- KR
- South Korea
- Prior art keywords
- scan
- activation
- filtering mode
- mode
- data
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 title claims description 180
- 238000001914 filtration Methods 0.000 claims abstract description 267
- 230000003213 activating effect Effects 0.000 claims abstract description 19
- 230000004913 activation Effects 0.000 claims description 181
- 230000009849 deactivation Effects 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 51
- 230000008859 change Effects 0.000 claims description 39
- 230000000415 inactivating effect Effects 0.000 claims description 18
- 230000002779 inactivation Effects 0.000 claims description 17
- 238000003062 neural network model Methods 0.000 description 64
- 210000000515 tooth Anatomy 0.000 description 63
- 210000000214 mouth Anatomy 0.000 description 62
- 238000012549 training Methods 0.000 description 43
- 210000004195 gingiva Anatomy 0.000 description 37
- 238000004891 communication Methods 0.000 description 33
- 210000001519 tissue Anatomy 0.000 description 23
- 210000004872 soft tissue Anatomy 0.000 description 18
- 239000011505 plaster Substances 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 16
- 229910052602 gypsum Inorganic materials 0.000 description 16
- 239000010440 gypsum Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 210000003254 palate Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000003296 saliva Anatomy 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000004400 mucous membrane Anatomy 0.000 description 4
- 210000002105 tongue Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 208000002354 Edentulous Jaw Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- -1 correction device Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
- A61B2018/2035—Beam shaping or redirecting; Optical components therefor
- A61B2018/20351—Scanning mechanisms
- A61B2018/20353—Scanning in three dimensions [3D]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Power Engineering (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
Description
개시된 실시 예는 데이터 처리 장치 및 데이터 처리 방법에 대한 것으로, 보다 구체적으로, 구강 이미지를 처리 또는 가공하기 위한 장치 및 그 방법에 관한 것이다.The disclosed embodiments relate to a data processing device and a data processing method, and more specifically, to a device and method for processing or processing an oral cavity image.
환자의 구강 정보를 획득하기 위해 3차원 스캐너가 이용되고 있다. 3차원 스캐너는 환자의 구강 내에 인입 및 인출이 가능한 핸드헬드(handheld) 형태이거나 또는 테이블의 회전을 이용하여 테이블 위에 배치된 석고 모델 등을 스캔할 수 있는 테이블 스캐너 형태일 수 있다. A 3D scanner is being used to acquire oral information of a patient. The 3D scanner may be a handheld type capable of being drawn in and out of a patient's oral cavity, or a table scanner type capable of scanning a gypsum model or the like placed on a table by using rotation of the table.
3차원 스캐너에 연결된 PC 등의 데이터 처리 장치는, 3차원 스캐너가 획득한 로우 데이터를 이용하여 3차원 구강 이미지를 생성할 수 있다. A data processing device such as a PC connected to the 3D scanner may generate a 3D oral image using raw data acquired by the 3D scanner.
경우에 따라, 3차원 스캐너가 획득한 로우 데이터는 치과의 등의 사용자가 필요로 하지 않는 조직에 대한 데이터를 포함할 수 있다. 로우 데이터에 불필요한 조직이 포함되어 있는 경우, 로우 데이터들 간에 정교한 얼라인을 수행하기 어렵기 때문에 정확한 3차원 구강 이미지를 획득하지 못하는 문제가 있을 수 있다. In some cases, the raw data acquired by the 3D scanner may include tissue data not needed by a user such as a dentist. If unnecessary tissue is included in the raw data, it may be difficult to accurately align the raw data, so that an accurate 3D oral image may not be acquired.
로우 데이터에 불필요한 데이터가 포함되어 있는 경우, 사용자는 데이터 처리 장치를 이용하여 추가적인 트리밍 동작을 통해 불필요한 데이터를 제거할 수 있다. 또는 사용자는 불필요한 조직이 포함되지 않도록 대상체를 다시 스캔할 수 있다. 또는 이러한 번거로움을 막기 위해, 데이터 처리 장치는 필터링 기능을 이용하여 3차원 스캐너가 획득한 대상체에 대한 로우 데이터에서 불필요한 조직에 대한 데이터를 실시간으로 제거하는 동작을 수행할 수 있다. 그러나, 대상체의 종류에 따라서는 필터링을 적용하지 않는 경우보다 필터링을 적용한 경우에 더 좋지 않은 결과를 얻는 경우가 있다. 예컨대, 대상체가 석고 모델인 경우, 데이터 처리 장치가 로우 데이터에서 일부 영역을 불필요한 조직으로 오인하여 제거할 경우, 석고 모델에 대한 3차원 구강 이미지가 사용자의 의도와는 다르게 잘못 생성되는 경우가 있을 수 있다. When unnecessary data is included in raw data, a user may remove unnecessary data through an additional trimming operation using a data processing device. Alternatively, the user may scan the object again so that unnecessary tissues are not included. Alternatively, in order to prevent such trouble, the data processing device may perform an operation of removing unnecessary tissue data in real time from the raw data of the object obtained by the 3D scanner by using a filtering function. However, depending on the type of object, a worse result may be obtained when filtering is applied than when filtering is not applied. For example, when the object is a gypsum model, when the data processing device misidentifies and removes some areas from the raw data as unnecessary tissues, a 3D oral image of the gypsum model may be incorrectly generated contrary to the user's intention. there is.
이에, 사용자는 데이터 처리 장치를 조작하여 스캔하는 대상체의 종류에 따라 필터링 동작 수행 여부가 달라지도록 할 수 있다. 사용자는 환자의 구강을 스캔하다가, 석고 모델 등을 스캔하거나 또는 그 반대로 석고 모델을 스캔하다가 환자의 구강을 스캔해야 하는 경우가 있을 수 있다. 이 때, 사용자는 3차원 스캐너를 이용하여 환자의 구강이나 석고 모델 등을 스캔하다가 대상체가 변경되면 데이터 처리 장치를 조작하여 대상체에 맞는 필터링 동작 수행 여부를 다시 선택해야 하기 때문에 번거롭다는 문제가 있다. 또한, 3차원 스캐너가 구강으로 인입되는 핸드헬드 형태의 구강 스캐너인 경우, 사용자가 환자의 구강과 데이터 처리 장치를 교대로 접촉하므로 위생상으로도 좋지 않다는 문제가 있다. Accordingly, the user may manipulate the data processing device to change whether or not to perform the filtering operation according to the type of object to be scanned. There may be cases in which the user needs to scan the patient's oral cavity while scanning the oral cavity of the patient, then scan the gypsum model, or vice versa, while scanning the gypsum model. At this time, when the object is changed while scanning the patient's oral cavity or plaster model using a 3D scanner, the user has to manipulate the data processing device to select whether or not to perform a filtering operation suitable for the object, which is cumbersome. . In addition, when the 3D scanner is a handheld intraoral scanner that is drawn into the oral cavity, there is a problem in terms of hygiene because the user alternately contacts the patient's oral cavity and the data processing device.
다양한 실시 예들은 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화하거나 비활성화하여 대상체에 대한 3차원 스캔 데이터를 획득하는 데이터 처리 장치 및 데이터 처리 방법을 제공하기 위한 것이다. Various embodiments are intended to provide a data processing apparatus and data processing method for acquiring 3D scan data of an object by activating or inactivating a scan filtering mode based on the type of the object.
다양한 실시 예들은 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류에 기반한 결정에 상응하지 않는 것에 기초하여, 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 자동으로 변경하여 3차원 스캔 데이터를 획득하는 데이터 처리 장치 및 데이터 처리 방법을 제공하기 위한 것이다. According to various embodiments of the present disclosure, 3D scan data is acquired by automatically changing the activation or deactivation state of the current scan filtering mode based on the fact that the activation or deactivation state of the current scan filtering mode does not correspond to the determination based on the type of the object. It is to provide a data processing device and a data processing method.
다양한 실시 예들은 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류에 기반한 결정에 상응하지 않는 것에 기초하여, 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위한 사용자 인터페이스 화면을 출력하는 데이터 처리 장치 및 데이터 처리 방법을 제공하기 위한 것이다. Various embodiments provide data for outputting a user interface screen for changing the activation or deactivation state of the current scan filtering mode based on the fact that the activation or deactivation state of the current scan filtering mode does not correspond to the determination based on the type of the object. It is to provide a processing device and a data processing method.
다양한 실시 예들은 스캔 필터링 모드를 비활성화하거나 또는 다양한 스캔 필터링 활성화 모드 중 하나의 활성화 모드로 대상체에 대한 3차원 스캔 데이터를 획득함으로써, 사용자가 필요로 하는 3차원 스캔 데이터만을 획득할 수 있는 데이터 처리 장치 및 데이터 처리 방법을 제공하기 위한 것이다. According to various embodiments of the present disclosure, a data processing device capable of obtaining only 3D scan data required by a user by disabling a scan filtering mode or acquiring 3D scan data of an object in one activation mode among various scan filtering activation modes. and to provide a data processing method.
실시 예에 따른 데이터 처리 장치에서 수행하는 데이터 처리 방법은 대상체의 종류를 식별하는 단계, 상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화 할지를 결정하는 단계 및 상기 결정에 상응하여 상기 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계를 포함할 수 있다. A data processing method performed by a data processing apparatus according to an embodiment includes identifying a type of object, determining whether to activate or deactivate a scan filtering mode based on the type of the object, and performing the scan filtering according to the determination. The method may include acquiring 3D scan data of the object by activating or inactivating a mode.
실시 예에서, 상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화 할지를 결정하는 단계는 상기 대상체의 종류가 모형인 것에 기반하여, 상기 스캔 필터링 모드를 비활성화하기로 결정하는 단계를 포함할 수 있다. In an embodiment, determining whether to activate or deactivate the scan filtering mode based on the type of the object may include determining to deactivate the scan filtering mode based on the type of the object being a model. there is.
실시 예에서, 상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화 할지를 결정하는 단계는 상기 대상체의 종류가 상기 모형이 아닌 것에 기반하여, 상기 스캔 필터링 모드를 활성화하기로 결정하는 단계를 포함할 수 있다. In an embodiment, the determining whether to activate or deactivate the scan filtering mode based on the type of the object includes determining to activate the scan filtering mode based on whether the type of the object is not the model. can do.
실시 예에서, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 상기 결정에 상응하지 않는 것에 기초하여, 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하는 단계 및 상기 변경된 스캔 필터링 모드의 활성화 또는 비활성화 상태에 기초하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계를 포함할 수 있다. In an embodiment, the acquiring of the 3D scan data of the object may include determining the activation or deactivation state of the current scan filtering mode based on the fact that the activation or deactivation state of the current scan filtering mode does not correspond to the determination. The method may include changing and acquiring 3D scan data of the object based on the activated or deactivated state of the changed scan filtering mode.
실시 예에서, 상기 방법은 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 상기 결정에 상응하지 않는 것에 기초하여, 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위한 사용자 인터페이스 화면을 출력하는 단계를 더 포함하고, 상기 사용자 인터페이스 화면은 상기 대상체의 종류, 상기 대상체의 종류에 기반하여 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하라는 메시지, 및 스캔 단계를 변경하라는 메시지 중 적어도 하나를 포함할 수 있다. In an embodiment, the method outputs a user interface screen for changing the activation or deactivation state of the current scan filtering mode based on the fact that the activation or deactivation state of the current scan filtering mode does not correspond to the determination. The user interface screen may include at least one of the type of the object, a message for changing an activation or deactivation state of a scan filtering mode based on the type of object, and a message for changing a scan step. there is.
실시 예에서, 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하는 단계는 상기 사용자 인터페이스 화면의 출력에 상응하여 입력된 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신하는 단계 및 상기 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호에 기초하여 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하는 단계를 포함할 수 있다. In an embodiment, the changing of the current activation or deactivation state of the scan filtering mode may include receiving a scan filtering mode activation or deactivation state change signal input corresponding to an output of the user interface screen and activating the scan filtering mode. Alternatively, the method may include changing an activation or deactivation state of the current scan filtering mode based on a deactivation state change signal.
실시 예에서, 상기 대상체의 종류를 식별하는 단계는 스캐너로부터 수신한 프레임에 포함된 전체 픽셀들 중 소정 클래스로 식별된 픽셀들의 퍼센트가 기준치 이상인 것에 기반하여, 상기 대상체를 상기 소정 클래스로 식별하는 단계를 포함할 수 있다. In an embodiment, the identifying the type of the object may include identifying the object as the predetermined class based on a percentage of pixels identified as the predetermined class among all pixels included in the frame received from the scanner being greater than or equal to a reference value. can include
실시 예에서, 상기 대상체의 종류를 식별하는 단계는 스캔 동작 시작 후 획득한 기준 개수의 프레임들을 중 상기 소정 클래스로 식별된 프레임들의 퍼센트가 기준치 이상인 것에 기반하여, 상기 대상체를 상기 소정 클래스로 식별하는 단계를 더 포함할 수 있다. In an embodiment, the identifying of the type of the object may include identifying the object as the predetermined class based on a percentage of frames identified as the predetermined class among the reference number of frames obtained after the start of the scan operation is greater than or equal to a reference value. Further steps may be included.
실시 예에서, 스캔 필터링 모드는 필터링하는 대상에 따라 복수의 활성화 모드를 포함하고, 상기 스캔 필터링 모드를 활성화하여 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계는 상기 복수의 활성화 모드 중 하나의 활성화 모드로 상기 대상체에 대한 필터링된 3차원 스캔 데이터를 획득하는 단계를 포함하고, 상기 하나의 활성화 모드는 사용자로부터 선택된 활성화 모드, 디폴트로 선택된 활성화 모드, 및 직전 스캔 단계에서 이용된 활성화 모드 중 적어도 하나일 수 있다. In an embodiment, the scan filtering mode includes a plurality of activation modes according to an object to be filtered, and the step of obtaining 3D scan data of the object by activating the scan filtering mode activates one of the plurality of activation modes. and acquiring filtered 3D scan data of the object as a mode, wherein the one activation mode is at least one of an activation mode selected by a user, an activation mode selected by default, and an activation mode used in a previous scan step. can be
실시 예에서, 상기 하나의 활성화 모드로 상기 대상체에 대한 필터링된 3차원 스캔 데이터를 획득하는 단계는 스캐너로부터 수신한 프레임에 포함된 픽셀들 중, 상기 선택된 하나의 활성화 모드에 따라 필터링할 클래스를 식별하는 단계 및 상기 식별된 클래스의 픽셀을 제거하여, 상기 대상체에 대한 필터링된 3차원 스캔 데이터를 획득하는 단계를 포함할 수 있다. In an embodiment, the obtaining of the filtered 3D scan data of the object in one activation mode may include identifying a class to be filtered according to the selected activation mode among pixels included in a frame received from a scanner. and obtaining filtered 3D scan data of the object by removing pixels of the identified class.
실시 예에 따른 데이터 처리 장치는 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 대상체의 종류를 식별하고, 상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화 할지를 결정하고, 상기 결정에 상응하여 상기 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다. A data processing apparatus according to an embodiment includes one or more processors that execute one or more instructions, and by executing the one or more instructions, the one or more processors identify a type of object and perform scan filtering based on the type of the object. 3D scan data of the object may be acquired by determining whether to activate or deactivate the mode, and activating or inactivating the scan filtering mode according to the determination.
실시 예에 따른 기록 매체는 대상체의 종류를 식별하는 단계, 상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화 할지를 결정하는 단계 및 상기 결정에 상응하여 상기 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계를 포함하는, 데이터 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.A recording medium according to an embodiment includes identifying a type of object, determining whether to activate or deactivate a scan filtering mode based on the type of the object, and activating or inactivating the scan filtering mode according to the decision. , It may be a computer-readable recording medium on which a program for implementing a data processing method, including obtaining 3D scan data of the object, is recorded.
일 실시 예에 따른 데이터 처리 장치 및 데이터 처리 방법은 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화하거나 비활성화하여 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다. The data processing apparatus and data processing method according to an embodiment may acquire 3D scan data of an object by activating or inactivating a scan filtering mode based on the type of the object.
일 실시 예에 따른 데이터 처리 장치 및 데이터 처리 방법은 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류에 기반한 결정에 상응하지 않는 것에 기초하여, 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 자동으로 변경하여 3차원 스캔 데이터를 획득할 수 있다. A data processing apparatus and a data processing method according to an embodiment automatically set the activation or deactivation state of the current scan filtering mode based on the fact that the activation or deactivation state of the current scan filtering mode does not correspond to the determination based on the type of the object. , and 3D scan data can be obtained.
일 실시 예에 따른 데이터 처리 장치 및 데이터 처리 방법은 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류에 기반한 결정에 상응하지 않는 것에 기초하여, 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위한 사용자 인터페이스 화면을 출력할 수 있다. A data processing apparatus and a data processing method according to an embodiment change the activation or deactivation state of a current scan filtering mode based on the fact that the activation or deactivation state of a current scan filtering mode does not correspond to a determination based on the type of an object. A user interface screen can be output to do so.
일 실시 예에 따른 데이터 처리 장치 및 데이터 처리 방법은 스캔 필터링 모드를 비활성화하거나 또는 다양한 스캔 필터링 활성화 모드 중 하나의 활성화 모드로 대상체에 대한 3차원 스캔 데이터를 획득함으로써, 사용자가 필요로 하는 3차원 스캔 데이터만을 획득할 수 있다. A data processing apparatus and data processing method according to an embodiment obtain 3D scan data of an object by inactivating a scan filtering mode or using one of various scan filtering activation modes to obtain 3D scan data required by a user. Only data can be obtained.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 실시 예에 따른 데이터 처리 장치의 내부 블록도이다.
도 3은 실시 예에 따라, 인공지능 기술을 이용하여 입력된 이미지에서 대상체를 식별하는 과정을 설명하기 위한 도면이다.
도 4는 실시 예에 따라 인공지능 기술을 이용하여 입력 이미지로부터 대상체를 식별하는 것을 설명하기 위한 도면이다.
도 5는 실시 예에 따라 데이터 처리 장치에서 출력되는 화면을 도시한 도면이다.
도 6은 실시 예에 따라 데이터 처리 장치가 다양한 스캔 필터링 모드에 기반하여 획득한 3차원 스캔 데이터를 도시한 도면이다.
도 7는 실시 예에 따라 데이터 처리 장치가 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위해 출력하는 사용자 인터페이스 화면을 도시한 도면이다.
도 8은 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다.
도 9는 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다.
도 10은 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다.1 is a diagram for explaining an oral cavity image processing system according to an embodiment.
2 is an internal block diagram of a data processing device according to an embodiment.
3 is a diagram for explaining a process of identifying an object from an input image using artificial intelligence technology according to an embodiment.
4 is a diagram for explaining identification of an object from an input image using artificial intelligence technology according to an embodiment.
5 is a diagram illustrating a screen output from a data processing device according to an exemplary embodiment.
6 is a diagram illustrating 3D scan data obtained by a data processing device based on various scan filtering modes according to an exemplary embodiment.
7 is a diagram illustrating a user interface screen output by a data processing device to change an activation or inactivation state of a current scan filtering mode according to an embodiment.
8 is a flowchart illustrating a data processing method according to an embodiment.
9 is a flowchart illustrating a data processing method according to an embodiment.
10 is a flowchart illustrating a data processing method according to an embodiment.
본 명세서는 본 출원의 권리범위를 명확히 하고, 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 본 출원을 실시할 수 있도록, 본 출원의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.This specification clarifies the scope of rights of the present application, explains the principles of the present application, and discloses embodiments so that those skilled in the art can practice the present application. The disclosed embodiments may be implemented in various forms.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 출원이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 출원의 작용 원리 및 실시 예들에 대해 설명한다.Like reference numbers designate like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which this application belongs is omitted. The term 'part' (portion) used in the specification may be implemented in software or hardware, and according to embodiments, a plurality of 'units' may be implemented as one element (unit, element), or a single 'unit' It is also possible that ' contains a plurality of elements. Hereinafter, the working principle and embodiments of the present application will be described with reference to the accompanying drawings.
본 명세서에서 이미지는 적어도 하나의 치아, 또는 적어도 하나의 치아를 포함하는 구강, 또는 구강에 대한 석고 모델을 나타내는 이미지(이하, '구강 이미지')를 포함할 수 있다. In this specification, the image may include at least one tooth, or an image representing an oral cavity including at least one tooth, or a gypsum model for the oral cavity (hereinafter referred to as 'oral image').
또한, 본 명세서에서 이미지는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 구강 이미지를 포함할 수 있다. 3차원 구강 이미지는 로우 데이터에 근거하여 구강의 구조를 3차원적으로 모델링(modeling)하여 생성될 수 있으므로, 3차원 구강 모델로 호칭될 수도 있다. 또한, 3차원 구강 이미지는 3차원 스캔 모델 또는 3차원 스캔 데이터로도 호칭될 수 있다.Also, in the present specification, an image may include a 2D image of an object or a 3D mouth image representing the object in three dimensions. Since the 3D oral image can be generated by 3D modeling the structure of the oral cavity based on raw data, it may be referred to as a 3D oral model. Also, the 3D oral image may be referred to as a 3D scan model or 3D scan data.
이하, 본 명세서에서 구강 이미지는 구강을 2차원 또는 3차원적으로 나타내는 모델 또는 이미지를 통칭하는 의미로 사용하기로 한다. Hereinafter, in the present specification, the oral cavity image will be used as a generic term for a model or image representing the oral cavity in two dimensions or three dimensions.
본 명세서에서는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 적어도 하나의 카메라를 이용하여 로우 데이터(raw data) 등을 획득할 수 있다. 구체적으로, 로우 데이터는 구강 이미지를 생성하기 위해서 획득되는 데이터로, 3차원 스캐너를 이용하여 대상체를 스캔(scan)할 때 3차원 스캐너에 포함된 적어도 하나의 이미지 센서에서 획득되는 데이터일 수 있다. 로우 데이터는 2차원 이미지 또는 3차원 이미지 데이터일 수 있다.In the present specification, raw data or the like may be obtained using at least one camera to represent an object in 2D or 3D. Specifically, the raw data is data acquired to generate an intraoral image, and may be data obtained from at least one image sensor included in the 3D scanner when scanning an object using the 3D scanner. The raw data may be 2D image or 3D image data.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the drawings.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다. 1 is a diagram for explaining an oral cavity image processing system according to an embodiment.
도 1을 참조하면, 구강 이미지 처리 시스템은 3차원 스캐너(110), 및 3차원 스캐너(110)와 통신망(130)을 통해 결합된 데이터 처리 장치(120)를 포함할 수 있다.Referring to FIG. 1 , the oral cavity image processing system may include a
3차원 스캐너(110)는 대상체의 이미지를 획득하는 장치일 수 있다. The
본 개시에서 대상체(object)는 스캔 대상을 의미할 수 있다. 대상체는 신체의 일부이거나, 또는 신체의 일부를 본뜬 모형을 포함할 수 있다. 대상체는 구강, 구강을 본 뜬 석고 모델이나 임프레션 모델, 구강에 삽입 가능한 인공 구조물, 또는 인공 구조물을 본 뜬 석고 모델이나 임프레션 모델, 덴티폼 등을 포함할 수 있다. 예컨대, 대상체는 치아 및 치은 중 적어도 하나이거나, 치아 및 치은 중 적어도 하나에 대한 석고 모델이나 임프레션 모델이거나, 및/또는 구강 내에 삽입 가능한 인공 구조물, 또는 이러한 인공 구조물에 대한 석고 모델이나 임프레션 모델을 포함할 수 있다. 여기서, 구강에 삽입 가능한 인공 구조물은 예를 들어, 교정 장치, 임플란트, 크라운, 인레이, 온레이, 인공 치아, 구강 내 삽입되는 교정 보조 도구 중 적어도 하나를 포함할 수 있다. 또한, 교정 장치는 브라켓, 어태치먼트(attachment), 교정용 나사, 설측 교정 장치, 및 가철식 교정 유지 장치 중 적어도 하나를 포함할 수 있다. In the present disclosure, an object may mean a scan target. The object may be a part of the body or may include a model imitating a part of the body. The object may include an oral cavity, a plaster model or impression model modeled after the oral cavity, an artificial structure that can be inserted into the oral cavity, or a plaster model or impression model modeled after an artificial structure, a dentiform, and the like. For example, the object includes at least one of teeth and gingiva, a plaster model or impression model of at least one of teeth and gingiva, and/or an artificial structure insertable into the oral cavity, or a plaster model or impression model of the artificial structure. can do. Here, the artificial structure insertable into the oral cavity may include, for example, at least one of an orthodontic device, an implant, a crown, an inlay, an onlay, an artificial tooth, and an orthodontic auxiliary tool inserted into the oral cavity. In addition, the orthodontic device may include at least one of a bracket, an attachment, an orthodontic screw, a lingual orthodontic device, and a removable orthodontic retainer.
3차원 스캐너(110)는 구강이나 인공 구조물, 또는 구강이나 인공 구조물을 본 뜬 석고 모델이나 임프레션 모델, 덴티폼 등의 모형 중 적어도 하나에 대한 이미지를 획득할 수 있다. 이미지는 프레임으로도 호칭될 수 있다.The
3차원 스캐너(110)는 사용자가 손으로 잡고 이동하면서 구강을 스캔하는 핸드 헬드(handheld)형의 구강 스캐너일 수 있다. 3차원 스캐너(110)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 이미지를 획득할 수 있다. The
도 1에서는 3차원 스캐너(110)가 핸드헬드(handheld) 형태의 구강 스캐너인 형태로 도시하였으나, 이에 한정되는 것은 아니며, 3차원 스캐너(110)는 테이블 스캐너로 구현될 수도 있다. In FIG. 1, the
3차원 스캐너(110)는 구강 내부의 치아나 치은, 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어 등을 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등), 석고 모델이나 임프레션 모델, 덴티폼 등의 모형 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다. The
3차원 스캐너(110)는 획득한 로우 데이터를 통신망(130)를 통하여 데이터 처리 장치(120)로 전송할 수 있다. The
데이터 처리 장치(120)는 3차원 스캐너(110)와 유선 또는 무선 통신망(130)을 통하여 연결될 수 있다. 데이터 처리 장치(120)는 3차원 스캐너(110)로부터 로우 데이터를 수신하고, 수신된 로우 데이터에 근거하여 구강 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예컨대, 데이터 처리 장치(120)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으나, 이에 한정되지 않는다. 또한, 데이터 처리 장치(120)는 구강 이미지를 처리하기 위한 서버(또는 서버 장치) 등의 형태로 존재할 수도 있다. The
데이터 처리 장치(120)는 3차원 스캐너(110)에서 수신한 로우 데이터에 근거하여 3차원 구강 이미지, 즉, 3차원 스캔 데이터를 생성할 수 있다. 데이터 처리 장치(120)는 3차원 구강 이미지를 디스플레이를 통하여 디스플레이 하거나, 이를 외부 장치로 출력하거나 전송할 수 있다. The
또 다른 예로, 3차원 스캐너(110)가 구강 스캔을 통하여 로우 데이터를 획득하고, 획득된 로우 데이터를 가공하여 3차원적 정보를 생성하고, 이를 데이터 처리 장치(120)로 전송할 수 있다. As another example, the
실시 예에서, 3차원 스캐너(110)는 다양한 방법을 이용하여 대상체에 대한 3차원적 정보를 획득할 수 있다. 예컨대, 3차원 스캐너(110)는 공초점 (confocal) 방식을 이용하여 대상체에 대한 3차원적 정보를 획득할 수 있다. 또는 실시 예에서, 3차원 스캐너(110)는 광 삼각법 (triangulation technique) 방식을 이용하여 대상체에 대한 3차원적 정보를 획득할 수도 있다. 다만, 이는 실시 예로, 3차원 스캐너(110)는 공초점 방식 또는 광 삼각법 방식 외에도 다양한 방식을 이용하여 로우 데이터로부터 3차원적 정보를 획득하고, 이를 데이터 처리 장치(120)로 전송할 수 있다. In an embodiment, the
데이터 처리 장치(120)는 수신된 3차원적 정보를 분석, 처리, 가공, 디스플레이 및/또는 외부 장치로 전송할 수 있다. The
실시 예에서, 데이터 처리 장치(120)는 3차원 스캐너(110)로부터 수신한 대상체의 이미지, 즉, 프레임을 이용하여 대상체에 대한 3차원 스캔 데이터를 생성할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 3차원 스캔 데이터를 생성할 때, 스캔 필터링 모드를 활성화하여 불필요한 데이터가 제거된 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, when generating 3D scan data, the
실시 예에서, 스캔 필터링 모드는 3차원 스캐너(110)로부터 수신한 프레임에서 불필요한 데이터를 제거하는 동작을 수행하는 모드일 수 있다. 실시 예에서, 불필요한 데이터는 사용자가 3차원 스캔 데이터에 포함되기를 원하지 않는 조직에 대한 데이터를 의미할 수 있다.In an embodiment, the scan filtering mode may be a mode in which unnecessary data is removed from frames received from the
실시 예에서, 스캔 필터링 모드가 활성화 상태인 경우, 데이터 처리 장치(120)는 3차원 스캐너(110)로부터 수신한 프레임에서 불필요한 데이터에 해당하는 영역을 필터링하여 제거할 수 있다. In an embodiment, when the scan filtering mode is activated, the
실시 예에서, 데이터 처리 장치(120)는 스캔 필터링 모드의 활성화 여부를 결정할 수 있다. In an embodiment, the
경우에 따라, 데이터 처리 장치(120)가 대상체에 대한 이미지를 스캔 필터링 하지 않는 경우보다 스캔 필터링을 수행한 경우 더 좋지 않은 결과물을 획득하는 경우가 있다. 예컨대, 대상체가 덴티폼이나 석고 모델, 임프레션 모델 등의 모형인 경우, 데이터 처리 장치(120)가 대상체에 대한 이미지에서 일부 영역을 불필요한 조직으로 오인하여 제거할 경우, 모형에 대한 3차원 스캔 데이터가 사용자의 의도와는 다르게 잘못 생성되는 경우가 있을 수 있다. In some cases, poorer results may be obtained when the
실시 예에서, 데이터 처리 장치(120)는 대상체의 종류에 따라 스캔 필터링 모드의 활성화 여부를 결정할 수 있다. 이를 위해 데이터 처리 장치(120)는 대상체를 인식하고, 대상체의 종류를 식별할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 대상체의 종류에 따라 스캔 필터링 모드 활성화 여부를 결정하고, 상기 결정에 상응하여 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 상기 결정에 상응하여 자동으로 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다. 또는, 실시 예에서, 데이터 처리 장치(120)는 상기 결정에 상응하여 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경해야 하는 경우, 스캔 필터링 모드 활성화 또는 비활성화 상태 변경을 가이드하는 사용자 인터페이스 화면을 출력하고, 사용자 인터페이스 화면의 출력에 상응하여 입력된 사용자 입력 신호에 기반하여, 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하여 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, the
도 2는 실시 예에 따른 데이터 처리 장치(120a)의 내부 블록도이다. 2 is an internal block diagram of a
실시 예에서, 데이터 처리 장치(120a)는 구강 이미지 처리 장치로도 호칭될 수 있다. In an embodiment, the
도 2의 데이터 처리 장치(120a)는 도 1의 데이터 처리 장치(120)의 일 실시 예일 수 있다. 따라서, 도 1에서 데이터 처리 장치(120)에 대해 설명한 내용과 중복된 부분에 대한 설명은 생략한다.The
도 2를 참조하면, 데이터 처리 장치(120a)는 프로세서(121), 통신 인터페이스(123), 사용자 입력부(125), 디스플레이(127) 및 메모리(129)를 포함할 수 있다. Referring to FIG. 2 , the
데이터 처리 장치(120a)는 3차원 스캐너(110)로부터 수신한 대상체에 대한 이미지 및/또는 3차원적 정보를 이용하여 3차원 구강 모델을 생성, 처리, 가공, 디스플레이 및/또는 외부로 전송할 수 있다. 또는 데이터 처리 장치(120a)는 외부 서버나 외부 장치 등으로부터 유선 또는 무선 통신망을 통해 3차원 구강 모델을 수신할 수도 있다. The
실시 예에 따른 메모리(129)는 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(129)는 프로세서(121)가 실행하는 적어도 하나의 인스트럭션이나 프로그램을 저장하고 있을 수 있다. The
실시 예에서, 메모리(129)는 3차원 스캐너(110)로부터 수신되는 데이터, 예를 들어, 구강이나 구강 모형을 스캔하여 획득된 이미지나 3차원적 정보 등을 저장할 수 있다. 메모리(129)는 3차원 스캐너(110)로부터 수신한, 3차원 구강 데이터의 포인트들의 위치 정보, 각 포인트들 간의 연결 관계 정보를 저장할 수 있다. In an embodiment, the
실시 예에서, 메모리(129)는 대상체에 대한 이미지를 기반으로 대상체에 대한 3차원 구강 모델을 생성하기 위한 하나 이상의 인스트럭션을 포함할 수 있다. In an embodiment, the
실시 예에서, 메모리(129)는 3차원 스캐너(110)에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램 또는 전용 애플리케이션으로 호칭될 수 있다. 데이터 처리 장치(120a)가 3차원 스캐너(110)와 상호 연동되어 동작하는 경우, 메모리(129)에 저장되는 전용 소프트웨어는 3차원 스캐너(110)와 연결되어 대상체 스캔을 통하여 획득되는 이미지 등의 데이터를 실시간으로 수신할 수 있다. 전용 소프트웨어는 3차원 스캐너(110)에서 획득된 데이터를 사용자가 이용하도록 하기 위한 다양한 메뉴나 도구(tool) 등을 포함하는 메뉴바(menu bar)를 디스플레이(127)를 통하여 제공할 수 있다. 전용 소프트웨어에 의해 제공되는 메뉴바는 대상체에 대한 3차원 스캔 데이터와 함께 출력될 수 있다. In an embodiment, the
실시 예에서, 전용 소프트웨어는 대상체에 대한 이미지에서 3차원 구강 모델을 생성할 때 소정 영역을 필터링하기 위한 인스트럭션, 전용 프로그램, 전용 툴, 또는 전용 어플리케이션 등을 포함할 수 있다. 전용 소프트웨어는 스캔 필터링 활성화 모드에 기반하여 3차원 스캐너(110)로부터 획득한 이미지에서 소정 영역을 필터링하여 불필요한 데이터가 제거된 3차원 스캔 데이터를 생성할 수 있다. In an embodiment, the dedicated software may include an instruction, a dedicated program, a dedicated tool, or a dedicated application for filtering a predetermined area when generating a 3D oral model from an image of an object. The dedicated software may generate 3D scan data from which unnecessary data is removed by filtering a predetermined area in the image obtained from the
실시 예에서, 메모리(129)에는 클래스 정보가 저장될 수 있다. 실시 예에서, 클래스 정보는 이미지에 포함된 대상체의 클래스를 식별하기 위한 정보일 수 있다. 대상체는 구강, 구강에 삽입 가능한 인공 구조물, 구강이나 인공 구조물을 본 뜬 석고 모델이나 임프레션 모델, 덴티폼 등의 모형을 포함할 수 있다. 실시 예에서, 대상체의 클래스 정보는 대상체의 종류에 따라, 혀(tongue), 치은(gingiva), 연조직(soft tissue), 혈액(blood), 타액(saliva), 치아(teeth), 입천장(palate), 입술(lip), 어버트먼트(abutment), 금속(metal), 교정 장치(correction device), 석고(gypsum), 인상(impression), 장갑(glove), 사람의 손(hand), 볼(cheek) 중 적어도 하나를 나타내는 정보일 수 있다. 다만, 이는 하나의 실시 예로, 대상체 및 대상체의 클래스 정보는 상술한 예에 한정되지 않는다. In an embodiment, class information may be stored in the
실시 예에서, 메모리(129)에 저장된 클래스 정보는 각 클래스에 대응하는 번호를 포함할 수 있다. 예컨대, 대상체가 치아인 경우, 치아에 대응하는 클래스 정보는 치아를 나타내는 고유 번호 0을 포함할 수 있다. 유사하게, 대상체가 치은인 경우, 치은에 대응하는 클래스 정보는 치은을 나타내는 고유 번호 1을 포함할 수 있다. In an embodiment, the class information stored in the
실시 예에서, 메모리(129)에는 대상체의 종류에 대응하여 스캔 필터링 모드가 활성화되어야 하는지 여부에 대한 정보가 저장될 수 있다. 예컨대, 메모리(129)에는 대상체의 종류가 모형인 경우, 스캔 필터링 모드가 비활성화되어야 한다는 정보가 저장될 수 있다. 또한, 메모리(129)에는 대상체의 종류가 모형이 아닌 경우, 스캔 필터링 모드가 활성화되어야 한다는 정보가 저장될 수 있다. In an embodiment, information on whether a scan filtering mode should be activated in correspondence to the type of object may be stored in the
실시 예에서, 스캔 필터링 모드는 복수개의 활성화 모드를 포함할 수 있다. 실시 예에서, 복수개의 활성화 모드는 필터링 대상에 따라 구분될 수 있다. 예컨대, 복수개의 활성화 모드를 제1 활성화 모드, 제2 활성화 모드, 제3 활성화 모드라고 하면, 실시 예에서, 메모리(129)에는 각 활성화 모드에 따라 필터링될 영역에 대응하는 클래스 정보가 저장될 수 있다. 예컨대, 스캔 필터링 모드가 제3 활성화 모드인 경우, 메모리(129)에는 치아를 제외한 나머지 조직에 대응하는 클래스가 모두 필터링되어야 한다는 정보가 저장될 수 있다. In an embodiment, the scan filtering mode may include a plurality of activation modes. In an embodiment, a plurality of activation modes may be classified according to filtering targets. For example, if a plurality of activation modes are referred to as a first activation mode, a second activation mode, and a third activation mode, class information corresponding to a region to be filtered according to each activation mode may be stored in the
실시 예에서, 데이터 처리 장치(120a)는 하나 이상의 인스트럭션을 실행하는 프로세서(121)를 포함할 수 있다. 프로세서(121)는 하나일 수도 있고, 복수개일 수도 있다. 구체적으로, 프로세서(121)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 데이터 처리 장치(120a) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(121)가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서(121)가 소정 동작들이 수행되도록 데이터 처리 장치(120a) 내부에 포함된 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다. In an embodiment, the
여기서, 적어도 하나의 인스트럭션은 프로세서(121)와 별도로 데이터 처리 장치(120a) 내에 포함되는 메모리(129) 또는 프로세서(121)내에 포함되는 내부 메모리(미도시)에 저장되어 있을 수 있다. Here, at least one instruction may be stored in a
실시 예에서, 적어도 하나의 인스트럭션은 대상체의 종류에 기반하여 스캔 필터링 모드 활성화 여부를 결정하는 인스트럭션을 포함할 수 있다. In an embodiment, at least one instruction may include an instruction for determining whether to activate the scan filtering mode based on the type of the object.
실시 예에서, 적어도 하나의 인스트럭션은 대상체의 종류에 기반하여 스캔 필터링 모드 활성화 여부를 결정하고, 결정에 대응하여 스캔 필터링 모드를 활성화하거나 또는 비활성화하여 대상체에 대한 3차원 스캔 데이터를 획득하기 위한 인스트럭션일 수 있다.In an embodiment, the at least one instruction may be an instruction for obtaining 3D scan data of the object by determining whether to activate the scan filtering mode based on the type of the object, and activating or inactivating the scan filtering mode in response to the determination. can
실시 예에서, 프로세서(121)는 대상체를 인식할 수 있다. 실시 예에서, 프로세서(121)는 대상체의 종류를 식별할 수 있다. 실시 예에서, 프로세서(121)는 3차원 스캐너(110)로부터 수신한 프레임을 분석하여 대상체의 종류를 식별할 수 있다. 예컨대, 프로세서(121)는 프레임에 포함된 픽셀들의 클래스를 식별하고, 프레임에 포함된 전체 픽셀들 중 소정 클래스로 식별된 픽셀들의 퍼센트가 기준치 이상인 것에 기반하여, 프레임 내지는 프레임에 포함된 대상체의 클래스를 식별할 수 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 기준 개수의 프레임들을 기반으로 대상체의 클래스를 식별할 수 있다. 실시 예에서, 프로세서(121)는 3차원 스캐너(110)로부터 수신한 프레임들 중에 기준 개수의 프레임들을 이용하여 대상체의 종류를 식별할 수 있다. 예컨대, 기준 개수의 프레임들은, 스캔 동작이 시작된 후부터 3차원 스캐너(110)로부터 수신한 첫 60개의 프레임들일 수 있으나, 이에 한정되는 것은 아니다. 실시 예에서, 프로세서(121)는 기준 개수의 프레임들 중 소정 클래스로 식별된 프레임들의 개수가 기준치 이상인 것에 기반하여, 대상체의 클래스를 식별할 수 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지, 또는 비활성화 할지를 결정할 수 있다. 실시 예에서, 스캔 필터링은 3차원 스캐너(110)로부터 수신한 이미지에서 사용자가 원하지 않는 불필요한 데이터를 제거하는 동작을 의미할 수 있다. 실시 예에서, 스캔 필터링 모드는 대상체에 대한 이미지에서 불필요한 데이터를 제거하는 스캔 필터링 동작을 수행하는 모드를 의미할 수 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 대상체의 종류를 기반으로 스캔 필터링 모드를 활성화 하기로 결정하거나 또는 비활성화 하기로 결정할 수 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 스캔 필터링 모드를 활성화 하기로 결정한 경우, 스캔 필터링 모드에 따라 이미지에서 불필요한 데이터를 제거함으로써 필터링된 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, when it is determined to activate the scan filtering mode, the
실시 예에서, 프로세서(121)는 스캔 필터링 모드를 비활성 화하기로 결정한 경우, 스캔 필터링 모드를 비활성화시켜, 이미지에 대한 필터링 없이 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, when it is determined to deactivate the scan filtering mode, the
실시 예에서, 프로세서(121)는 대상체가 환자의 구강 내부에 대한 것이면, 예컨대, 대상체가 구강에 포함된 치아나 구강 내부에 삽입된 인공 구조물인 경우 스캔 필터링 모드를 활성화 하기로 결정할 수 있다. In an embodiment, the
환자의 구강은 연조직과 경조직을 포함할 수 있다. 경조직은 치조골이나, 치아와 같이 딱딱한 조직을 의미할 수 있다. 연조직(soft tissue)은 뼈나 연골을 제외한, 치은, 점막, 입술, 혀 등의 부드러운 조직을 의미할 수 있다. 치은은 점막의 일부로 치아와 그 뿌리를 덮고 있는 곳을 나타내며 잇몸으로도 호칭될 수 있다. 또한, 환자의 구강은 혈액이나 타액 등을 포함할 수 있다.The oral cavity of a patient may include soft and hard tissue. The hard tissue may refer to an alveolar bone or a hard tissue such as a tooth. Soft tissues may refer to soft tissues such as gingiva, mucous membranes, lips, and tongue, excluding bone or cartilage. The gingiva is a part of the mucous membrane that covers teeth and their roots, and may also be referred to as gums. In addition, the oral cavity of the patient may contain blood or saliva.
치과 진단 및 치료 대상이 환자의 치아인 경우에 사용자는 치아에 대한 3차원 스캔 데이터만을 이용하고자 할 수 있다. 그러나, 치아 외에 구강에 포함된 다른 조직들이 치아에 대한 3차원 스캔 데이터에 영향을 줄 가능성이 있다. 예컨대, 환자의 구강을 스캔하는 중에 환자가 혀나 입술 등을 움직일 경우, 치아에 대한 3차원 스캔 데이터가 혀나 입술에 대한 데이터를 포함할 가능성이 있다. 또한, 치은이나 연조직은 변성될 가능성이 있어 치아에 대한 스캔 데이터 획득에 영향을 줄 수 있다. 예컨대, 환자의 구강 상태나 약물 투입 등에 따라 치은이나 기타 연조직이 붓는 경우, 연조직이 치아를 가리거나 치아와의 관계에서 연조직의 위치가 이동하여 치아에 대한 정확한 스캔 데이터가 획득되지 못할 가능성이 있다. 또한, 구강 내부의 혈액이나 타액 등이 치아 주변에 고이는 경우, 치아에 대한 정확한 스캔 데이터가 획득되지 못할 가능성이 있다. When a dental diagnosis and treatment target is a patient's tooth, the user may want to use only 3D scan data of the tooth. However, there is a possibility that other tissues included in the oral cavity in addition to the teeth may affect the 3D scan data of the teeth. For example, when the patient moves his or her tongue or lips while scanning the patient's oral cavity, there is a possibility that the 3D scan data on the teeth may include data on the tongue or lips. In addition, the gingiva or soft tissue may be degenerated, which may affect acquisition of scan data for the tooth. For example, when the gingiva or other soft tissues are swollen according to the patient's oral condition or drug injection, there is a possibility that accurate scan data for the teeth may not be obtained because the soft tissues cover the teeth or the position of the soft tissues moves in relation to the teeth. In addition, when blood or saliva in the oral cavity accumulates around the teeth, there is a possibility that accurate scan data for the teeth may not be obtained.
따라서, 치아에 대한 정확한 스캔 데이터를 획득하기 위해서는 치아에 영향을 줄 수 있는 불필요한 영역의 데이터를 최소화할 필요가 있다. Therefore, in order to obtain accurate scan data for teeth, it is necessary to minimize data of unnecessary areas that may affect teeth.
실시 예에서, 프로세서(121)는 대상체가 환자의 구강인 경우, 스캔 필터링 모드를 활성화하여 불필요한 데이터가 치아에 대한 3차원 스캔 데이터 생성에 영향을 주지 않도록 할 수 있다. In an embodiment, when the object is the patient's oral cavity, the
실시 예에서, 스캔 필터링 모드는 필터링하는 대상이나 영역에 따라 복수개의 활성화 모드를 포함할 수 있다. 예컨대, 복수개의 활성화 모드는 필터링하는 영역에 따라 세 가지 모드로 구분될 수 있다. In an embodiment, the scan filtering mode may include a plurality of activation modes according to an object or area to be filtered. For example, the plurality of activation modes may be divided into three modes according to filtering areas.
실시 예에서, 제1 활성화 모드는 치아와 치은, 입천장을 남기고 나머지 연조직을 필터링하는 모드를 의미할 수 있다. 제1 활성화 모드는 치아와 치은, 입천장을 제외한 조직을 필터링하는 모드일 수 있다. In an embodiment, the first activation mode may refer to a mode for filtering remaining soft tissues except teeth, gingiva, and the roof of the mouth. The first activation mode may be a mode for filtering tissues other than teeth, gingiva, and palate.
실시 예에서, 제2 활성화 모드는 치아 및 치은에 대해서만 스캔 데이터를 획득하는 모드를 의미할 수 있다. 제2 활성화 모드는 치아 및 치은만을 남기고 나머지 연조직을 필터링하는 모드일 수 있다. In an embodiment, the second activation mode may refer to a mode in which scan data is obtained only for teeth and gingiva. The second activation mode may be a mode for filtering remaining soft tissues except teeth and gingiva.
실시 예에서, 제3 활성화 모드는 치아만을 남기고 나머지 조직은 모두 제거하는 모드일 수 있다. In an embodiment, the third activation mode may be a mode in which only teeth are left but all other tissues are removed.
실시 예에서, 프로세서(121)는 스캔 필터링 모드를 활성화하여 대상체에 대한 3차원 스캔 데이터를 획득하기 위해서, 복수의 활성화 모드 중 하나의 활성화 모드를 이용하여 대상체에 대한 필터링된 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 복수의 활성화 모드 중 하나의 활성화 모드를 사용자로부터 선택 받을 수 있다. 또는, 실시 예에서, 프로세서(121)는 복수의 활성화 모드 중 하나의 활성화 모드를 디폴트로 선택할 수 있다. 또는, 실시 예에서, 프로세서(121)는 복수의 활성화 모드 중 직전 스캔 단계에서 이용된 적이 있는 활성화 모드를 기억하고 있다가 직전 스캔 단계에서 이용된 활성화 모드를 자동으로 선택할 수도 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 선택된 하나의 활성화 모드에 따라 스캐너로부터 수신한 프레임에 포함된 픽셀들 중 필터링할 클래스의 픽셀을 식별할 수 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 식별된 픽셀을 제거하여, 대상체에 대한 필터링된 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, the
실시 예에서, 프로세서(121)는 대상체의 종류가 모형인 경우, 스캔 필터링 모드를 비활성화 할 수 있다. 대상체의 종류가 모형인 경우는 예컨대, 대상체의 종류가 석고 모델이거나 임프레션 모델, 덴티폼 등인 경우를 의미할 수 있다. In an embodiment, the
스캔 필터링 모드를 비활성화한다는 것은, 대상체에 대한 이미지로 스캔 데이터를 생성할 때 데이터를 필터링하는 동작을 수행하지 않는 것을 의미할 수 있다. Deactivating the scan filtering mode may mean not performing an operation of filtering data when generating scan data as an image of an object.
환자의 구강과 달리, 구강이나 인공 구조물을 본 뜬 석고 모델이나 임프레션 모델, 덴티폼 등은 대상체에 대한 스캔 데이터 생성에 영향을 줄 수 있는 불필요한 조직을 포함하고 있지 않다. 즉, 석고 모델이나 임프레션 모델 등은 환자의 구강과 달리 혀, 입천장, 입술 등을 포함하고 있지 않고, 치은이 붓거나 혈액이나 타액 등이 치아에 고이는 현상 등이 없기 때문에, 대상체에 대한 스캔 데이터 생성에 영향을 주는 데이터를 포함하지 않는다. 석고 모델이나 임프레션 모델을 스캔할 때, 스캔 필터링 모드가 활성화될 경우, 석고 모델이나 임프레션 모델에서 획득해야 할 전체 영역 중 일부가 필터링 대상으로 오인되어 제거할 가능성이 있고, 그 결과 정확하지 않은 3차원 스캔 데이터가 획득될 가능성이 있다. Unlike the oral cavity of a patient, a plaster model, an impression model, or a dentiform imitating the oral cavity or an artificial structure do not include unnecessary tissues that may affect the generation of scan data for an object. That is, unlike the oral cavity of the patient, the plaster model or the impression model does not include the tongue, roof of the mouth, lips, etc., and there is no phenomenon such as swelling of the gingiva or accumulation of blood or saliva on the teeth, so scan data for the object is generated. does not include data affecting When scanning a gypsum model or impression model, if the scan filtering mode is activated, there is a possibility that some of the entire area to be acquired in the gypsum model or impression model will be mistaken for a filtering target and removed, resulting in inaccurate 3-dimensional images. There is a possibility that scan data may be obtained.
대상체에 대한 이미지가 많을수록 대상체에 대한 보다 정확한 3차원 스캔 데이터를 획득할 수 있기 때문에, 실시 예에서, 프로세서(121)는 대상체의 종류가 석고 모델이거나 또는 임프레션 모델, 덴티폼 등과 같은 모형인 경우, 스캔 필터링 모드를 비활성화 하여, 필터링 없이 대상체에 대한 스캔 데이터를 획득할 수 있다.Since more accurate 3D scan data of the object can be obtained as the number of images of the object increases, in an embodiment, the
실시 예에서, 프로세서(121)는 스캔 단계를 식별하여, 대상체의 종류를 식별할 수도 있다. 예컨대, 프로세서(121)는 스캔 단계가 임프레션(impression) 스캔 단계인 경우, 대상체의 종류를 임프레션 모델로 식별할 수 있다. 실시 예에서, 임프레션 스캔 단계는 임프레션 모델을 스캔하여 임프레션에 대한 3차원 스캔 데이터를 생성하는 동작을 의미할 수 있다. 임프레션 모델은 구강 내 치아를 포함한 경조직 및 연조직의 모습을 본뜬 모형으로, 실제 환자의 구강과는 반대의 음형을 갖기 때문에, 임프레션 스캔 단계는 스캔된 임프레션 모델의 음각의 형태를 양각의 모델로 편집하는 동작을 수반한다. In an embodiment, the
실시 예에서, 프로세서(121)는 스캔 단계가 임프레션 스캔 단계인 경우, 대상체의 종류를 임프레션 모델로 식별하고, 그에 따라 스캔 필터링 모드를 비활성화하여, 필터링 없이 임프레션 모델에 대한 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, if the scanning step is an impression scanning step, the
실시 예에서, 프로세서(121)는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 식별할 수 있다. 실시 예에서, 프로세서(121)는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류에 기반하여 결정된 스캔 필터링 모드 활성화 또는 비활성화 상태와 상응하지 않으면 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 대상체의 종류에 상응하도록 자동으로 변경할 수 있다. In an embodiment, the
예컨대, 프로세서(121)가 식별한 대상체의 종류가 석고 모델인 경우, 프로세서(121)는 스캔 필터링 모드가 비활성화되어야 한다고 결정할 수 있다. 프로세서(121)는 현재의 스캔 필터링 모드가 활성화 상태인 경우, 스캔 필터링 모드의 상태를 활성화 상태에서 비활성화 상태로 자동으로 변경할 수 있다. 프로세서(112)는 스캔 필터링 모드가 비활성화된 상태에서 석고 모델에 대한 3차원 스캔 데이터를 획득할 수 있다. For example, when the type of object identified by the
실시 예에서, 프로세서(121)는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류에 기반하여 결정된 스캔 필터링 모드 활성화 또는 비활성화 상태와 대응하지 않으면 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 자동으로 변경하지 않고, 대신 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류에 대응하지 않음을 사용자에게 알릴 수 있다. 예컨대, 프로세서(121)는 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위한 사용자 인터페이스 화면을 출력할 수 있다. 프로세서(121)는 스캔 필터링 모드의 활성화 또는 비활성화 상태 변경을 위한 사용자 인터페이스 화면을 출력함으로써 사용자가 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하도록 유도할 수 있다.In an embodiment, the
실시 예에서, 프로세서(121)는 사용자 인터페이스 화면의 출력에 대응하여 사용자로부터 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신할 수 있다. 실시 예에서, 프로세서(121)는 사용자의 입력에 따른 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호에 기초하여 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 대상체의 종류에 대응하는 스캔 필터링 모드 활성화 또는 비활성화 상태로 변경할 수 있다. In an embodiment, the
실시 예에 따른 디스플레이(127)는 3차원 구강 모델 및 3차원 구강 모델을 이용하거나 편집할 수 있는 다양한 메뉴바를 출력할 수 있다. 실시 예에서, 메뉴바는 스캔 필터링 모드 활성화 여부를 선택 받기 위한 메뉴를 포함할 수 있다. 또한, 메뉴바는 제1 활성화 모드, 제2 활성화 모드, 제3 활성화 모드 중 하나의 모드를 선택 받기 위한 메뉴를 포함할 수 있다. The
실시 예에서, 디스플레이(127)는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위한 사용자 인터페이스 화면을 출력할 수 있다. 사용자 인터페이스 화면은 식별된 대상체의 종류, 대상체에 대응하여 스캔 필터링 모드를 비활성화상태로활성화 상태로 또는 비활성화 상태로 변경하라는 메시지, 및 스캔 단계를 변경하라는 메시지 중 적어도 하나를 포함할 수 있다. In an embodiment, the
실시 예에 따른 통신 인터페이스(123)는 적어도 하나의 외부 전자 장치와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 예컨대, 통신 인터페이스(123)는 프로세서(121)의 제어에 따라서 3차원 스캐너(110)와 통신을 수행할 수 있다. 실시 예에서, 통신 인터페이스(123)는 3차원 스캐너(110)로부터 이미지를 수신하거나, 3차원적 정보를 획득할 수 있다. 실시 예에서, 통신 인터페이스(123)는 3차원 스캐너(110) 외의 다른 외부 전자 장치, 외부 서버 등과도 통신을 수행하여 스캔 모델을 획득할 수 있다. The
통신 인터페이스(123)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다. The
또한, 통신 인터페이스(123)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다. 구체적으로, 통신 인터페이스(123)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 예컨대, 통신 인터페이스(123)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. In addition, the
또한, 통신 인터페이스(123)는 3차원 스캐너(110)나 외부 서버, 외부 전자 장치 등과 유선으로 통신할 수도 있다. 이를 위해 통신 인터페이스(123)는 3차원 스캐너(110)나 외부 전자 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 통신 인터페이스(123)는 적어도 하나의 포트를 통하여 유선 연결된 3차원 스캐너(110)나 외부 전자 장치와 통신을 수행할 수 있다. In addition, the
실시 예에 따른 사용자 입력부(125)는 데이터 처리 장치(120a)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(125)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지정 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 사용자 입력부(125)는 음성 인식을 위한 음성 인식 장치를 포함할 수 있다. 예를 들어, 음성 인식 장치는 마이크로폰이 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(121)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 데이터 처리 장치(120a)를 제어할 수 있다. The
실시 예에서, 사용자 입력부(125)는 치과의사 등의 사용자로부터 스캔 필터링 모드를 활성화하거나 또는 비활성화하라는 명령을 수신할 수 있다. In an embodiment, the
실시 예에서, 사용자 입력부(125)는 사용자로부터 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하라는 명령을 수신할 수 있다.In an embodiment, the
실시 예에서, 사용자 입력부(125)는 사용자로부터 복수개의 스캔 필터링 모드 중 하나의 활성화 모드로 동작하라는 명령을 수신할 수 있다.In an embodiment, the
실시 예에서, 사용자 입력부(125)는 사용자로부터 스캔 단계를 임프레션 스캔 단계로 변경하라는 명령을 수신할 수 있다.In an embodiment, the
이와 같이, 실시 예에 의하면, 데이터 처리 장치(120a)는 대상체의 종류에 기반하여 스캔 필터링 모드가 활성화되어야 하는지 또는 비활성화되어야 하는지 여부를 결정하고, 그에 따라 대상체에 대한 스캔 데이터를 생성함으로써, 대상체의 종류에 부합하는 보다 정확한 3차원 스캔 데이터를 생성할 수 있다.In this way, according to an embodiment, the
도 3은 실시 예에 따라, 인공지능 기술을 이용하여 입력된 이미지에서 대상체를 식별하는 과정을 설명하기 위한 도면이다. 3 is a diagram for explaining a process of identifying an object from an input image using artificial intelligence technology according to an embodiment.
실시 예에서, 데이터 처리 장치(120)는 인공지능 기술(Artificial Intelligence, AI)을 이용하여 3차원 스캐너(110)로부터 수신된 프레임에서 대상체를 식별할 수 있다. AI 기술은 기계학습(딥 러닝) 및 기계 학습을 활용한 요소 기술들로 구성될 수 있다. AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network, 뉴럴 네트워크) 내지는 신경망 모델이라 한다. 신경망은 입력 데이터를 입력 받고, 분석 및 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다.In an embodiment, the
도 3을 참조하면, 인공지능 기술을 이용하여 입력된 프레임에서 대상체를 식별하는 과정은 크게 두 가지 과정으로 이루어질 수 있다. 두 가지 과정은 학습 모델을 훈련하는 훈련 과정(310)과, 학습된 학습 모델을 이용하여 적용하는 적용 과정(320)을 의미할 수 있다. Referring to FIG. 3 , a process of identifying an object in an input frame using artificial intelligence technology may be largely divided into two processes. The two processes may mean a
먼저 훈련 과정(310)에서는 복수의 훈련 데이터(311)를 입력으로 하여 신경망, 즉, 뉴럴 네트워크 모델(312)을 훈련시킬 수 있다. 뉴럴 네트워크 모델(312)을 훈련시키기 위한 훈련 데이터(311)는 학습 DB로부터 획득될 수 있다.First, in the
학습 DB는 다양한 주변 환경에서 생성된 대상체에 대한 학습 이미지를 포함할 수 있다. 학습 DB에서 획득된, 훈련 데이터(311)로 이용되는 대상체에 대한 학습 이미지는 다양한 기종의 3차원 구강 스캐너로 촬영되어 통신망을 통해 데이터 처리 장치 등에서 수신하는 형태의 이미지일 수 있다.The learning DB may include learning images of objects created in various surrounding environments. The learning image of the object used as the training data 311 obtained from the learning DB may be an image captured by a 3D intraoral scanner of various types and received by a data processing device or the like through a communication network.
실시 예에서, 복수의 학습 이미지는 하나 이상의 대상체를 포함하는 이미지일 수 있다. 예컨대, 다양한 대상체는 구강, 구강에 삽입 가능한 인공 구조물, 구강이나 인공 구조물을 본 뜬 석고 모델이나 임프레션 모델, 덴티폼 등의 모형 등을 포함할 수 있다. 보다 구체적으로, 대상체는 혀(tongue), 치은(gingiva), 연조직(soft tissue), 혈액(blood), 침(saliva), 치아(teeth), 입천장(palate), 입술(lip), 어버트먼트(abutment), 금속(metal), 교정 장치(correction device), 석고(gypsum), 인상(impression), 장갑(glove), 사람의 손(hand), 볼(cheek) 중 적어도 하나를 포함할 수 있다. 다만, 이는 하나의 실시 예로, 대상체는 위에 나열된 종류들로 로 한정되는 것은 아니다. 대상체는 위에 나열된 종류들 중 일부만을 포함할 수도 있고, 위에 나열된 종류들 외에 추가적인 종류를 더 포함할 수도 있다. In an embodiment, the plurality of training images may be images including one or more objects. For example, various objects may include an oral cavity, an artificial structure that can be inserted into the oral cavity, a plaster model or impression model modeled after the oral cavity or an artificial structure, or a model such as a dentiform. More specifically, the object is tongue, gingiva, soft tissue, blood, saliva, teeth, palate, lips, and abutments. It may include at least one of an abutment, a metal, a correction device, a gypsum, an impression, a glove, a human hand, and a cheek. . However, this is an example, and the object is not limited to the types listed above. The object may include only some of the types listed above, or may further include additional types in addition to the types listed above.
보다 정확한 학습 모델을 획득하기 위해서 많은 양의 학습 데이터가 필요하다. 훈련 데이터(311)의 양이 충분하지 않은 경우, 충분하지 않은 학습 데이터로 훈련된 학습 모델은 성능이 떨어질 가능성이 크다. A large amount of training data is required to obtain a more accurate learning model. When the amount of training data 311 is not sufficient, performance of a learning model trained with insufficient training data is likely to deteriorate.
실시 예에서, 데이터 처리 장치(120) 및/또는 뉴럴 네트워크 모델(312)을 제조하는 제조사는 학습 이미지를 기반으로 추가 이미지를 생성하고, 이를 훈련 데이터(311)로 이용할 수 있다. 제조사는 다양한 기종의 3차원 스캐너가 생성한 이미지들을 분석하고 이를 기반으로 새로운 추가 이미지를 생성함으로써, 뉴럴 네트워크 모델(312)을 설계하는 데 사용될 학습 데이터 양을 증가시킬 수 있다. In an embodiment, a manufacturer of the
실시 예에서, 제조사는 학습 이미지들을 보간하여 추가 이미지를 생성할 수 있다. 예컨대, 학습 이미지가, 3차원 스캐너와 대상체의 한 지점 간의 거리가 각각 1cm일 때와 2cm일 때 3차원 스캐너가 대상체를 촬영하여 획득한 이미지를 포함하는 경우, 제조사는 위 두 이미지를 보간함으로써 3차원 스캐너가 대상체의 한 지점으로부터 1.5cm의 거리에 위치할 때 획득될 수 있는 이미지를 보간 이미지로 생성할 수 있다. In an embodiment, the manufacturer may interpolate the training images to create additional images. For example, if the learning image includes an image obtained by photographing the object by the 3D scanner when the distance between the 3D scanner and a point on the object is 1 cm and 2 cm, respectively, the manufacturer interpolates the above two images to obtain 3 An image that can be obtained when the dimensional scanner is located at a distance of 1.5 cm from a point of the object may be generated as an interpolation image.
실시 예에서, 제조사는 학습 이미지들을 변형하여 추가 이미지를 생성할 수도 있다. 예컨대, 제조사는 학습 이미지의 색상이나 밝기, 콘트라스트 등을 조절하거나 또는 이미지의 해상도를 조절하거나, 선명도를 조절하기 위해 이미지를 블러링(blurring)하거나, 또는 이미지에 노이즈를 추가하는 등의 다양한 방법을 이용함으로써 학습 이미지를 변형하여 다양한 형태의 추가 이미지를 생성할 수 있다. In an embodiment, the manufacturer may create additional images by modifying the training images. For example, manufacturers use various methods such as adjusting the color, brightness, or contrast of a training image, adjusting the resolution of an image, blurring an image to adjust sharpness, or adding noise to an image. By using the learning image, it is possible to generate additional images in various forms by modifying the learning image.
실시 예에서, 훈련 데이터(311)는 학습 이미지와 함께 학습 이미지에 대한 세그멘테이션 마스크(segmentation mask)를 포함할 수 있다. 세그멘테이션 마스크는 학습 이미지에 포함된 픽셀 단위로 대상체의 종류, 즉, 클래스를 라벨링하는 마스크일 수 있다. 세그멘테이션 마스크는 학습 이미지에서 대상체의 위치, 대상체의 형상, 복수 대상체들간의 관계, 어떤 픽셀이 어떤 대상체에 속하는지 등을 표시하기 위해 학습 이미지를 픽셀 단위로 분할하고 학습 이미지의 각 픽셀에 레이블을 부여한 마스크일 수 있다. In an embodiment, the training data 311 may include a training image and a segmentation mask for the training image. The segmentation mask may be a mask for labeling the type of the object, ie, the class, in units of pixels included in the training image. The segmentation mask divides the training image into pixels and assigns a label to each pixel in the training image to indicate the position of the object, the shape of the object, the relationship between multiple objects, and which pixel belongs to which object in the training image. It can be a mask.
실시 예에서, 훈련 데이터(311)는 학습 DB로부터 획득한 대상체에 대한 학습 이미지 및 학습 이미지에 대한 세그멘테이션 마스크를 학습 데이터 셋으로 포함할 수 있다. In an embodiment, the training data 311 may include a learning image of an object acquired from a learning DB and a segmentation mask for the learning image as a learning data set.
훈련 데이터(311)는 뉴럴 네트워크 모델(312)로 입력될 수 있다. Training data 311 may be input to the neural network model 312 .
실시 예에서, 뉴럴 네트워크 모델(312)은 훈련 데이터(311)에 포함된 다양한 환경에서 생성된 대상체에 대한 학습 이미지 및 학습 이미지에 대한 세그멘테이션 마스크를 이용하여 훈련될 수 있다. In an embodiment, the neural network model 312 may be trained using a training image of an object generated in various environments included in the training data 311 and a segmentation mask for the training image.
실시 예에서, 뉴럴 네트워크 모델(312)은 CNN(Convolution Neural Network), DCNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 기반의 신경망일 수 있다. In an embodiment, the neural network model 312 may be a neural network based on a Convolution Neural Network (CNN), a Deep Convolution Neural Network (DCNN), or a Capsnet.
실시 예에서, 뉴럴 네트워크 모델(312)은 다양한 데이터들을 입력 받고, 입력된 데이터들을 분석하는 방법, 입력된 데이터들을 분류하는 방법, 및/또는 입력된 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 스스로 발견 또는 터득할 수 있도록 훈련될 수 있다. In an embodiment, the neural network model 312 receives various data, analyzes the input data, classifies the input data, and/or extracts features necessary for generating result data from the input data. You can be trained to discover or learn how to do it yourself.
실시 예에서, 뉴럴 네트워크 모델(312)은 훈련 데이터(311)를 분석하여, 학습 이미지에 포함된 대상체의 색상, 형상, 종류, 위치, 크기 등을 식별하도록 훈련될 수 있다. In an embodiment, the neural network model 312 may analyze the training data 311 and be trained to identify the color, shape, type, position, size, etc. of an object included in the training image.
뉴럴 네트워크 모델(312)은 다수의 학습 데이터들에 학습 알고리즘을 적용하여, 원하는 특성의 인공지능 모델로 만들어질 수 있다. 이러한 학습은 데이터 처리 장치(120) 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어질 수도 있다. 여기서, 학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨데, 로봇)를 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. The neural network model 312 may be made into an artificial intelligence model having desired characteristics by applying a learning algorithm to a plurality of learning data. Such learning may be performed in the
학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 실시 예에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the embodiment is specified Except for, it is not limited to the above example.
예를 들어, 뉴럴 네트워크 모델(312)은 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 추론 모델로 학습될 수 있다. 또는, 뉴럴 네트워크 모델(312)은 별다른 지도 없이 이미지에 포함된 대상체를 판단하기 위해 필요한 데이터의 종류를 스스로 학습함으로써, 이미지에 포함된 대상체를 판단하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 추론 모델로 학습될 수 있다. 또는 뉴럴 네트워크 모델(312)은 학습에 따라 이미지에 포함된 대상체를 추론한 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 추론 모델로 학습될 수 있다.For example, the neural network model 312 may be learned as a data reasoning model through supervised learning using training data as an input value. Alternatively, the neural network model 312 is unsupervised learning that discovers a criterion for determining an object included in an image by self-learning the type of data necessary for determining an object included in an image without any special guidance. Through, it can be learned as a data reasoning model. Alternatively, the neural network model 312 may be trained as a data inference model through reinforcement learning using feedback about whether a result of inferring an object included in an image according to learning is correct.
실시 예에서, 뉴럴 네트워크 모델(312)은 입력 계층, 숨은 계층, 및 출력 계층을 포함할 수 있다. 실시 예에서, 숨은 계층은 복수개의 히든 레이어들을 포함할 수 있다. 뉴럴 네트워크 모델(312)은 두 개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(DNN)일 수 있다. 딥 뉴럴 네트워크(DNN)는 복수의 계층들을 통한 연산을 수행하는 뉴럴 네트워크로, 연산을 수행하는 내부의 계층(layer)의 개수에 따라서 네트워크의 심도(depth)가 증가할 수 있다. 딥 뉴럴 네트워크(DNN) 연산은 컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다. In an embodiment, the neural network model 312 may include an input layer, a hidden layer, and an output layer. In an embodiment, the hidden layer may include a plurality of hidden layers. The neural network model 312 may be a deep neural network (DNN) including two or more hidden layers. A deep neural network (DNN) is a neural network that performs calculations through a plurality of layers, and the depth of the network may increase according to the number of internal layers that perform calculations. Deep neural network (DNN) calculations may include convolutional neural network (CNN) calculations and the like.
실시 예에서, 뉴럴 네트워크 모델(312)은 모델의 구현 방식이나 결과의 정확도, 결과의 신뢰도, 프로세서의 연산 처리 속도 및 용량 등에 따라 매우 다양하게 설계될 수 있다. In an embodiment, the neural network model 312 may be designed in a variety of ways according to a model implementation method, result accuracy, result reliability, and processing speed and capacity of a processor.
실시 예에서, 뉴럴 네트워크 모델(312)은 Dliated Convolution (또는 atrous convolution) 기반의 신경망일 수 있다. In an embodiment, the neural network model 312 may be a neural network based on Dliated Convolution (or atrous convolution).
이미지에 포함된 대상체를 정확히 판단하기 위해서는 맥락 정보(Contextual Information)가 중요하다. Contextual Information 은 예컨대, 대상체 주변의 배경은 어떠한 환경인지, 대상체 주변의 다른 대상체들은 어떤 종류인지, 대상체들 간의 위치나 관계 등은 어떠한지 등을 나타내는 정보일 수 있다. 대상체를 식별하기 위해서는 충분한 Contextual Information을 확보하는 것이 필요하고, 이를 위해 상대적으로 넓은 Receptive Field 를 고려할 필요가 있다. 일반적으로 CNN에서 Receptive Field 를 확장하기 위해서는 커널 크기를 확장하거나 컨볼루션 레이어의 수를 늘리는 방법이 있으나, 이러한 방법은 연산량을 크게 증가 시키는 문제가 있다. In order to accurately determine an object included in an image, contextual information is important. Contextual information may be information indicating, for example, what kind of environment is the background around the object, what types of other objects around the object are, and what the positions or relationships between the objects are. In order to identify an object, it is necessary to secure sufficient contextual information, and for this purpose, it is necessary to consider a relatively wide receptive field. In general, in order to expand the receptive field in CNN, there are ways to expand the kernel size or increase the number of convolution layers, but these methods have a problem of greatly increasing the amount of computation.
실시 예에서, 뉴럴 네트워크 모델(312)은 atrous convolution 기반의 신경망을 이용할 수 있다. atrous convolution은 컨볼루션 필터가 수용하는 픽셀 사이에 간격을 두어 컨볼루션의 View 를 늘리는 컨볼루션 기법을 의미한다. atrous convolution 기반의 신경망을 이용할 경우 입력 픽셀 수는 동일하지만, 더 넓은 범위에 대한 입력을 수용할 수 있기 때문에 주변의 다른 픽셀에 대한 특징을 고려할 수 있다. In an embodiment, the neural network model 312 may use an atrous convolution-based neural network. Atrous convolution refers to a convolution technique that increases the view of convolution by spacing the pixels accommodated by the convolution filter. When using an atrous convolution-based neural network, the number of input pixels is the same, but since it can accommodate a wider range of inputs, the characteristics of other nearby pixels can be considered.
atrous convolution 기반의 신경망은 컨볼루션 레이어에 커널 사이의 간격을 정의하는 파라미터인 dilation rate 를 도입한다. 예컨대, dilation rate 가 2인 3x3 커널의 경우 9개의 파라미터를 사용하여 5x5 커널과 동일한 view 를 얻는 효과를 갖는다. Neural networks based on atrous convolution introduce a dilation rate, a parameter that defines the interval between kernels, into the convolution layer. For example, in the case of a 3x3 kernel with a dilation rate of 2, it has the effect of obtaining the same view as that of a 5x5 kernel by using 9 parameters.
본 개시에서와 같이, 실시간으로 3차원 스캐너(110)로부터 입력되는 입력 이미지를 세그멘테이션하기 위해서는 넓은 view 가 필요하고, 또한 여러 레이어를 포함하는 컨볼루션이나 큰 커널을 사용할 여유가 없는 경우, 데이터 처리 장치(120)는 atrous convolution 을 이용함으로써 적은 연산량으로 Receptive Field를 늘릴 수 있다. atrous convolution 은 필터 내부에 zero padding 을 추가해서 Receptive Field 를 늘리는데 이 중 커널 사이의 간격의 웨이트는 0으로 채워지게 된다. Receptive Field 는 필터가 한번 보는 영역을 의미한다. 필터가 한번 보는 영역으로 이미지의 Feature 를 파악하고, 이를 추출하기 위해서는 넓은 Receptive Field 를 사용하는 것이 유리하다. As in the present disclosure, when a wide view is required to segment an input image input from the
실시 예에서, 뉴럴 네트워크 모델(312)은 복수의 학습 데이터를 입력 값으로 하여 입력 데이터를 분석 및 분류하여 특징을 추출하는 알고리즘일 수 있다. 뉴럴 네트워크 모델(312)은 입력된 데이터로부터 대상체를 식별하도록 학습된 모델일 수 있다. 이를 위해, 뉴럴 네트워크 모델(312)은 학습 이미지에서 대상체의 색상, 형상, 종류, 위치, 크기 등을 검출하는 방법을 학습할 수 있다. In an embodiment, the neural network model 312 may be an algorithm that extracts features by analyzing and classifying input data using a plurality of training data as input values. The neural network model 312 may be a model trained to identify an object from input data. To this end, the neural network model 312 may learn a method of detecting the color, shape, type, position, size, etc. of the object in the training image.
실시 예에서, 뉴럴 네트워크 모델(312)은 복수의 훈련 데이터(311)가 입력된 것에 응답하여, 복수의 훈련 데이터(311)로부터 이미지에 포함된 대상체를 식별하는 방법을 학습 및 또는 훈련할 수 있으며, 학습 및/또는 훈련된 결과에 기초하여 생성될 수 있다. In an embodiment, the neural network model 312 may learn and/or train a method of identifying an object included in an image from the plurality of training data 311 in response to the plurality of training data 311 being input. , may be generated based on learned and/or trained results.
실시 예에서, 뉴럴 네트워크 모델(312)은 대상체의 시맨틱(semantic) 정보를 고려하여, 이미지에 포함된 대상체의 종류를 식별할 수 있다. 시맨틱 정보는 대상체의 색상이나 형상, 대상체의 위치, 대상체의 크기, 대상체들 간의 위치 관계나 크기 관계 등을 의미할 수 있다. In an embodiment, the neural network model 312 may identify the type of object included in the image by considering the semantic information of the object. Semantic information may mean a color or shape of an object, a location of an object, a size of an object, a positional relationship or a size relationship between object objects, and the like.
실시 예에서, 뉴럴 네트워크 모델(312)은 대상체가 무엇인지, 또한, 대상체 간의 공간적 관계가 어떠한지 등을 학습할 수 있다. In an embodiment, the neural network model 312 may learn what an object is and what a spatial relationship between objects is.
실시 예에서, 뉴럴 네트워크 모델(312)은 학습 이미지 및 세그멘테이션 마스크 간의 관련성을 학습하고, 학습 이미지로부터 대상체를 식별하도록 훈련될 수 있다. In an embodiment, the neural network model 312 may be trained to learn a relation between a training image and a segmentation mask, and to identify an object from the training image.
실시 예에서, 뉴럴 네트워크 모델(312)은 학습 이미지에 대한 세그멘테이션 마스크를 정답 셋으로 이용하여 훈련될 수 있다. 뉴럴 네트워크 모델(312)은 입력된 학습 영상으로부터 대상체의 종류나 위치, 주변 대상체의 종류나 위치, 대상체의 크기 등을 추론/예측하고, 예측한 결과가 정답 셋과 같아지도록 반복하여 훈련될 수 있다. In an embodiment, the neural network model 312 may be trained using a segmentation mask for a training image as a correct answer set. The neural network model 312 infers/predicts the type or location of an object, the type or location of nearby objects, the size of an object, etc. from an input training image, and can be repeatedly trained so that the predicted result is equal to three correct answers. .
뉴럴 네트워크 모델(312)를 통하여 출력되는 결과의 정확도를 높이기 위해서, 각 훈련 결과인 출력 데이터(313)는 다시 뉴럴 네트워크 모델(312)로 피드백되어 뉴럴 네트워크 모델(312)의 가중치를 업데이트하는데 이용될 수 있다. In order to increase the accuracy of the result output through the neural network model 312, the output data 313, which is each training result, is fed back to the neural network model 312 and used to update the weight of the neural network model 312. can
실시 예에서, 뉴럴 네트워크 모델(312)은 출력 계층에서 출력되는 출력 데이터(313)와 그라운드 트루쓰(ground truth) 간의 차이를 손실 함수로 획득할 수 있다. 그라운드 트루쓰는 학습 이미지에 포함된 대상체를 종류 별로 라벨링한 세그멘테이션 마스크일 수 있다. 뉴럴 네트워크 모델(312)은 손실 함수를 다시 입력 받고, 손실 함수가 최소가 되도록 히든 레이어에 포함된 엣지들의 가중치 값을 계속 수정할 수 있다. 엣지들의 가중치 값은 반복적인 학습을 통하여 최적화될 수 있으며, 결과의 정확도가 소정의 신뢰도를 만족할 때까지 반복적으로 수정될 수 있다. 뉴럴 네트워크 모델(312)은 최종적으로 설정된 엣지들의 가중치 값들에 의해서 형성될 수 있다. In an embodiment, the neural network model 312 may obtain a difference between the output data 313 output from the output layer and the ground truth as a loss function. The ground truth may be a segmentation mask in which objects included in the training image are labeled by type. The neural network model 312 may receive the loss function again and continuously modify weight values of edges included in the hidden layer so that the loss function is minimized. The weight values of the edges may be optimized through iterative learning, and may be repeatedly modified until the accuracy of the result satisfies a predetermined degree of reliability. The neural network model 312 may be formed by weight values of edges finally set.
최종적으로 설정된 엣지들의 가중치 값들을 가지는 뉴럴 네트워크 모델(312)은 데이터 처리 장치(120)에 장착되어 입력 이미지로부터 대상체를 식별하는 데 이용될 수 있다. The neural network model 312 having the weight values of the finally set edges may be loaded into the
뉴럴 네트워크 모델(312)을 이용하여 이미지로부터 대상체의 종류를 획득하는 방법을 학습하는 동작은, 데이터 처리 장치(120)에서 수행될 수 있다. 또는 이러한 학습 동작은 데이터 처리 장치(120)와는 별개의 외부의 컴퓨팅 장치에서 수행될 수 있다. 예를 들어, 뉴럴 네트워크 모델(312)을 이용하여 이미지로부터 대상체의 종류를 획득하는 방법을 학습하는 동작은, 상대적으로 복잡한 연산량을 필요로 할 수 있다. 이에 따라, 외부의 컴퓨팅 장치가 학습하는 동작을 수행하고, 데이터 처리 장치(120)는 외부 컴퓨팅 장치로부터 학습이 끝난 뉴럴 네트워크 모델(312)을 수신함으로써, 데이터 처리 장치(120)에서 수행되어야 하는 연산량을 줄일 수 있다. 데이터 처리 장치(120)는 뉴럴 네트워크 모델(312)을 외부 서버로부터 수신하여 메모리(129)에 저장할 수 있다. An operation of learning how to acquire the type of an object from an image using the neural network model 312 may be performed by the
적용 과정(320)에서는 훈련된 뉴럴 네트워크 모델(322)에 적용 데이터(321)를 입력하여, 입력된 적용 데이터(321)로부터 입력된 적용 데이터(321)에 포함된 대상체의 종류를 나타내는 결과 데이터(323)를 획득할 수 있다. In the
실시 예에서, 적용 데이터(321)는 3차원 구강 스캐너(110)로부터 실시간으로 입력되는 이미지이고, 결과 데이터(323)는 이미지에 포함된 대상체의 종류나 위치 등을 나타내는 정보일 수 있다. 예컨대, 뉴럴 네트워크 모델(322)로부터 출력되는 결과 데이터(323)는 적용 데이터(321)에 포함된 대상체의 각 픽셀 별 레이블을 나타내는 세그멘테이션 마스크일 수 있다. 결과 데이터(323)로 출력되는 세그멘테이션 마스크는 대상체의 위치, 형상, 복수 대상체들간의 관계, 픽셀의 클래스 등을 나타낼 수 있다. In an embodiment, the
도 4는 실시 예에 따라 인공지능 기술을 이용하여 입력 이미지(410)로부터 대상체를 식별하는 것을 설명하기 위한 도면이다. 4 is a diagram for explaining identification of an object from an
도 4를 참조하면, 도 3의 뉴럴 네트워크 모델(322)은 입력 이미지(410)를 입력 받고 이로부터 입력 이미지(410)에 포함된 대상체의 특징을 나타내는 출력 이미지(420)를 획득할 수 있다. Referring to FIG. 4 , the
사용자는 3차원 스캐너(110)를 이용하여 대상체를 스캔할 수 있다. 3차원 스캐너(110)는 대상체를 촬영하여 획득한 이미지를 통신망(130)을 통해 데이터 처리 장치(120)로 실시간으로 전송할 수 있다. A user may scan an object using the
실시 예에서, 데이터 처리 장치(120)는 3차원 스캐너(110)로부터 수신되는 입력 이미지(410)를 뉴럴 네트워크 모델(322)에 입력시킬 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)에 포함된 뉴럴 네트워크 모델(322)은 입력 이미지(410)를 분석 및 분류하여 입력 이미지(410)로부터 특징을 추출할 수 있다. 예컨대, 뉴럴 네트워크 모델(322)은 입력 이미지(410)를 분석하여 입력 이미지(410)에 포함된 하나 또는 복수개의 대상체들의 종류나 크기, 위치 관계 등의 특징을 획득할 수 있다. In an embodiment, the
실시 예에서, 뉴럴 네트워크 모델(322)은 입력 이미지(410)에서 추출한 특징에 기반하여 입력 이미지(410)에 포함된 대상체를 식별할 수 있다. 예컨대, 뉴럴 네트워크 모델(322)은 입력 이미지(410)에서 추출한 특징을 분석하여 입력 이미지(410)에 포함된 대상체의 종류 및 위치 등을 식별할 수 있다. In an embodiment, the
실시 예에서, 출력 이미지(420)는 입력 이미지(410)에 포함된 픽셀들에 대해, 각 픽셀이 나타내는 대상체의 클래스를 구분하여 나타내는 세그멘테이션 마스크 형태일 수 있다. In an embodiment, the
실시 예에서, 세그멘테이션 마스크는 입력 이미지(410)에 포함된 픽셀 단위로 대상체의 종류를 나타낼 수 있다. 뉴럴 네트워크 모델(322)은 입력 이미지(410)의 각 픽셀에 레이블을 부여함으로써 입력 이미지(410)에 포함된 대상체의 위치, 대상체의 형상, 어떤 픽셀이 어떤 대상체에 속하는지 등을 표현할 수 있다. In an embodiment, the segmentation mask may indicate the type of object in units of pixels included in the
실시 예에서, 세그멘테이션 마스크는 픽셀 별 레이블, 즉, 클래스 정보를 포함할 수 있다. 픽셀 별 클래스 정보는 픽셀 별 색상으로 표현되거나 또는 픽셀 별 고유 번호로 표현될 수도 있다. 픽셀 별 색상 및 픽셀 별 번호는 서로 대응하여 사용될 수 있다. 예컨대, 특정 클래스에 대응하는 특정 색상은 특정 번호와 대응하여 사용될 수 있다.In an embodiment, the segmentation mask may include a label for each pixel, that is, class information. The class information for each pixel may be expressed as a color for each pixel or a unique number for each pixel. A color for each pixel and a number for each pixel may be used in correspondence with each other. For example, a specific color corresponding to a specific class may be used in correspondence with a specific number.
도 4에서, 출력 이미지(420)에 포함된 소정 영역(421)을 확대할 경우, 확대된 소정 영역(421)은 출력 이미지(420) 우측에 도시된 테이블(423)과 같이 표현될 수 있다. 테이블(423)은 소정 영역(421)에 포함된 픽셀들에 대해 식별된 클래스를 번호로 표현하는 매트릭스일 수 있다. 예컨대, 도 4에서, 소정 영역(421)에 혀와 치은이 포함되어 있는 경우, 소정 영역(421)에 대응하는 테이블(423)은 각 픽셀에 할당된, 혀와 치은의 클래스를 표현하는 번호를 포함할 수 있다. 도 4에서는, 대상체의 클래스를 나타내는 번호 중 1번이 혀(tongue)이고 6번이 치은(gingiva)인 경우, 테이블(423)이 소정 영역(421)에 포함된 아홉개의 픽셀들에 대해 식별된 클래스 정보를 각각 숫자 1과 6으로 표현한 것을 알 수 있다. In FIG. 4 , when a
실시 예에서, 데이터 처리 장치(120)는 뉴럴 네트워크 모델(322)로부터 획득된 출력 이미지(420)를 이용하여 입력 이미지(410)에 포함된 대상체의 클래스 및 대상체들 간의 위치 등을 식별할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 전체 픽셀들 중 소정 클래스로 식별된 픽셀들의 퍼센트를 획득하고, 소정 클래스로 식별된 픽셀들의 퍼센트가 기준치 이상인 경우, 입력 이미지(410)를 소정 클래스로 식별할 수 있다. In an embodiment, the
예컨대, 데이터 처리 장치(120)는 세그멘테이션 마스크를 이용하여 전체 픽셀들 중 혀로 식별된 픽셀들의 퍼센트, 치아로 식별된 픽셀들의 퍼센트, 치은으로 식별된 픽셀들의 퍼센트를 각각 16%, 61%, 17%로 획득할 수 있다. 데이터 처리 장치(120)는 이 중 기준치인 60%를 넘는 퍼센트를 갖는 클래스가 치아임을 식별하고, 입력 이미지(410) 전체의 클래스를 치아로 식별할 수 있다.For example, the
경우에 따라 뉴럴 네트워크 모델(322)이 한장의 프레임 만으로 대상체의 종류를 정확히 판단하기는 어려울 수 있다. 실시 예에서, 뉴럴 네트워크 모델(322)은 소정 개수의 프레임들을 이용하여 대상체의 종류를 판단할 수 있다.In some cases, it may be difficult for the
실시 예에서, 뉴럴 네트워크 모델(322)은 프레임에 포함된 대상체의 종류를 식별할 때, 프레임에 포함된 대상체의 색상이나 형상, 크기, 대상체 주변의 대상체의 형상이나 색상 등을 함께 고려할 수 있다. 예컨대, 연조직 중 치은과 점막은 색상 만으로는 구분하기 어렵다. 실시 예에서, 뉴럴 네트워크 모델(322)은 대상체가 치아로부터 어느 정도 떨어져 있는지, 및/또는 대상체의 형상과 주변 대상체의 형상이 어떠한지 등과 같이 주변 픽셀들의 색상이나 형상, 클래스 정보 등을 이용해서 대상체가 점막인지, 치은인지 등을 구분할 수 있다. 이를 위해, 전술한 바와 같이, 뉴럴 네트워크 모델(322)은 atrous convolution 기반의 신경망을 이용할 수 있다. 뉴럴 네트워크 모델(322)은 예컨대, 일반적인 CNN 기반의 신경망이 주로 사용하는 3X3 필터로 대상체에 대한 특징을 추출하는 대신, 대상인 픽셀을 중앙으로 커널 사이에 0의 웨이트를 갖는 공간을 두어, 커널의 가운데에 위치한 픽셀의 특징과, 커널의 가운데 픽셀에서 떨어져 있는 주변 픽셀의 특징을 함께 고려하여 통계적으로 가운데 픽셀이 치은이거나 점막일 확률을 구할 수 있다. In an embodiment, when the type of object included in the frame is identified, the
실시 예에서, 데이터 처리 장치(120)는 기준 개수의 프레임들만을 기준으로, 대상체의 종류를 식별할 수 있다. 예컨대, 데이터 처리 장치(120)는 스캔 동작 시작 후 3차원 스캐너(110)로부터 수신한 프레임들 중에, 기준 개수, 예컨대, 60개의 프레임들에 대해서, 치은으로 식별된 프레임의 퍼센트가 기준치 이상인 경우, 예컨대, 70%를 넘는 경우에, 현재 3차원 스캐너(110)가 촬영하는 대상이 치은이라고 식별할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 주기적으로, 또는 랜덤한 시간 간격으로, 또는 특정 이벤트가 발생될 때 마다 프레임들을 이용하여 대상체의 종류를 식별할 수 있다. 예컨대, 데이터 처리 장치(120)는 스캔 동작이 일시 정지되었다가 다시 재개되는 경우, 재개된 이후부터 입력되는 이미지들 중 소정 개수의 프레임들을 가지고 대상체의 종류를 식별하는 동작을 수행할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 스캔 필터링 모드에 기반하여 필터링할 대상체를 식별할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 뉴럴 네트워크 모델(322)을 이용하여 필터링할 대상체를 식별할 수 있다.In an embodiment, the
실시 예에서, 스캔 필터링 모드가 활성화 상태인 경우, 뉴럴 네트워크 모델(322)은 3차원 스캐너(110)로부터 수신한 프레임에 포함된 픽셀들 중, 선택된 하나의 활성화 모드에 따라 필터링할 클래스를 식별할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 뉴럴 네트워크 모델(322)이 식별한 픽셀을 제거하여, 대상체에 대한 필터링된 3차원 스캔 데이터를 획득할 수 있다. In an embodiment, when the scan filtering mode is activated, the
예컨대, 스캔 필터링 모드가 제1 활성화 모드인 경우, 뉴럴 네트워크 모델(322)은 입력 이미지(410)에 포함된 대상체들 간의 위치 관계나 특징으로부터 대상체의 종류를 식별하고, 치아, 치은, 및 입천장을 제외한 나머지 영역을 필터링 할 대상으로 식별할 수 있다. 데이터 처리 장치(120)는 뉴럴 네트워크 모델(322)에 의해 식별된 치아, 치은, 입천장을 제외한 나머지 영역을 필터링할 수 있다. For example, when the scan filtering mode is the first activation mode, the
예컨대, 스캔 필터링 모드가 제2 활성화 모드인 경우, 뉴럴 네트워크 모델(322)은 입력 이미지(410)에 포함된 대상체 중 치아 및 치은 외의 영역을 필터링할 대상으로 식별할 수 있다. 데이터 처리 장치(120)는 뉴럴 네트워크 모델(322)에 의해 식별된, 치아 및 치은을 제외한 나머지 조직을 모두 필터링할 수 있다. For example, when the scan filtering mode is the second activation mode, the
예컨대, 스캔 필터링 모드가 제3 활성화 모드인 경우, 뉴럴 네트워크 모델(322)은 입력 이미지(410)에 포함된 대상체 중 치아 외의 영역을 필터링 할 대상으로 식별할 수 있다. 데이터 처리 장치(120)는 뉴럴 네트워크 모델(322)에 의해 식별된 치아 외의 영역을 모두 필터링할 수 있다. For example, when the scan filtering mode is the third activation mode, the
도 5는 실시 예에 따라 데이터 처리 장치(120)에서 출력되는 화면(510)을 도시한 도면이다. 5 is a diagram illustrating a
도 5에서, 데이터 처리 장치(120)에서 출력되는 화면(510)은 데이터 처리 장치(120)가 3차원 스캐너(110)와 연동되는 스캔 관련 전용 소프트웨어를 실행했을 때의 화면을 도시한다. 데이터 처리 장치(120)는 3차원 스캐너(110)로부터 수신한 이미지로부터 3차원 스캔 데이터(520)를 획득하고 이를 화면(510)을 통해 출력할 수 있다. In FIG. 5 , a
실시 예에서, 데이터 처리 장치(120)는 다양한 메뉴를 포함하는 메뉴바(menu bar, 530)를 화면(510)에 출력할 수 있다. 메뉴바(530)는 사용자가 데이터 처리 장치(120)에 구비된 키보드나 마우스 등의 사용자 입력부(125)를 통해 입력할 수 있는, 단축키나 데이터 조작과 관련된 키를 안내하는 정보를 포함할 수 있다. In an embodiment, the
메뉴바(530)는 데이터 처리 장치(120)를 작동시키는 명령어나 기법 등을 포함할 수 있다. 메뉴바(530)는 아이콘이나 텍스트, 이미지 등과 같이 다양한 형태 등으로 구현될 수 있다. 메뉴바(530)는 데이터 처리 장치(120)를 이용하여 스캔 데이터를 편집하거나 변경하기 위한 다양한 도구 모음들을 포함할 수 있다. 예를 들어, 메뉴바(530)는 스캔 데이터의 확대, 축소, 전체 화면으로 보기, 이전 이미지 보기, 각도나 위치 변경 등을 포함하는 메뉴들을 포함할 수 있다. 또는 메뉴바(530)는 스캔 모드가 상악 스캔 모드인지, 하악 스캔 모드인지, 교합 스캔 모드인지 여부를 표시하거나, 또는 스캔 모드를 선택 받기 위한 메뉴를 포함할 수 있다. 또는 메뉴바(530)는 스캔 모드를 컴플릿하기 위한 메뉴를 포함할 수 있다. The
실시 예에서, 데이터 처리 장치(120)가 출력하는 메뉴바(530)는 스캔 필터링 모드 메뉴(531)를 포함할 수 있다. 실시 예에서, 스캔 필터링 모드 메뉴(531)는 스캔 필터링 모드로 동작할지 여부를 사용자로부터 선택 받기 위한 메뉴일 수 있다. 또는 스캔 필터링 모드 메뉴(531)는 현재의 스캔 필터링 모드가 무엇으로 설정되어 있는지를 사용자에게 알려주는 역할을 수행할 수 있다. In an embodiment, the
실시 예에서, 스캔 필터링 모드 메뉴(531)는 스캔 필터링 모드의 활성화 여부를 선택 받기 위한 메뉴를 포함할 수 있다. In an embodiment, the scan
실시 예에서, 스캔 필터링 모드는 필터링하는 대상이나 영역에 따라 복수의 활성화 모드를 포함할 수 있다. 실시 예에서, 스캔 필터링 모드 메뉴(531)는 스캔 필터링 모드에 포함된 복수의 활성화 모드 중 어느 활성화 모드로 스캔 필터링을 수행할지를 선택 받기 위한 메뉴를 포함할 수 있다. In an embodiment, the scan filtering mode may include a plurality of activation modes according to an object or area to be filtered. In an embodiment, the scan
실시 예에서, 스캔 필터링 모드는 필터링하는 영역에 따라 세 가지 모드로 구분될 수 있다. 제1 활성화 모드는 치아, 치은, 입천장 만을 남기고 나머지 연조직을 필터링하는 모드를 의미할 수 있다. 실시 예에서, 제2 활성화 모드는 치아 및 치은을 남기고 나머지 조직을 필터링하는 모드를 의미할 수 있다. 실시 예에서, 제3 활성화 모드는 치아 영역만 남기는 모드를 의미할 수 있다. In an embodiment, the scan filtering mode may be classified into three modes according to filtering areas. The first activation mode may refer to a mode for filtering remaining soft tissues except teeth, gingiva, and palate. In an embodiment, the second activation mode may refer to a mode for filtering remaining tissues except teeth and gingiva. In an embodiment, the third activation mode may mean a mode in which only the tooth area is left.
실시 예에서, 복수의 스캔 필터링 모드 중 하나의 모드는 다양한 방법으로 선택될 수 있다. 예컨대, 데이터 처리 장치(120)는 3차원 스캐너(110)와 연동되는 경우, 스캔 필터링 모드 비활성화를 디폴트로 선택하거나 또는 복수의 활성화 모드 중 하나의 활성화 모드를 디폴트로 선택할 수 있다. In an embodiment, one mode among a plurality of scan filtering modes may be selected in various ways. For example, when interlocking with the
또는, 실시 예에서, 데이터 처리 장치(120)는 직전 스캔 단계에서 이용된 활성화 모드를 자동으로 불러와 현재의 활성화 모드로 선택할 수 있다. 예컨대, 데이터 처리 장치(120)는 직전 스캔 단계에서 스캔 필터링 모드 비활성화가 이용된 경우, 현재의 스캔 단계에서도 스캔 필터링 모드 비활성화를 자동으로 선택할 수 있다. 또는 데이터 처리 장치(120)는 직전 스캔 단계에서 스캔 필터링 활성화 모드 중 하나의 모드, 예컨대, 제2 활성화 모드가 이용된 경우, 현재 스캔 단계에서도 스캔 필터링 모드를 제2 활성화 모드가 되도록 자동으로 선택할 수 있다. Alternatively, in an embodiment, the
또는, 실시 예에서, 사용자는 스캔 필터링 비활성화 모드를 선택하거나 또는 복수의 스캔 필터링 모드 중 원하는 하나의 활성화 모드를 직접 선택할 수 있다. 사용자는 디폴트로 선택된 활성화 모드 또는 직전에 사용된 적이 있는 활성화 모드가 아닌 다른 활성화 모드를 이용하고자 하는 경우, 활성화 모드를 직접 선택하여 활성화 모드가 변경되도록 할 수 있다. Alternatively, in an embodiment, the user may select a scan filtering inactivation mode or directly select a desired activation mode from among a plurality of scan filtering modes. When the user wants to use an activation mode other than the default selected activation mode or the activation mode used immediately before, the user may directly select the activation mode and change the activation mode.
도 5를 참조하면, 스캔 필터링 모드 메뉴(531)는 스캔 필터링 모드가 비활성화 되도록 하기 위한 메뉴(532), 스캔 필터링 모드가 활성화되도록 하기 위한 메뉴(533 내지 535)를 포함할 수 있다. 스캔 필터링 모드가 활성화되도록 하기 위한 메뉴는 제1 활성화 모드를 선택하기 위한 메뉴(533), 제2 활성화 모드를 선택하기 위한 메뉴(534), 및 제3 활성화 모드를 선택하기 위한 메뉴(535)를 포함할 수 있다. 각각의 메뉴는 아이콘이나 텍스트, 이미지 등의 형태로 표현될 수 있다.Referring to FIG. 5 , the scan
실시 예에서, 스캔 필터링 모드 메뉴(531)는 모드 선택 내지는 선택된 모드를 표시하기 위한 식별자(537)를 더 포함할 수 있다. 식별자(537)는 바(bar)(536) 위의, 선택된 스캔 필터링 모드의 메뉴에 대응하는 위치에 출력됨으로써 사용자에게 현재 선택된 스캔 필터링 모드가 무엇인지를 표시할 수 있다. In an embodiment, the scan
실시 예에서, 사용자는 키패드나 키보드, 마우스, 터치 패드 등의 사용자 입력부(125)를 이용하여, 스캔 필터링 모드 메뉴(531)에 포함된 식별자(537)를 조작함으로써 원하는 스캔 필터링 모드를 선택할 수 있다. 예컨대, 사용자는 사용자 입력부(125)를 이용하여 식별자(537)를 선택하고 식별자(537)의 위치를 바(536) 위에서 원하는 모드의 메뉴에 대응하는 위치로 이동시킴으로써, 사용자가 원하는 스캔 필터링 모드가 선택되도록 할 수 있다. 또는, 사용자가 원하는 모드의 메뉴를 선택하거나 바(536)에서 원하는 모드의 메뉴에 대응하는 위치를 선택하면, 식별자(537)는 사용자가 선택한 모드의 메뉴에 대응하는 바(536)의 위치로 이동되어 대응하는 위치에 있는 모드가 선택될 수 있다. In an embodiment, the user can select a desired scan filtering mode by manipulating the
실시 예에서, 메뉴바(530)는 임프레션 스캔 메뉴(538)를 포함할 수 있다. 사용자는 임프레션을 스캔하기 위해 임프레션 스캔 메뉴(538)를 선택할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 대상체를 스캔하고, 대상체에 대한 스캔이 완료되면 데이터를 반전하여 그 결과를 화면(510)에 출력할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 사용자로부터 임프레션 스캔 메뉴(538)가 선택된 경우, 대상체를 임프레션으로 식별할 수 있다. 따라서, 데이터 처리 장치(120)는 임프레션 스캔 메뉴(538)가 선택된 경우, 스캔 필터링 모드를 비활성화하여 대상체에 대한 3차원 스캔 데이터를 생성할 수 있다. In an embodiment, the
도 6은 실시 예에 따라 데이터 처리 장치(120)가 다양한 스캔 필터링 모드에 기반하여 획득한 3차원 스캔 데이터를 도시한 도면이다.6 is a diagram illustrating 3D scan data obtained by the
도 6(a)는 스캔 필터링 모드가 비활성화된 경우에 데이터 처리 장치(120)가 획득한 3차원 스캔 데이터를 도시한다. 6(a) shows 3D scan data acquired by the
경우에 따라, 사용자는 필터링 없이 3차원 스캔 데이터를 획득하고자 하는 경우가 있을 수 있다. 예컨대, 대상체가 무치악인 경우에는 대상체에 치아가 포함되어 있지 않고 연조직만 남아 있는 경우가 많다. 데이터 처리 장치(120)는 연조직만 포함하고 있는 이미지에서 치은과 점막 등을 구분하기 어려울 수 있기 때문에 대상체의 종류를 다른 조직으로 오인할 가능성이 있다. 즉, 데이터 처리 장치(120)는 대상체에 대한 이미지에 포함된 데이터 중에 필요한 조직을 불필요한 조직으로 잘못 판단하여 제거할 가능성이 있다. 따라서, 이 경우, 사용자는 필터링 없이 무치악에 대한 3차원 스캔 데이터를 획득하려고 할 수 있다. Depending on circumstances, there may be cases in which a user wants to obtain 3D scan data without filtering. For example, when an object is edentulous, there are many cases in which teeth are not included in the object and only soft tissue remains. Since it may be difficult for the
실시 예에서, 사용자가 스캔 필터링 모드를 비활성화할 것을 선택한 경우, 데이터 처리 장치(120)는 대상체에 대한 이미지로 스캔 데이터를 생성할 때 데이터를 필터링하는 동작을 수행하지 않음으로써 데이터가 필터링되지 않도록 할 수 있다. In an embodiment, when the user selects to disable the scan filtering mode, the
실시 예에서, 데이터 처리 장치(120)가 대상체의 종류를 모형으로 식별한 경우, 데이터 처리 장치(120)는 자동으로 스캔 필터링 동작을 비활성화하여 스캔 데이터를 생성할 수 있다. 대상체의 종류가 모형인 경우는 대상체가 석고 모델이거나 임프레션, 덴티폼 중 적어도 하나인 경우를 포함할 수 있다. In an embodiment, when the
모형은 실제 구강처럼 스캔 데이터 생성에 영향을 줄 수 있는 불필요한 조직을 포함하고 있지 않고, 또한, 대상체에 대한 이미지가 많을수록 대상체에 대한 보다 정확한 3차원 스캔 데이터를 획득할 수 있기 때문에, 실시 예에서, 데이터 처리 장치(120)는 대상체의 종류가 모형인 경우, 스캔 필터링 동작을 비활성하여 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다. Since the model does not contain unnecessary tissues that may affect scan data generation like a real oral cavity, and more accurate 3D scan data of the object can be obtained as the number of images of the object increases, in the embodiment, When the type of the object is a model, the
도 6(b) 내지 (d)는 스캔 필터링 모드가 활성화된 경우에 데이터 처리 장치(120)가 획득한 3차원 스캔 데이터를 각각 도시한다. 6(b) to (d) respectively show 3D scan data acquired by the
도 6(b)는 스캔 필터링 모드가 제1 활성화 모드인 경우 데이터 처리 장치(120)가 획득한 3차원 스캔 데이터를 도시한다. 실시 예에서, 제1 활성화 모드는 치아와 치은, 입천장을 남기고 나머지 연조직을 필터링하는 모드를 의미할 수 있다. 제1 활성화 모드는 대부분의 케이스에서 가장 보편적으로 사용될 수 있는 활성화 모드일 수 있다. 실시 예에서, 제1 활성화 모드가 선택된 경우, 데이터 처리 장치(120)는 치아, 치은, 및 입천장을 남기고 나머지 조직을 필터링할 수 있다. 6( b ) shows 3D scan data obtained by the
도 6(b)는 두 개의 도면을 포함하고 있다. 도 6(b)의 두 개의 도면 모두, 치아, 치은, 입천장 영역을 포함하고 있다. 도 6(b)의 좌측 및 우측 도면은 사용자가 3차원 스캐너(110)로 입천장을 스캔한 정도가 다른 것을 도시한다. 도 6(b)의 좌측 도면은 사용자가 3차원 스캐너(110)로 스캔한 대상체가 입천장을 많이 포함하고 있지 않은 경우, 제1 활성화 모드에 따라 데이터 처리 장치(120)가 획득한 3차원 스캔 데이터를 도시한다. 도 6(b)의 우측 도면은 사용자가 3차원 스캐너(110)로 스캔한 대상체가 입천장 전체를 포함하고 있는 경우, 제1 활성화 모드에 따라 데이터 처리 장치(120)가 획득한 3차원 스캔 데이터를 도시한다. Fig. 6(b) includes two views. Both drawings of FIG. 6(b) include teeth, gingiva, and palate regions. The left and right views of FIG. 6 (b) show that the degree of scanning of the palate by the user with the
도 6(c)는 스캔 필터링 모드가 제2 활성화 모드인 경우 데이터 처리 장치(120)가 획득한 3차원 스캔 데이터를 도시한다. 6(c) shows 3D scan data acquired by the
실시 예에서, 제2 활성화 모드는 제1 활성화 모드와 달리 치아 및 치은만을 남기고 나머지 영역은 모두 필터하는 모드일 수 있다. 제2 활성화 모드에 따라 생성된 3차원 스캔 데이터에는 치아와 치은만이 포함되게 되므로 이후 사용자는 데이터 처리 장치(120)를 이용하여 불필요한 연조직을 트리밍하는 작업을 수행할 필요가 없게 된다. In an embodiment, unlike the first activation mode, the second activation mode may be a mode in which only the teeth and gingiva are left but all other areas are filtered. Since only teeth and gingiva are included in the 3D scan data generated according to the second activation mode, the user does not need to trim unnecessary soft tissue using the
도 6(d)는 스캔 필터링 모드가 제3 활성화 모드인 경우 데이터 처리 장치(120)가 획득한 3차원 스캔 데이터를 도시한다. 실시 예에서, 제3 활성화 모드는 치아 주변의 연조직을 모두 제거하여 경조직인 치아만을 남기는 모드를 의미할 수 있다. 제3 활성화 모드에 의할 경우, 데이터 처리 장치(120)는 치아만을 포함하고 나머지 영역은 모두 제거된 3차원 스캔 데이터를 획득하게 된다. 제1 활성화 모드 또는 제2 활성화 모드로 대상체에 대한 3차원 스캔 데이터가 획득되었으나, 3차원 스캔 데이터에 치아의 빈 영역이 포함되어 있는 경우, 사용자는 제3 활성화 모드를 이용하여 치아의 빈 영역만이 추가로 스캔되도록 할 수 있다. 제3 활성화 모드에 의해 생성된 3차원 스캔 데이터는 제1 활성화 모드 또는 제2 활성화 모드로 생성된 3차원 스캔 데이터에 얼라인 및 병합되어 이용될 수 있다.6(d) illustrates 3D scan data acquired by the
도 7는 실시 예에 따라 데이터 처리 장치(120)가 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위해 출력하는 사용자 인터페이스 화면(730)을 도시한 도면이다. FIG. 7 is a diagram illustrating a
도 7을 참조하면, 데이터 처리 장치(120)는 스캔 필터링 모드 메뉴(710)를 출력할 수 있다. 스캔 필터링 모드 메뉴(710)에는 스캔 필터링 모드가 비활성화 되도록 하기 위한 메뉴(711), 스캔 필터링 모드 중 제1 활성화 모드 선택 메뉴(712)를 포함할 수 있다. 또한, 스캔 필터링 모드 메뉴(531)는 모드 선택에 이용되거나 및/또는 선택된 모드를 표시하는 데 이용되는 식별자(714) 및 식별자(714)가 이동할 수 있는 바(713)를 포함할 수 있다. Referring to FIG. 7 , the
실시 예에서, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 식별할 수 있다. In an embodiment, the
도 7을 참조하면, 식별자(714)는 현재 제1 활성화 모드 선택 메뉴(712)에 대응하는 바(713) 위에 위치하고 있으며 이는 현재의 스캔 필터링 모드가 제1 활성화 모드로 설정되어 있음을 의미할 수 있다. 데이터 처리 장치(120)는 현재 스캔 필터링 모드가 활성화 상태라고 식별할 수 있다. Referring to FIG. 7 , an
실시 예에서, 데이터 처리 장치(120)는 3차원 스캐너(110)로부터 실시간으로 획득되는 이미지로부터 대상체의 종류를 식별할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 대상체의 종류가 석고 모델 또는 임프레션 모델 등의 모형으로 감지된 경우, 스캔 필터링 모드를 비활성화하기로 결정할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류와 맞지 않는 경우 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 자동으로 변경할 수 있다. In an embodiment, the
또는, 실시 예에서, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류와 맞지 않는 경우 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 자동으로 변경하는 대신, 사용자에게 해당 내용을 알리는 인터페이스 화면을 출력함으로써 사용자가 모드를 변경하도록 가이드할 수 있다. Alternatively, in an embodiment, when the current scan filtering mode activation or deactivation state does not match the type of object, the
실시 예에서, 도 7은 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 대상체의 종류와 맞지 않는 경우 데이터 처리 장치(120)가 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위한 사용자 인터페이스 화면(730)을 출력하는 것을 도시한다. 7 is a user interface screen for changing, by the
실시 예에서, 데이터 처리 장치(120)는 사용자 인터페이스 화면(730)을 화면의 일 부분 영역 상에 텍스트 창 형태로 디스플레이 할 수 있다. 사용자 인터페이스 화면(730)의 크기, 출력 위치, 투명도, 및/또는 형태는 다양하게 변형될 수 있다. In an embodiment, the
실시 예에서, 사용자 인터페이스 화면(730)은 식별된 대상체의 종류, 식별된 대상체의 종류에 기반하여 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하라는 메시지, 및 스캔 단계를 변경하라는 메시지 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며, 사용자 인터페이스 화면(730)에 출력되는 메시지는 다양한 형태로 변형될 수 있다.In an embodiment, the
사용자는 사용자 인터페이스 화면(730)이 출력되면, 사용자 인터페이스 화면(730)이 알려주는 내용에 따라 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 입력할 수 있다. 예컨대, 사용자는 스캔 필터링 모드 메뉴(710)에서 스캔 필터링 모드가 비활성화 상태가 되도록 하기 위한 메뉴(711)를 선택할 수 있다. 데이터 처리 장치(120)는 사용자 인터페이스 화면(730)의 출력에 대응하여 입력된 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신하고, 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호에 기초하여 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경할 수 있다. When the
또는 사용자는 대상체가 임프레션인 경우, 임프레션 스캔 메뉴(720)를 선택할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 사용자로부터 임프레션 스캔 메뉴(720)가 선택된 경우, 대상체를 임프레션 모델로로 식별할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 임프레션 스캔 메뉴(720)가 선택된 것에 상응하여 스캔 필터링 모드를 자동으로 비활성화하고 대상체에 대한 임프레션 스캔을 수행할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 대상체에 대한 스캔이 완료되면 데이터의 양각 음각을 반전하여 그 결과를 출력할 수 있다. Alternatively, the user may select the
도 8은 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다. 8 is a flowchart illustrating a data processing method according to an embodiment.
도 8을 참조하면, 데이터 처리 장치(120)는 대상체의 종류를 식별할 수 있다(단계 810). 예컨대, 데이터 처리 장치(120)는 대상체의 종류가 모형인지 아닌지 여부를 판단할 수 있다.Referring to FIG. 8 , the
실시 예에서, 데이터 처리 장치(120)는 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화 할지를 결정할 수 있다(단계 820). 예컨대, 데이터 처리 장치(120)는 대상체의 종류가 모형인 경우 스캔 필터링 모드를 비활성화해야 한다고 결정할 수 있다. 예컨대, 데이터 처리 장치(120)는 대상체의 종류가 모형이 아닌 구강인 경우, 스캔 필터링 모드를 활성화해야 한다고 결정할 수 있다. In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 결정에 대응하여 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다(단계 830).In an embodiment, the
도 9는 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다. 9 is a flowchart illustrating a data processing method according to an embodiment.
도 9를 참조하면, 데이터 처리 장치(120)는 대상체의 종류를 식별할 수 있다(단계 910). Referring to FIG. 9 , the
실시 예에서, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드가 대상체의 종류에 대응하는지를 판단할 수 있다(단계 920). In an embodiment, the
예컨대, 데이터 처리 장치(120)는 대상체의 종류가 석고 모델 또는 임프레션 모델, 덴티폼 등과 같은 모형이라고 판단한 경우, 대상체의 종류에 대응하는 스캔 필터링 모드가 스캔 필터링 비활성화 모드라고 식별할 수 있다. 예컨대, 데이터 처리 장치(120)는 대상체의 종류가 모형이 아닌 경우, 대상체에 대응하는 스캔 필터링 모드가 활성화 모드라고 식별할 수 있다. For example, when the
실시 예에서, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드가 대상체의 종류에 대응한다고 판단하면, 현재의 스캔 필터링 모드로 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다(단계 930). In an embodiment, if the
실시 예에서, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드가 대상체의 종류에 대응하지 않는다고 판단하면, 스캔 필터링 모드를 대상체의 종류에 대응하도록 변경할 수 있다(단계 940). In an embodiment, if the
예컨대, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드가 대상체의 종류에 대응하지 않는다고 판단하면, 스캔 필터링 모드를 대상체의 종류에 대응하도록 자동으로 변경할 수 있다. For example, if it is determined that the current scan filtering mode does not correspond to the type of object, the
또는, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드가 대상체의 종류에 대응하지 않는다고 판단하면, 이를 알리는 사용자 인터페이스 화면을 출력하고, 사용자로부터 사용자 인터페이스 화면의 출력 대응하여 입력되는 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호에 기초하여 스캔 필터링 모드를 대상체의 종류에 대응하도록 변경할 수 있다.Alternatively, if the
실시 예에서, 데이터 처리 장치(120)는 변경된 스캔 필터링 모드의 활성화 또는 비활성화 상태에 기초하여 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다(단계 950). In an embodiment, the
도 10은 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다. 10 is a flowchart illustrating a data processing method according to an embodiment.
도 10을 참조하면, 데이터 처리 장치(120)는 현재의 스캔 필터링 모드가 대상체의 종류에 대응하는지를 판단할 수 있다. Referring to FIG. 10 , the
예컨대, 데이터 처리 장치(120)는 식별된 대상체의 종류가 석고 모델이라고 식별하고, 현재 스캔 필터링 모드가 활성화 상태라고 식별한 경우, 현재의 스캔 필터링 모드가 대상체의 종류에 대응하지 않는다고 판단할 수 있다. For example, the
데이터 처리 장치(120)는 현재의 스캔 필터링 모드가 대상체의 종류에 대응하지 않는다고 판단하면, 스캔 필터링 모드 활성화 또는 비활성화 상태를 변경하라는 사용자 인터페이스 화면을 출력할 수 있다(단계 1010). If it is determined that the current scan filtering mode does not correspond to the type of object, the
사용자는 데이터 처리 장치(120)의 화면을 통해 출력되는 사용자 인터페이스 화면을 이용하여, 현재 스캔하려는 대상체에 대해 스캔 필터링 모드 활성화 또는 비활성화가 잘못 설정되어 있음을 알고, 스캔 필터링 모드 활성화 또는 비활성화 상태를 변경할 수 있다. 예컨대, 위 예에서와 같이 현재 스캔하려는 대상체가 석고 모델인 경우, 사용자는 스캔 필터링 모드를 비활성화 상태로 변경하는 모드 변경 신호를 입력할 수 있다.The user knows that the activation or deactivation of the scan filtering mode is incorrectly set for the object to be scanned using the user interface screen output through the screen of the
실시 예에서, 데이터 처리 장치(120)는 사용자 인터페이스 화면의 출력에 상응하여 사용자로부터 모드 변경 신호를 수신했는지 여부를 판단할 수 있다(단계 1020). In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신한 것에 기반하여, 스캔 필터링 모드 활성화 또는 비활성화 상태를 변경하여 3차원 스캔 데이터를 획득할 수 있다(단계 1030). 예컨대, 위 예에서, 데이터 처리 장치(120)는 스캔 필터링 모드를 활성화 상태에서 비 활성화 상태로 변경하여 석고 모델에 대한 3차원 스캔 데이터를 획득할 수 있다.In an embodiment, the
실시 예에서, 데이터 처리 장치(120)는 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신하지 못할 경우, 소정 시간이 경과했는지를 판단할 수 있다(단계 1040). In an embodiment, when the scan filtering mode activation or inactivation state change signal is not received, the
실시 예에서, 데이터 처리 장치(120)는 사용자 인터페이스 화면을 출력한 이후 소정 시간이 경과한 후에도 사용자로부터 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신하지 못할 경우, 기존 스캔 필터링 모드 활성화 또는 비활성화 상태에 따라 3차원 스캔 데이터를 획득할 수 있다(단계 1050). 예컨대, 데이터 처리 장치(120)는 스캔 필터링 모드가 활성화 된 상태로 석고 모델에 대한 3차원 스캔 데이터를 획득할 수 있다.In an embodiment, when the
본 개시의 일 실시 예에 따른 데이터 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예는, 데이터 처리 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 될 수 있다. A data processing method according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. In addition, an embodiment of the present disclosure may be a computer-readable storage medium in which one or more programs including at least one instruction for executing a data processing method are recorded.
또한, 전술한 본 개시의 실시 예에 따른 데이터 처리 방법은 대상체의 종류를 식별하는 단계, 상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화 할지를 결정하는 단계 및 상기 결정에 상응하여 상기 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계를 포함하는, 데이터 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다. In addition, the data processing method according to an embodiment of the present disclosure described above includes the steps of identifying a type of object, determining whether to activate or deactivate a scan filtering mode based on the type of object, and performing the scan filtering mode according to the determination. Implemented as a computer program product including a computer-readable recording medium having a program recorded thereon for implementing a data processing method comprising obtaining 3D scan data of the object by activating or inactivating a filtering mode It can be.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. The computer readable storage medium may include program instructions, data files, data structures, etc. alone or in combination. Here, examples of computer-readable storage media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, floptical disks and Hardware devices configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like, may be included.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.Here, the device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' may mean that the storage medium is a tangible device. Also, the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 데이터 처리 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 구체적으로, 개시된 실시 예에 따른 컴퓨터 프로그램 제품은 개시된 실시 예에 따른 데이터 처리 방법을 수행하기 위해 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 저장 매체를 포함할 수 있다. According to one embodiment, the data processing method according to various embodiments disclosed in this document may be included in a computer program product and provided. A computer program product may be distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)). Alternatively, it may be distributed (eg, downloaded or uploaded) online through an application store (eg, play store, etc.) or directly between two user devices (eg, smartphones). Specifically, the computer program product according to the disclosed embodiment may include a storage medium on which a program including at least one instruction is recorded to perform the data processing method according to the disclosed embodiment.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also within the scope of the present invention. belong
Claims (20)
대상체의 종류를 식별하는 단계;
상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화 할지 또는 비활성화할지를 결정하는 단계; 및
상기 결정에 상응하여 상기 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계를 포함하는, 데이터 처리 방법. In the data processing method performed by the data processing apparatus,
identifying the type of object;
determining whether to activate or deactivate a scan filtering mode based on the type of the object; and
and acquiring 3D scan data of the object by activating or inactivating the scan filtering mode corresponding to the determination.
상기 대상체의 종류가 모형인 것에 기반하여, 상기 스캔 필터링 모드를 비활성화하기로 결정하는 단계를 포함하는, 데이터 처리 방법. The method of claim 1, wherein determining whether to activate or deactivate a scan filtering mode based on the type of the object
and determining to inactivate the scan filtering mode based on the type of the object being a model.
상기 대상체의 종류가 모형이 아닌 것에 기반하여, 상기 스캔 필터링 모드를 활성화 하기로 결정하는 단계를 포함하는, 데이터 처리 방법.The method of claim 1, wherein determining whether to activate or deactivate a scan filtering mode based on the type of the object
and determining to activate the scan filtering mode based on that the type of the object is not a model.
현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 상기 결정에 상응하지 않는 것에 기초하여, 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하는 단계; 및
상기 변경된 스캔 필터링 모드의 활성화 또는 비활성화 상태에 기초하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계를 포함하는, 데이터 처리 방법. The method of claim 1, wherein acquiring 3D scan data of the object
changing the activation or deactivation status of the current scan filtering mode based on the fact that the activation or deactivation status of the current scan filtering mode does not correspond to the determination; and
and acquiring 3D scan data of the object based on an activation or inactivation state of the changed scan filtering mode.
상기 사용자 인터페이스 화면은 상기 대상체의 종류, 상기 대상체의 종류에 기반하여 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하라는 메시지, 및 스캔 단계를 변경하라는 메시지 중 적어도 하나를 포함하는, 데이터 처리 방법.5 . The method of claim 4 , further comprising displaying a user interface screen for changing an activation or deactivation state of the current scan filtering mode based on the fact that the activation or deactivation state of the current scan filtering mode does not correspond to the determination. Including more,
The user interface screen includes at least one of the type of the object, a message for changing an activation or deactivation state of a scan filtering mode based on the type of object, and a message for changing a scan step.
상기 사용자 인터페이스 화면의 출력에 상응하여 입력된 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신하는 단계; 및
상기 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호에 기초하여 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하는 단계를 포함하는, 데이터 처리 방법. 6. The method of claim 5, wherein changing an activation or inactivation state of the current scan filtering mode
receiving a scan filtering mode activation or inactivation state change signal input corresponding to the output of the user interface screen; and
and changing an activation or deactivation state of the current scan filtering mode based on the scan filtering mode activation or deactivation state change signal.
상기 스캔 필터링 모드를 활성화하여 상기 대상체에 대한 3차원 스캔 데이터를 획득하는 단계는
상기 복수의 활성화 모드 중 하나의 활성화 모드로 상기 대상체에 대한 필터링된 3차원 스캔 데이터를 획득하는 단계를 포함하고,
상기 하나의 활성화 모드는 사용자로부터 선택된 활성화 모드, 디폴트로 선택된 활성화 모드, 및 직전 스캔 단계에서 이용된 활성화 모드 중 적어도 하나인, 데이터 처리 방법. The method of claim 1, wherein the scan filtering mode includes a plurality of activation modes according to an object to be filtered,
Acquiring 3D scan data of the object by activating the scan filtering mode
obtaining filtered 3D scan data of the object in one activation mode among the plurality of activation modes;
Wherein the one activation mode is at least one of an activation mode selected by a user, an activation mode selected by default, and an activation mode used in a previous scan step.
스캐너로부터 수신한 프레임에 포함된 픽셀들 중, 상기 선택된 하나의 활성화 모드에 따라 필터링할 클래스를 식별하는 단계; 및
상기 식별된 클래스의 픽셀을 제거하여, 상기 대상체에 대한 필터링된 3차원 스캔 데이터를 획득하는 단계를 포함하는, 데이터 처리 방법. 10. The method of claim 9, wherein obtaining filtered 3D scan data of the object in the one activation mode comprises:
identifying a class to be filtered according to the selected one activation mode among pixels included in a frame received from a scanner; and
and obtaining filtered 3D scan data of the object by removing pixels of the identified class.
하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
대상체의 종류를 식별하고,
상기 대상체의 종류에 기반하여 스캔 필터링 모드를 활성화할지 또는 비활성화 할지를 결정하고,
상기 결정에 상응하여 상기 스캔 필터링 모드를 활성화하거나 또는 비활성화하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는, 데이터 처리 장치. In the data processing device,
comprising one or more processors executing one or more instructions;
By executing the one or more instructions, the one or more processors:
identify the type of object;
Determine whether to activate or deactivate a scan filtering mode based on the type of the object;
and acquiring 3D scan data of the object by activating or inactivating the scan filtering mode corresponding to the determination.
상기 대상체의 종류가 모형인 것에 기반하여, 상기 스캔 필터링 모드를 비활성화하기로 결정하는, 데이터 처리 장치. 12. The method of claim 11, wherein the one or more processors execute the one or more instructions to:
and determining to inactivate the scan filtering mode based on the type of the object being a model.
상기 대상체의 종류가 모형이 아닌 것에 기반하여, 상기 스캔 필터링 모드를 활성화 하기로 결정하는, 데이터 처리 장치. 12. The method of claim 11, wherein the one or more processors execute the one or more instructions to:
and determining to activate the scan filtering mode based on that the type of the object is not a model.
현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 상기 결정에 상응하지 않는 것에 기초하여, 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하고,
상기 변경된 스캔 필터링 모드의 활성화 또는 비활성화 상태에 기초하여, 상기 대상체에 대한 3차원 스캔 데이터를 획득하는, 데이터 처리 장치. 12. The method of claim 11, wherein the one or more processors execute the one or more instructions to:
change the activation or deactivation status of the current scan filtering mode based on the fact that the activation or deactivation status of the current scan filtering mode does not correspond to the determination;
The data processing apparatus of claim 1, wherein 3D scan data of the object is obtained based on an activation or inactivation state of the changed scan filtering mode.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태가 상기 결정에 상응하지 않는 것에 기초하여, 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하기 위한 사용자 인터페이스 화면을 출력하고,
상기 사용자 인터페이스 화면은 상기 대상체의 종류, 상기 대상체의 종류에 기반하여 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하라는 메시지, 및 스캔 단계를 변경하라는 메시지 중 적어도 하나를 포함하는, 데이터 처리 장치.15. The method of claim 14, further comprising a display,
By executing the one or more instructions, the one or more processors:
Based on the current scan filtering mode's activation or inactivation state not corresponding to the determination, displaying a user interface screen for changing the activation or inactivation state of the current scan filtering mode;
The user interface screen includes at least one of the type of the object, a message for changing an activation or deactivation state of a scan filtering mode based on the type of object, and a message for changing a scan step.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 사용자 인터페이스 화면의 출력에 상응하여 상기 사용자 입력부를 통해 입력된 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호를 수신하고,
상기 스캔 필터링 모드 활성화 또는 비활성화 상태 변경 신호에 기초하여 상기 현재의 스캔 필터링 모드의 활성화 또는 비활성화 상태를 변경하는, 데이터 처리 장치. The method of claim 15, further comprising a user input unit,
By executing the one or more instructions, the one or more processors:
Receiving a scan filtering mode activation or inactivation state change signal input through the user input unit in correspondence with the output of the user interface screen;
and changing an activation or deactivation state of the current scan filtering mode based on the scan filtering mode activation or deactivation state change signal.
스캐너로부터 수신한 프레임에 포함된 전체 픽셀들 중 소정 클래스로 식별된 픽셀들의 퍼센트가 기준치 이상인 것에 기반하여, 상기 대상체를 상기 소정 클래스로 식별하는, 데이터 처리 장치. 12. The method of claim 11, wherein the one or more processors execute the one or more instructions to:
The data processing apparatus, which identifies the target object as the predetermined class based on a percentage of pixels identified as the predetermined class among all pixels included in a frame received from a scanner being greater than or equal to a reference value.
스캔 동작 시작 후 획득한 기준 개수의 프레임들을 중 상기 소정 클래스로 식별된 프레임들의 퍼센트가 기준치 이상인 것에 기반하여, 상기 대상체를 상기 소정 클래스로 식별하는, 데이터 처리 장치. 18. The method of claim 17, wherein the one or more processors execute the one or more instructions to:
and identifying the object as the predetermined class based on a percentage of frames identified as the predetermined class among the reference number of frames obtained after starting the scan operation.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 복수의 활성화 모드 중 하나의 활성화 모드로 상기 대상체에 대한 필터링된 3차원 스캔 데이터를 획득하고,
상기 하나의 활성화 모드는 사용자로부터 선택된 활성화 모드, 디폴트로 선택된 활성화 모드, 및 직전 스캔 단계에서 이용된 활성화 모드 중 적어도 하나인, 데이터 처리 방법. 12. The method of claim 11, wherein the scan filtering mode includes a plurality of activation modes according to an object to be filtered,
By executing the one or more instructions, the one or more processors:
obtaining filtered 3D scan data of the object in one activation mode among the plurality of activation modes;
Wherein the one activation mode is at least one of an activation mode selected by a user, an activation mode selected by default, and an activation mode used in a previous scan step.
스캐너로부터 수신한 프레임에 포함된 픽셀들 중, 상기 선택된 하나의 활성화 모드에 따라 필터링할 클래스를 식별하고,
상기 식별된 클래스의 픽셀을 제거하여, 상기 대상체에 대한 필터링된 3차원 스캔 데이터를 획득하는, 데이터 처리 장치.
20. The method of claim 19, wherein the one or more processors execute the one or more instructions to:
Among the pixels included in the frame received from the scanner, a class to be filtered according to the selected one activation mode is identified;
and obtaining filtered 3D scan data of the object by removing pixels of the identified class.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2022/014108 WO2023063607A1 (en) | 2021-10-12 | 2022-09-21 | Data processing apparatus and data processing method |
CN202280063602.4A CN118076318A (en) | 2021-10-12 | 2022-09-21 | Data processing apparatus and data processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210134684 | 2021-10-12 | ||
KR1020210134684 | 2021-10-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230052217A true KR20230052217A (en) | 2023-04-19 |
Family
ID=86142459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220106345A KR20230052217A (en) | 2021-10-12 | 2022-08-24 | A data processing apparatus, a data processing method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230052217A (en) |
-
2022
- 2022-08-24 KR KR1020220106345A patent/KR20230052217A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11602259B2 (en) | Image processing apparatus, display system image processing method, and storage medium that processes an image of dentition including a plurality of teeth in an oral cavity | |
JP7464682B2 (en) | Avatar integration with multiple applications | |
CN110460799A (en) | Intention camera | |
JP2003334389A (en) | Controller by gesture recognition, method thereof and recording medium | |
US20220301346A1 (en) | Learning apparatus, learning system, and nonverbal information learning method | |
KR20230052217A (en) | A data processing apparatus, a data processing method | |
US20230215063A1 (en) | Computer-implemented detection and processing of oral features | |
CN118076318A (en) | Data processing apparatus and data processing method | |
KR102612679B1 (en) | Method, apparatus and recording medium storing commands for processing scanned image of intraoral scanner | |
KR102583414B1 (en) | Method and apparatus of processing scanned images of 3d scanner | |
EP4350705A1 (en) | Electronic device and image processing method therefor | |
CN114360020A (en) | Oral cleaning area identification method and device, electronic equipment and storage medium | |
EP4374769A1 (en) | Method and apparatus for adjusting scan depth of three-dimensional scanner | |
KR102509772B1 (en) | Electronic device and method for processing scanned image of three dimensional scanner | |
US20230386141A1 (en) | Method, apparatus and recording medium storing commands for processing scanned images of 3d scanner | |
KR20230014621A (en) | Method and appratus for adjusting scan depth of three dimensional scanner | |
CN117677337A (en) | Method and device for adjusting the scanning depth of a three-dimensional scanner | |
EP4327772A1 (en) | Intraoral image processing device and intraoral image processing method | |
KR102532535B1 (en) | Method and apparatus for noise filtering in scan image processing of three dimensional scanner | |
KR102680644B1 (en) | Method for adding text on three dimensional model and apparatus for processing three dimensional model | |
EP4242966A1 (en) | Data processing device and data processing method | |
KR102472127B1 (en) | An intraoral image processing apparatus and an intraoral image processing method | |
US20240185518A1 (en) | Augmented video generation with dental modifications | |
KR20230007909A (en) | Method for adding text on three dimensional model and apparatus for processing three dimensional model | |
KR20240025109A (en) | Method and system for automating dental crown design image based on artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |