KR20220134416A - 데이터 처리 방법 및 이를 이용한 데이터 처리 장치 - Google Patents

데이터 처리 방법 및 이를 이용한 데이터 처리 장치 Download PDF

Info

Publication number
KR20220134416A
KR20220134416A KR1020210100509A KR20210100509A KR20220134416A KR 20220134416 A KR20220134416 A KR 20220134416A KR 1020210100509 A KR1020210100509 A KR 1020210100509A KR 20210100509 A KR20210100509 A KR 20210100509A KR 20220134416 A KR20220134416 A KR 20220134416A
Authority
KR
South Korea
Prior art keywords
cluster
scan
shot
scan shot
inactive
Prior art date
Application number
KR1020210100509A
Other languages
English (en)
Other versions
KR102621270B1 (ko
Inventor
강동화
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to US17/699,150 priority Critical patent/US20220309688A1/en
Priority to EP22164417.2A priority patent/EP4064190A1/en
Priority to CN202210305008.3A priority patent/CN115120378A/zh
Publication of KR20220134416A publication Critical patent/KR20220134416A/ko
Application granted granted Critical
Publication of KR102621270B1 publication Critical patent/KR102621270B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351Scanning mechanisms
    • A61B2018/20353Scanning in three dimensions [3D]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Abstract

본 발명에 따른 데이터 처리 방법은, 대상체를 나타내는 스캔 샷을 획득하는 단계, 상기 스캔 샷을 기형성된 적어도 하나의 비활성 클러스터에 얼라인하는 단계, 및 상기 비활성 클러스터에 얼라인하는 단계의 얼라인 여부에 따라, 선택적으로 상기 스캔 샷이 포함되는 활성 클러스터와 상기 비활성 클러스터를 병합하는 단계를 포함한다.

Description

데이터 처리 방법 및 이를 이용한 데이터 처리 장치{Data processing method and date processing apparatus using thereof}
본 발명은 데이터 처리 방법 및 이를 이용한 데이터 처리 장치에 관한 것이다.
근래에 구강 내부 등과 같은 협소한 영역을 측정, 분석하기 위해 사용되는 3차원 스캐너의 개발이 활발하게 이루어지고 있다. 3차원 스캐너는 사용자(대표적으로, 치과 의사)가 협소한 영역을 용이하게 스캔할 수 있도록 핸드헬드 형태로 구성된다.
3차원 스캐너를 사용할 때, 사용자는 환자의 구강을 연속적으로 스캔하고, 최종적으로 대상체(환자의 구강 내부 또는 이를 본뜬 석고 모형)를 나타내는 하나의 3차원 모델을 획득한다. 스캔 과정에서 실시간으로 모델링되어 생성되는 3차원 모델은, 연속적으로 획득되는 이미지 데이터가 얼라인되어 형성될 수 있다. 예시적으로, 3개의 이미지 데이터(제1 이미지 데이터, 제2 이미지 데이터, 및 제3 이미지 데이터)가 연속적으로 획득되는 경우, 제2 이미지 데이터는 제1 이미지 데이터에 얼라인되고, 제3 이미지 데이터는 제2 이미지 데이터에 얼라인될 수 있고, 이와 같은 방식에 의해 3차원 모델이 생성될 수 있다.
다만, 종래에는 이미지 데이터 간 얼라인이 한 번 실패하면, 3차원 모델링이 진행되지 않았다. 사용자는 얼라인이 실패한 부분부터 다시 면밀히 스캔하여 얼라인이 정상적으로 수행될 수 있도록 주의를 기울여야 했다. 사용자의 스캔 숙련도에 따라 차이는 있으나, 사용자가 하나의 악궁을 스캔하는 과정에서 수십회(예를 들면, 10회 이상)의 얼라인 실패가 발생할 수 있으며, 사용자는 얼라인이 실패한 부분부터 다시 스캔하는 과정에서 불편함이 발생하며, 스캔 시간 또한 증가하는 문제가 있다.
또한, 사용자는 일반적으로 대상체를 주시하고 있으며, 얼라인 실패가 디스플레이 화면 상에 피드백 되더라도 대상체와 디스플레이 화면을 번갈아 확인하는 것은 실질적으로 불가능하다. 또한, 사용자가 대상체와 디스플레이 화면을 번갈아 확인하면, 오히려 사용자의 집중력이 분산되고, 3차원 모델을 완성하기 위한 소요 시간이 증가할 수 있으며, 신속하게 완성도 높은 3차원 모델을 획득하고자 하는 3차원 스캐너의 개발 취지가 몰각되는 문제가 발생한다.
대한민국 공개특허 제10-2020-0115580호 (2020.10.07 공개)
전술한 문제점을 해결하기 위해, 본 발명은 대상체를 스캔하는 과정에서 획득하는 스캔 샷과, 기형성된 비활성 클러스터를 얼라인하고, 상기 얼라인에 의해 클러스터들을 병합함으로써 최종적으로 하나의 3차원 모델을 생성하는 데이터 처리 방법을 제공한다.
또한, 본 발명은 데이터 처리 방법이 유기적으로 연결된 구성요소들의 작용에 의해 수행되어 최종적으로 하나의 3차원 모델을 생성하는 데이터 처리 장치를 제공한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 문제점을 해결하기 위해, 본 발명에 따른 데이터 처리 방법은, 대상체를 나타내는 스캔 샷을 획득하는 단계, 상기 스캔 샷을 기형성된 적어도 하나의 비활성 클러스터에 얼라인하는 단계, 및 상기 비활성 클러스터에 얼라인하는 단계의 얼라인 여부에 따라, 상기 스캔 샷이 포함되는 활성 클러스터와 상기 비활성 클러스터를 선택적으로 병합하는 단계를 포함한다.
또한, 상기 스캔 샷을 상기 활성 클러스터에 포함된 직전 스캔 샷에 얼라인하는 단계를 더 포함하고, 상기 비활성 클러스터에 얼라인하는 단계와 상기 직전 스캔 샷에 얼라인하는 단계는 동시에, 또는 차례로 수행될 수 있다.
또한, 상기 비활성 클러스터에 얼라인하는 단계는, 상기 스캔 샷이 가지는 특징점과 상기 비활성 클러스터가 가지는 특징점을 얼라인할 수 있다.
또한, 상기 선택적으로 병합하는 단계는, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 비활성 클러스터를 상기 활성 클러스터에 병합하고, 상기 비활성 클러스터에 포함된 스캔 샷들을 상기 활성 클러스터에 포함시킬 수 있다.
또한, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 스캔 샷은 상기 활성 클러스터에 포함될 수 있다.
또한, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 활성 클러스터는 비활성화되고 신규 활성 클러스터가 생성되며, 상기 스캔 샷은 상기 신규 활성 클러스터에 포함될 수 있다.
또한, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 스캔 샷은 상기 비활성 클러스터에 포함될 수 있다.
또한, 상기 스캔 샷이 상기 비활성 클러스터에 포함되는 경우, 상기 비활성 클러스터는 활성화되고, 상기 스캔 샷이 포함되지 않은 상기 활성 클러스터는 비활성화될 수 있다.
또한, 상기 스캔 샷, 상기 활성 클러스터, 및 상기 비활성 클러스터는, 소정 면적을 점유하는 메인 영역과, 상기 메인 영역보다 작은 면적을 점유하는 서브 영역을 포함하여 복수의 영역을 가지는 유저 인터페이스 화면 상에 표시되고, 상기 스캔 샷 및 상기 활성 클러스터는 상기 메인 영역에 표시되며, 상기 스캔 샷이 상기 비활성 클러스터에 포함되는 경우, 상기 비활성 클러스터는 활성화되어 상기 메인 영역에 표시되고, 상기 스캔 샷이 포함되지 않은 상기 활성 클러스터는 비활성화되어 상기 서브 영역에 표시될 수 있다.
한편, 본 발명에 따른 데이터 처리 장치는, 대상체를 스캔하는 스캐너, 상기 대상체를 스캔하여 획득한 스캔 샷을 기형성된 적어도 하나의 비활성 클러스터에 얼라인하고, 상기 얼라인 여부에 따라 상기 스캔 샷이 포함되는 활성 클러스터와 상기 비활성 클러스터를 선택적으로 병합시키는 제어부, 및 상기 스캔 샷, 상기 비활성 클러스터, 및 상기 활성 클러스터 중 적어도 하나를 표시하는 디스플레이부를 포함한다.
또한, 상기 제어부는, 상기 스캐너가 스캔한 상기 대상체를 기초로 상기 스캔 샷을 생성하는 스캔 샷 생성부, 상기 스캔 샷을 상기 활성 클러스터에 포함된 직전 스캔 샷과 얼라인하거나, 상기 스캔 샷을 상기 비활성 클러스터와 얼라인하는 얼라인부, 및 상기 얼라인부의 얼라인 결과에 따라 상기 비활성 클러스터 및 상기 활성 클러스터를 생성 및 관리하는 클러스터 관리부를 포함할 수 있다.
또한, 상기 얼라인부는, 상기 스캔 샷을 상기 직전 스캔 샷과 얼라인하는 과정과, 상기 스캔 샷을 상기 비활성 클러스터와 얼라인하는 과정을 동시에 또는 차례로 수행할 수 있다.
또한, 상기 클러스터 관리부는, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 비활성 클러스터를 상기 활성 클러스터에 병합하고, 상기 비활성 클러스터에 포함된 스캔 샷들을 상기 활성 클러스터에 포함시킬 수 있다.
또한, 상기 클러스터 관리부는, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 스캔 샷을 상기 활성 클러스터에 포함시킬 수 있다.
또한, 상기 클러스터 관리부는, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 활성 클러스터를 비활성화시키고 신규 활성 클러스터를 생성하며, 상기 스캔 샷을 상기 신규 활성 클러스터에 포함시킬 수 있다.
또한, 상기 클러스터 관리부는, 상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 스캔 샷을 상기 비활성 클러스터에 포함시키리 수 있다.
또한, 상기 클러스터 관리부는, 상기 스캔 샷이 얼라인되지 않는 활성 클러스터를 상기 비활성 클러스터로 전환시키고, 상기 스캔 샷이 얼라인된 비활성 클러스터는 상기 활성 클러스터로 전환시킬 수 있다.
또한, 상기 디스플레이부는, 소정 면적을 점유하는 메인 영역과, 상기 메인 영역보다 작은 면적을 점유하는 서브 영역을 포함하여 복수의 영역을 가지는 유저 인터페이스를 표시하고, 상기 스캔 샷 및 상기 활성 클러스터는 상기 메인 영역에 표시하고, 상기 스캔 샷이 상기 비활성 클러스터에 포함되는 경우, 상기 비활성 클러스터를 활성화하여 상기 메인 영역에 표시하고, 상기 활성 클러스터를 비활성화하여 상기 서브 영역에 표시할 수 있다.
본 발명에 따른 데이터 처리 방법 및 이를 이용한 데이터 처리 장치를 사용함으로써, 생성되는 클러스터의 수를 최소화하면서 스캔 과정이 수행되므로, 연산 과정을 단순화하고 스캔 속도를 극대화하는 이점이 있다.
또한, 얼라인 실패가 발생하더라도, 클러스터 단위로 데이터가 구분되어 스캔 과정이 진행될 수 있고, 사용자는 얼라인 성패 여부와 관계없이 스캔을 수행할 수 있어, 사용자의 스캔 자유도가 향상되는 이점이 있다.
도 1은 본 발명에 따른 데이터 처리 방법의 순서도이다.
도 2는 대상체를 나타내는 스캔 샷을 획득하는 과정을 설명하기 위한 것이다.
도 3은 스캔 샷과 클러스터 간의 얼라인 과정을 설명하기 위한 것이다.
도 4는 스캔 샷과 클러스터가 얼라인되기 위한 매개로 사용되는 특징점을 설명하기 위한 것이다.
도 5는 S130의 세부 과정을 설명하기 위한 것이다.
도 6 내지 도 10은 본 발명에 따른 데이터 처리 방법에서, 스캔 샷 얼라인과 클러스터 얼라인의 성패 여부에 따라 데이터가 처리되는 과정을 설명하기 위한 것이다.
도 11은 제3 클러스터를 예시로 실행 취소(undo) 과정을 설명하기 위한 것이다.
도 12는 본 발명에 따른 데이터 처리 방법에서, 스캔 샷이 비활성 클러스터에 얼라인되어 화면이 전환되는 과정을 설명하기 위한 것이다.
도 13 및 도 14는 활성 클러스터와 비활성 클러스터 간 화면 전환 과정을 설명하기 위한 것이다.
도 15는 본 발명에 따른 데이터 처리 장치의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 데이터 처리 방법의 순서도이다.
도 1을 참조하면, 본 발명에 따른 데이터 처리 방법은, 대상체를 나타내는 스캔 샷을 획득하는 단계(S110)를 포함한다. 스캔 샷을 획득하는 단계(S110)는 스캐너가 대상체의 표면으로부터 반사된 광을 수용하여, 대상체를 나타내는 이미지 데이터를 획득하는 것을 의미할 수 있다. 스캐너에 내장된 카메라는 스캐너 내부로 인입된 광을 수용하고, 수용된 광을 기초로 스캔 샷을 획득한다. 이 때, 스캔 샷은 2차원의 이미지 데이터일 수도 있고, 3차원의 입체 데이터 조각을 의미할 수도 있다. 스캐너에 의해 획득된 스캔 샷들은 획득된 순서대로 저장될 수 있다. 스캔 샷을 저장하는 구성은 알려진 저장 장치가 사용될 수 있으며, 상기 저장 장치는 하드디스크 드라이브, SSD(Solid State Drive), 또는 이동식 저장 장치(USB Flash drive 등)일 수 있다.
도 2는 대상체(O)를 나타내는 스캔 샷(100)을 획득하는 과정을 설명하기 위한 것이다.
도 2를 참조하면, 스캔 샷(100)은 스캐너가 이동하는 방향 및 스캐너가 대상체(O)를 지향하는 각도에 따라 복수개 획득될 수 있다. 예시적으로, 도 2에 도시된 바에 따르면, 대상체(O)를 스캔하여 제1 스캔 샷(101), 제2 스캔 샷(102), 제3 스캔 샷(103), 제4 스캔 샷(104), 제5 스캔 샷(105), 제6 스캔 샷(106), 제7 스캔 샷(107), 제8 스캔 샷(108), 및 제9 스캔 샷(109)을 획득할 수 있다. 이 때, 사용자는 반드시 대상체(O)를 일방향에서 타방향으로 순차적으로 스캔할 필요는 없으며, 사용자가 스캔하기 편리한 방식대로 대상체(O)를 스캔할 수 있다.
도 1 및 도 2를 참조하면, 본 발명에 따른 데이터 처리 방법에서 획득된 스캔 샷(100)들은 서로 연결되기 위한 얼라인을 수행한다. 스캔 샷(100)들 간에 수행되는 얼라인을 ‘스캔 샷 얼라인’으로 지칭한다. 이 때, 스캔 샷 얼라인은 특정 시점에 획득한 스캔 샷을 직전 시점에 획득한 스캔 샷(즉, 직전 스캔 샷)과 얼라인하는 것을 의미할 수 있다. 스캔 샷(100)들 간의 얼라인을 수행하는 과정은 ICP(Iteration Closest Point) 방식을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다.
스캔 샷(100)들 간의 얼라인을 수행할 때, 오버랩 구간이 존재하지 않거나 불충분(기준치에 미달)한 경우, 스캔 샷 얼라인이 실패하는 부분이 발생할 수 있다. 도 2에 도시된 바에 따르면, 제3 스캔 샷(103)과 제4 스캔 샷(104), 제6 스캔 샷(106)과 제7 스캔 샷(107)은 서로 스캔 샷 얼라인되지 않는다. 이러한 경우, 제1 스캔 샷 내지 제3 스캔 샷(101, 102, 103)은 하나의 그룹으로, 제4 스캔 샷 내지 제6 스캔 샷(104, 105, 106)은 다른 하나의 그룹으로, 제7 스캔 샷 내지 제9 스캔 샷(107, 108, 109)은 또다른 하나의 그룹으로 분류되어 저장될 수 있다. 이 때, 스캔 샷(100)들이 각각 저장되는 그룹을 클러스터(cluster, 200)라 지칭하며, 클러스터(200)는 적어도 하나의 스캔 샷(100)을 포함하는 스캔 샷(100)의 집합일 수 있다. 클러스터(200)는 대상체를 스캔하여 획득한 스캔 샷(100)의 얼라인 여부에 따라 새로 생성되거나, 상이한 클러스터(200)들이 병합될 수 있다.
이하에서는 비활성 클러스터와 활성 클러스터에 대해 설명한다.
도 3은 스캔 샷과 클러스터 간의 얼라인 과정을 설명하기 위한 것이다.
도 1 및 도 3을 참조하면, 획득된 스캔 샷(100)들은 적어도 하나의 클러스터(200)에 저장될 수 있다. 이 때, 디스플레이부를 통해 실시간으로 표시되는 스캔 과정은, 현재 획득되고 있는 스캔 샷(100)과, 상기 스캔 샷(100)을 포함하는 클러스터(200)를 주요하게 표시하고, 이전에 획득된 스캔 샷(100)들 및/또는 이를 포함하는 클러스터(200)들을 부수적으로 표시할 수 있다. 도 3에 도시된 바에 따르면, 현재 획득되는 스캔 샷(100)과 이를 포함하는 제3 클러스터(203)는 유저 인터페이스 화면(500)에서 주요하게 실시간으로 표시되며, 기형성된 제1 클러스터(201) 및 제2 클러스터(202)는 부수적으로 유저 인터페이스 화면(500)의 일측에 표시된다. 이 때, 주요하게 표시되는 클러스터(200)는 활성 클러스터, 부수적으로 표시되는 클러스터(200)는 비활성 클러스터로 지칭할 수 있다. 활성 클러스터는 직전 스캔 샷을 포함하고 있으며, 직전 스캔 샷은 스캔 과정에서 획득한 스캔 샷(100)이 스캔 샷 얼라인을 수행하는 대상으로 작용한다. 비활성 클러스터는 스캔 과정에서 획득한 스캔 샷(100)이 클러스터 얼라인을 수행하는 대상으로 작용한다.
도 4는 스캔 샷과 클러스터가 얼라인되기 위한 매개로 사용되는 특징점을 설명하기 위한 것이다.
도 1, 도 3, 및 도 4를 참조하면, 본 발명에 따른 데이터 처리 방법은 스캔 샷(100)을 기형성된 적어도 하나의 비활성 클러스터에 얼라인하는 단계(S121)를 포함한다. 스캔 샷(100)을 기형성된 비활성 클러스터에 얼라인하는 단계를 클러스터 얼라인이라 한다.
클러스터 얼라인을 수행할 때, 비활성 클러스터와 스캔 샷(100)을 얼라인하기 위해 특징점(feature point)이라는 매개를 이용할 수 있다. 스캔 샷(100)과 클러스터(200)는 각각 적어도 하나의 특징점을 가지며, 특징점은 각각의 데이터의 특정 위치에서 나타나는 색상 정보, 굴곡 정보, 형상 정보 등을 가질 수 있다. 특징점은 각각의 데이터(포인트 클라우드 형태로 형성된 클러스터 및 스캔 샷)를 샘플링하여 획득될 수 있다.
예시적으로, 클러스터(200)는 복수의 클러스터 특징점(CP)들을 가질 수 있고, 스캔 샷(100)은 복수의 스캔 샷 특징점(SP)들을 가질 수 있다. 비활성 클러스터와 스캔 샷(100)을 얼라인할 때, 클러스터 특징점(CP)이 가지는 정보와 스캔 샷 특징점(SP)이 가지는 정보를 서로 비교하여 얼라인을 수행할 수 있다. 이와 같이, 특징점을 매개로 얼라인을 수행하는 방식은 이니셜 얼라인(initial align)의 범주에 포함될 수 있다. 부가적으로, 이니셜 얼라인은 전술한 방식과 다소 상이하게, 스캔 샷(100)의 중심점을 클러스터(200)의 소정 지점에 얼라인하는 방식을 사용하여 수행될 수도 있다.
한편, 클러스터 얼라인의 방식은 스캔 샷 얼라인의 방식과 일정 부분 상이할 수 있다. 예시적으로, 클러스터 얼라인은 전술한 이니셜 얼라인을 수행하여 스캔 샷(100)과 클러스터(200) 각각이 가지는 특징점들(SP, CP)를 매개로 얼라인을 수행하고, 이후 ICP 방식을 사용하여 정밀한 얼라인을 수행할 수 있다. 이와 대비하여, 스캔 샷 얼라인은 ICP 방식만을 사용하여 스캔 샷(100)들 간의 얼라인을 수행할 수 있다.
도 4(a), 도 4(b), 및 도 4(c)의 좌측에 형성된 클러스터(200)는 비활성 클러스터이며, 도 4(a), 도 4(b), 및 도 4(c)의 우측에 형성된 스캔 샷(100)은 스캔 과정에 따라 획득되는 것이다. 스캔 샷(100)이 획득되면서, 상기 스캔 샷(100)을 샘플링하여 스캔 샷 특징점(SP)들이 함께 획득될 수 있고, 스캔 샷 특징점(SP)들은 클러스터 특징점(CP)들과 비교되어 클러스터 얼라인이 수행된다. 클러스터 얼라인이 수행되는 과정에서, 스캔 과정에서 획득되어 기형성된 비활성 클러스터와 클러스터 얼라인을 시도한 스캔 샷(100)은 이후 다시 클러스터 얼라인을 수행하지 않는다.
종래의 기술에서는 클러스터(200)와 클러스터(200) 간의 얼라인을 시도하기 위해 계속적으로 클러스터(200) 간의 중첩되는 부분(오버랩 영역)을 지속적으로 감지하여야 했다. 보다 상세하게는, 종래의 기술에서는 일 클러스터와 타 클러스터 간의 비교를 위해, 일 클러스터 전체와 타 클러스터 전체가 가지는 특성을 비교하였다. 이러한 과정에서, 각각의 클러스터에 축적되는 스캔 샷의 수가 증가함에 따라 클러스터의 크기 또한 증가하게 되며, 클러스터 간 비교 과정을 수행함에 있어 연산 부하가 과도하게 증가하는 문제가 발생하였다. 이에 비해, 본 발명에서는 스캔 샷(100)과 클러스터(200) 간 얼라인을 수행하고 난 후에, 어느 하나의 클러스터(200)에 포함된 스캔 샷(100)은 다른 클러스터(200)와 클러스터 얼라인을 수행하지 않는다. 이에 따라, 최종적으로 하나의 3차원 모델을 획득하기 위해 소요되는 시간을 단축시킬 수 있고, 연산에 필요한 부하 또한 경감시킬 수 있다.
도 4에 도시된 바에 따르면, 클러스터(200)는 12개의 클러스터 특징점(CP)을 가지고, 스캔 샷(100)은 각각 4개의 스캔 샷 특징점(SP)을 가지는 것으로 도시되었으나, 반드시 이 개수에 한정되는 것은 아니다. 클러스터 특징점(CP)과 스캔 샷 특징점(SP)은 신속한 얼라인 속도 및 정확한 데이터 간 얼라인을 구현하기 위해 적정한 개수로 설정될 수 있다.
전술한 내용에 따라, 본 발명에 따른 데이터 처리 방법은 두 종류의 얼라인하는 단계(S120)를 포함할 수 있다. 하나는, 스캔 과정에서 획득한 스캔 샷(100)을 기형성된 비활성 클러스터에 얼라인하는 단계(S121)이고, 다른 하나는 스캔 과정에서 획득한 스캔 샷(100)을 활성 클러스터에 포함된 직전 스캔 샷에 얼라인하는 단계(S122)일 수 있다. 즉, S121 단계는 클러스터 얼라인 과정을 수행하는 단계일 수 있고, S122 단계는 스캔 샷 얼라인 과정을 수행하는 단계일 수 있다. 비활성 클러스터에 얼라인하는 단계(S121)와 직전 스캔 샷에 얼라인하는 단계(S122)는 동시에, 또는 차례로 수행될 수 있다. 예시적으로, 획득된 스캔 샷(100)은 도 1에 도시된 바와 같이 직전 스캔 샷과 스캔 샷 얼라인을 시도하면서 비활성 클러스터들과 클러스터 얼라인을 시도할 수 있다. 또는, 획득된 스캔 샷(100)은 직전 스캔 샷과 스캔 샷 얼라인을 우선적으로 시도하고, 비활성 클러스터들과 클러스터 얼라인을 그 이후에 시도할 수 있다. 역으로, 획득된 스캔 샷(100)은 비활성 클러스터들과 클러스터 얼라인을 우선적으로 시도하고, 직전 스캔 샷과 스캔 샷 얼라인을 그 이후에 시도하는 것도 가능하다.
이하에서는, 본 발명에 따른 데이터 처리 방법 중 선택적으로 병합하는 단계(S130)를 상세히 설명한다.
도 5는 S130의 세부 과정을 설명하기 위한 것이고, 도 6 내지 도 10은 본 발명에 따른 데이터 처리 방법에서, 스캔 샷 얼라인과 클러스터 얼라인의 성패 여부에 따라 데이터가 처리되는 과정을 설명하기 위한 것이다.
도 1을 참조하면, 본 발명에 따른 데이터 처리 방법은 비활성 클러스터에 얼라인하는 단계(S121)의 얼라인 여부에 따라, 스캔 샷(100)이 포함되는 활성 클러스터와 비활성 클러스터를 선택적으로 병합하는 단계(S130)를 포함한다. 이에 따라, 활성 클러스터와 비활성 클러스터가 하나의 병합 클러스터를 형성할 수 있으며, 클러스터(200)들이 병합되는 과정이 반복되면 최종적으로 완전한 하나의 3차원 모델을 획득할 수 있다. 선택적으로 활성 클러스터와 비활성 클러스터를 병합하는 것은, 클러스터 얼라인과 스캔 샷 얼라인의 성패 여부에 따라 특정 조건에서 활성 클러스터와 비활성 클러스터를 병합하는 것을 의미할 수 있다.
선택적으로 병합하는 단계(S130)에 대해 보다 상세히 설명한다. 도 1 및 도 5를 참조하면, 선택적으로 병합하는 단계(S130)는 적어도 2개의 판단 단계를 포함할 수 있다. 선택적으로 병합하는 단계(S130)는 클러스터 얼라인과 스캔 샷 얼라인이 성공하였는지 각각 판단할 수 있다. 예시적으로, 선택적으로 병합하는 단계(S130)는 스캔 샷 얼라인이 성공하였는지 판단하고, 그 후 클러스터 얼라인이 성공하였는지 판단할 수 있다. 그러나, 반드시 그 순서에 한정되는 것은 아니며, 선택적으로 병합하는 단계(S130)는 클러스터 얼라인이 성공하였는지 판단한 이후에 스캔 샷 얼라인이 성공하였는지 판단할 수도 있다. 또한, 선택적으로 병합하는 단계(S130)는 스캔 샷 얼라인과 클러스터 얼라인의 성패 여부를 병렬적으로 판단할 수도 있다.
도 6을 참조하여 상기 판단 단계를 하나의 예시를 통해 보다 상세하게 설명한다. 예시적으로, 8개의 스캔 샷(100)들이 먼저 획득되어 있고, 각각의 스캔 샷(100)들은 3개의 클러스터(200)들에 포함되어 있다. 이 때, 제1 클러스터(201)는 제1 스캔 샷(101), 제2 스캔 샷(102), 및 제3 스캔 샷(103)을 포함하고, 제2 클러스터(202)는 제4 스캔 샷(104), 제5 스캔 샷(105), 및 제6 스캔 샷(106)을 포함하며, 제3 클러스터(203)는 제7 스캔 샷(107) 및 제8 스캔 샷(108)을 포함할 수 있다. 사용자는 대상체를 스캔하여 제8 스캔 샷(108)에 이어 제9 스캔 샷(109)을 획득할 수 있다. 이 때, 직전 스캔 샷은 제8 스캔 샷(108)이며, 직전 스캔 샷을 포함하는 제3 클러스터(203)는 활성 클러스터, 직전 스캔 샷을 포함하지 않는 제1 클러스터(201)와 제2 클러스터(202)는 비활성 클러스터이다.
제9 스캔 샷(109)은 직전 스캔 샷인 제8 스캔 샷(108)과 스캔 샷 얼라인을 시도하고, 비활성 클러스터인 제1 클러스터(201) 및 제2 클러스터(202)와 클러스터 얼라인을 시도할 수 있다. 이 때, 스캔 샷 얼라인과 클러스터 얼라인이 수행되는 과정은 전술한 바와 같다.
도 5 및 도 7을 참조하면, 선택적으로 병합하는 단계(S130)에서, 획득한 스캔 샷(제9 스캔 샷)이 직전 스캔 샷(제8 스캔 샷)에 얼라인되고, 스캔 샷(제9 스캔 샷)이 비활성 클러스터(제1 클러스터 및 제2 클러스터 중 어느 하나)에 얼라인되는 경우, 스캔 샷과 클러스터 얼라인된 비활성 클러스터는 활성 클러스터에 병합될 수 있다. 예시적으로, 제9 스캔 샷(109)이 제1 클러스터(201)에 클러스터 얼라인이 성공한 것으로 가정한다. 이 때, 비활성 클러스터인 제1 클러스터(201)는 활성 클러스터인 제3 클러스터(203)와 병합되어 병합 클러스터(210)를 형성할 수 있다. 또한, 병합 클러스터(210)는 제1 클러스터(201)와 제3 클러스터(203)가 포함했던 모든 스캔 샷(100)들을 포함할 수 있다. 즉, 비활성 클러스터인 제1 클러스터(201)에 포함된 스캔 샷들(101, 102, 103)을 활성 클러스터인 제3 클러스터(203)에 포함시킬 수 있다. 병합 클러스터(210)는 제1 스캔 샷(101), 제2 스캔 샷(102), 제3 스캔 샷(103), 제7 스캔 샷(107), 제8 스캔 샷(108), 및 제9 스캔 샷(109)을 포함할 수 있으며, 병합 클러스터(210)는 활성 클러스터로 기능할 수 있다.
또한, 도 5 및 도 8을 참조하면, 제9 스캔 샷(109)이 직전 스캔 샷인 제8 스캔 샷(108)에 스캔 샷 얼라인되지만, 비활성 클러스터인 제1 클러스터(201) 및 제2 클러스터(202) 중 어디에도 클러스터 얼라인되지 않는 경우, 제9 스캔 샷(109)은 활성 클러스터인 제3 클러스터(203)에 포함될 수 있다. 이후, 스캔 과정이 진행되어 후속의 제10 스캔 샷(미도시)이 획득되면, 제9 스캔 샷(109)은 직전 스캔 샷으로 기능하며, 제9 스캔 샷(109)을 포함하는 제3 클러스터(203)는 활성 클러스터로 기능할 수 있다.
또한, 도 5 및 도 9를 참조하면, 제9 스캔 샷(109)이 직전 스캔 샷인 제8 스캔 샷(108)에 스캔 샷 얼라인되지 않고, 제9 스캔 샷(109)이 비활성 클러스터인 제1 클러스터(201) 및 제2 클러스터(202) 중 어디에도 클러스터 얼라인되지 않는 경우, 기형성된 어떠한 비활성 및 활성 클러스터들(201, 202, 203)에도 제9 스캔 샷(109)이 얼라인되지 않는 것으로 판단될 수 있다. 이와 같은 경우, 제9 스캔 샷(109)은 기형성된 비활성 및 활성 클러스터들(201, 202, 203)에 포함되지 않는, 새로 생성되는 신규 활성 클러스터에 포함될 수 있다. 예시적으로, 신규 활성 클러스터인 제4 클러스터(204)가 생성되고, 제9 스캔 샷(109)은 제4 클러스터(204)에 포함된다. 이후, 스캔 과정이 진행되어 후속의 제10 스캔 샷이 획득되면, 제9 스캔 샷(109)은 직전 스캔 샷으로 기능하며, 제9 스캔 샷(109)을 포함하는 신규 활성 클러스터인 제4 클러스터(204)는 활성 클러스터로 기능할 수 있다. 이 때, 활성 클러스터였던 제3 클러스터(203)는 비활성 클러스터로 전환될 수 있다.
또한, 도 5 및 도 10을 참조하면, 제9 스캔 샷(109)이 직전 스캔 샷인 제8 스캔 샷(108)에 스캔 샷 얼라인되지 않고, 제9 스캔 샷(109)이 비활성 클러스터인 제1 클러스터(201) 및 제2 클러스터(202) 중 어느 하나에 클러스터 얼라인되는 경우, 제9 스캔 샷(109)은 클러스터 얼라인되는 비활성 클러스터에 포함될 수 있다. 예시적으로, 제9 스캔 샷(109)이 비활성 클러스터인 제1 클러스터(201)와 클러스터 얼라인되면, 제9 스캔 샷(109)은 제1 클러스터(201)에 포함된다. 또한, 이후의 스캔 과정이 진행되어 후속의 제10 스캔 샷이 획득되면, 제9 스캔 샷(109)은 직전 스캔 샷으로 기능하므로, 제9 스캔 샷(109)을 포함하는 제1 클러스터(201)는 활성 클러스터로 기능할 수 있다. 즉, 제9 스캔 샷(109)이 비활성 클러스터인 제1 클러스터(201)에 포함되는 경우, 비활성 클러스터인 제1 클러스터(201)는 활성화되고, 활성 클러스터였던 제3 클러스터(203)는 비활성화되도록 활성 클러스터와 비활성 클러스터가 전환될 수 있다. 사용자는 현재 획득되는 스캔 샷(100)이 포함되는 클러스터(200)를 용이하게 확인할 수 있으며, 이에 따라 사용자가 스캔하고 있는 대상체의 위치를 파악할 수 있는 이점이 있다. 또한, 얼라인 성패 여부와 관계없이 자유롭게 스캔을 진행할 수 있는 이점 또한 있다. 또한, 스캔 샷 얼라인 실패가 발생하더라도 클러스터 얼라인이 성공하면, 불필요한 신규 클러스터가 생성되지 않고 비활성 클러스터를 활성화하여 사용되며, 얼라인 과정에 고려되는 클러스터의 수를 최소화하여 연산 속도가 향상되는 이점이 있다.
도 11은 제3 클러스터를 예시로 실행 취소(undo) 과정을 설명하기 위한 것이다.
도 11을 참조하면, 사용자는 스캔 샷(100) 획득을 취소할 수 있다. 예시적으로, 도 11(a)를 참조하면, 활성 클러스터인 제3 클러스터(203)는 제7 스캔 샷(107), 제8 스캔 샷(108), 및 제9 스캔 샷(109)이 포함하는 것으로 가정한다. 사용자는 유저 인터페이스 화면에 형성된 실행 취소 버튼(미도시)을 선택하여 가장 최근에 획득한 스캔 샷(100)부터 시간의 역순으로 스캔 샷을 삭제할 수 있다. 도 11(b)에서, 사용자가 실행 취소 버튼을 선택하면 가장 최근에 획득된 제9 스캔 샷(109)이 삭제될 수 있다. 도 11(c)를 참조하면, 사용자가 다시 실행 취소 버튼을 선택하면 삭제된 제9 스캔 샷(109) 이전에 획득된 제8 스캔 샷(108)이 삭제될 수 있다. 도 11(d)를 참조하면, 사용자가 다시 실행 취소 버튼을 선택하면 삭제된 제8 스캔 샷(108) 이전에 획득된 제7 스캔 샷(107)이 삭제될 수 있다. 이 때, 제3 클러스터(203)는 어떠한 스캔 샷(100)을 포함하지 않으므로, 제3 클러스터(203) 또한 삭제될 수 있다. 제3 클러스터(203)가 삭제되면, 제3 클러스터(203)가 활성 클러스터로 기능하기 이전에 활성 클러스터로 기능했던 클러스터가 다시 활성화되어 유저 인터페이스 화면에 표시될 수 있다. 이후, 추가적으로 실행 취소 과정을 수행하면, 활성화된 클러스터에서 가장 최근에 획득한 스캔 샷(100)부터 획득한 시간의 역순으로 삭제될 수 있다.
한편, 획득한 스캔 샷(100)을 삭제하는 과정은 전술한 바와 같이 한 샷 단위로 수행될 수도 있으나, 필요에 따라 복수의 스캔 샷(100)들이 함께 삭제될 수도 있다.
이하에서는, 스캔 샷(100)이 비활성 클러스터에 얼라인되어 비활성 클러스터와 활성 클러스터가 전환될 때, 유저 인터페이스 화면이 변화하는 과정에 대해 보다 상세히 설명한다.
도 12는 본 발명에 따른 데이터 처리 방법에서, 스캔 샷(100)이 비활성 클러스터에 얼라인되어 화면이 전환되는 과정을 설명하기 위한 것이고, 도 13 및 도 14는 활성 클러스터와 비활성 클러스터 간 화면 전환 과정을 설명하기 위한 것이다.
도 12 및 도 13을 참조하면, 대상체(O)를 스캔하여 대상체(O)를 나타내는 복수의 스캔 샷(100)들이 획득된다. 예시적으로, 사용자는 대상체(O)를 스캔하여 제1 스캔 샷(101), 제2 스캔 샷(102), 제3 스캔 샷(103), 제4 스캔 샷(104), 제5 스캔 샷(105), 제6 스캔 샷(106), 및 제7 스캔 샷(107)을 획득할 수 있다. 도 12에 도시된 바에 기초하여, 제1 스캔 샷(101), 제2 스캔 샷(102), 및 제3 스캔 샷(103)이 제1 클러스터(201)에 포함되고, 제4 스캔 샷(104), 제5 스캔 샷(105), 및 제6 스캔 샷(106)이 제2 클러스터(202)에 포함될 수 있다. 사용자가 스캔 과정을 통해 제7 스캔 샷(107)을 획득하기 이전에, 직전 스캔 샷인 제6 스캔 샷(106)을 포함하는 제2 클러스터(202)가 활성 클러스터로 기능할 수 있다.
이 때, 스캔 샷(100), 활성 클러스터, 비활성 클러스터는 복수의 영역을 가지는 유저 인터페이스 화면(500) 상에 표시될 수 있다. 예시적으로, 획득되는 스캔 샷(100)과 활성 클러스터는 유저 인터페이스 화면(500)에 주요하게 표시되고, 비활성 클러스터는 유저 인터페이스 화면(500)에 부수적으로 표시될 수 있다. 보다 상세하게는, 유저 인터페이스 화면(500)은 소정 면적을 점유하는 메인 영역(510)과, 메인 영역(510)에 비해 작은 면적을 점유하는 서브 영역(520)을 포함할 수 있다. 이 때, 메인 영역(510)은 사용자에게 시각적으로 용이하게 표시되도록 유저 인터페이스 화면(500)의 중앙을 포함하도록 형성될 수 있고, 서브 영역(520)은 유저 인터페이스 화면(500)의 일측에 형성될 수 있다. 유저 인터페이스 화면(500)에서, 사용자가 현재 획득하는 스캔 샷(100)과 함께 스캔 과정을 실시간으로 표시하기 위해, 획득되는 스캔 샷(100)과 활성 클러스터인 제2 클러스터(202)는 메인 영역(510)에 표시될 수 있다. 비활성 클러스터인 제1 클러스터(201)는 서브 영역(520)에 표시될 수 있고, 사용자는 메인 영역(510)과 서브 영역(520)을 통해 생성된 클러스터(200)의 수, 현재 스캔하고 있는 대상체(O)의 위치 등과 같은 스캔 정보를 획득할 수 있다.
한편, 도 12 내지 도 14를 함께 참조하면, 제7 스캔 샷(107)을 획득하여 직전 스캔 샷인 제6 스캔 샷(106)과 스캔 샷 얼라인이 수행되고, 비활성 클러스터인 제1 클러스터(201)와 클러스터 얼라인이 수행될 수 있다. 이 때, 스캔 샷 얼라인이 실패하고, 클러스터 얼라인이 성공한 경우, 제7 스캔 샷(107)은 비활성 클러스터인 제1 클러스터(201)에 포함될 수 있다. 또한, 제1 클러스터(201)는 활성 클러스터로 전환되고(비활성 클러스터의 활성화), 제2 클러스터(202)는 비활성 클러스터로 전환될 수 있다(활성 클러스터의 비활성화). 도 14를 참조하면, 스캔 샷(보다 상세하게는, 제7 스캔 샷)이 포함된, 비활성 클러스터였던 제1 클러스터(201)는 활성화되어 유저 인터페이스 화면(500) 중 메인 영역(510)에 표시된다. 이와 함께, 스캔 샷이 포함되지 않은, 활성 클러스터였던 제2 클러스터(202)는 비활성화되어 유저 인터페이스 화면(500) 중 서브 영역(520)에 썸네일(thumbnail)의 형태로 표시될 수 있다. 이와 같이 활성 클러스터와 비활성 클러스터 간의 전환에 따라 표시되는 영역을 전환함으로써, 사용자는 용이하게 현재 스캔하는 대상체(O)의 위치를 확인할 수 있고, 사용자의 편의성이 증대되는 이점이 있다.
한편, 전술한 내용에서, 스캔 샷 얼라인과 클러스터 얼라인은 특정 영역에 한정하여 수행될 수 있다. 예시적으로, 스캔 샷 얼라인과 클러스터 얼라인이 수행될 때, 얼라인이 수행되는 영역은 대상체를 나타내는 스캔 샷 및 클러스터 중 치아를 나타내는 영역에만 한정될 수 있고, 잇몸, 혀, 소프트 티슈(soft tissue), 노이즈 등은 얼라인의 대상에서 제외할 수 있다. 치아를 나타내는 영역과 나머지 영역을 구별하는 과정은 이미지 학습에 의한 인공지능(AI)을 사용하여 수행될 수 있으며, 노이즈 등을 제외하는 과정은 알려진 노이즈 필터링 기술을 이용하여 수행될 수 있다. 본 발명에 따른 데이터 처리 방법은, 치아만을 얼라인의 대상으로 한정함으로써 신속하고 정확하게 스캔 샷 얼라인 및/또는 클러스터 얼라인을 수행할 수 있는 이점이 있다. 또한, 클러스터 간의 병합 속도를 향상시킬 수 있으므로 최종적으로 완성도 높은 3차원 모델을 획득하기 위해 소요되는 시간을 단축시킬 수 있는 이점이 있다.
이하에서는, 전술한 데이터 처리 방법을 이용하는, 본 발명에 따른 데이터 처리 장치를 설명한다. 데이터 처리 장치를 설명함에 있어, 전술한 내용과 중복되는 내용은 간략하게 설명하거나 생략한다.
도 15는 본 발명에 따른 데이터 처리 장치(900)의 구성도이다.
도 15를 참조하면, 본 발명에 따른 데이터 처리 장치(900)는 스캐너(910), 제어부(920), 및 디스플레이부(930)를 포함한다. 스캐너(910)는 대상체를 스캔할 수 있다. 스캐너(910)는 그 내부에 광을 수용하는 적어도 하나의 카메라(미도시)를 내장할 수 있으며, 대상체의 표면으로부터 반사된 광은 스캐너(910)의 내부로 인입되어 카메라의 렌즈에 수용될 수 있다. 카메라에 수용된 광을 기초로, 대상체를 나타내는 스캔 샷이 생성될 수 있다. 스캐너(910)는 대상체를 트레이에 거치시켜 상기 대상체를 회전 또는 이동시키는 테이블 스캐너일 수도 있고, 사용자가 파지하여 대상체를 지향하여 스캔 과정을 수행하는 핸드헬드(handheld) 스캐너일 수도 있다.
제어부(920)는 스캐너(910)와 전기적으로 연결되어 있으며, 스캐너(910)에 수용된 광을 기초로 스캔 샷을 생성할 수 있다. 또한, 스캔 샷을 기형성된 클러스터(보다 상세하게는, 비활성 클러스터)에 얼라인하고, 얼라인 여부에 따라 선택적으로 활성 클러스터와 비활성 클러스터를 병합시킬 수 있다.
제어부(920)의 세부 구성에 대해 보다 상세하게 설명한다. 제어부(920)는 스캐너(910)가 스캔한 대상체를 기초로 스캔 샷을 생성하는 스캔 샷 생성부(921)를 포함한다. 스캔 샷 생성부(921)는 스캐너(910)의 카메라에서 수용된 광을 전달받아 스캔 샷을 생성할 수 있다. 스캔 샷은 2차원 이미지 데이터일 수도 있고, 3차원 데이터 조각일 수도 있다. 스캔 샷 생성부(921)는 제어부(920)의 일 구성인 것으로 도시되었으나, 반드시 이에 한정되는 것은 아니며, 필요에 따라 스캐너(910)의 일 구성으로 형성될 수도 있다.
또한, 제어부(920)는 얼라인부(922)를 포함한다. 얼라인부(922)는 스캔 샷 생성부(921)에 의해 생성된 스캔 샷을 활성 클러스터에 포함된 직전 스캔 샷과 얼라인(스캔 샷 얼라인)하거나, 스캔 샷을 비활성 클러스터와 얼라인(클러스터 얼라인)할 수 있다. 예시적으로, 스캔 샷 생성부(921)에서 생성되어 획득한 스캔 샷을 활성 클러스터에 포함된 직전 스캔 샷과 얼라인하는 과정은 ICP 얼라인 방식을 사용할 수 있고, 스캔 샷을 비활성 클러스터와 얼라인하는 과정은 이니셜 얼라인 방식을 사용할 수 있다. 스캔 샷 얼라인과 클러스터 얼라인, 스캔 샷이 가지는 스캔 샷 특징점들과 클러스터가 가지는 클러스터 특징점들을 상호 비교하여 수행할 수 있으며, 특징점을 이용하여 얼라인을 수행하는 과정은 전술한 바와 동일하다.
또한, 얼라인부(922)는 스캔 샷을 직전 스캔 샷과 얼라인하는 과정과, 스캔 샷을 비활성 클러스터와 얼라인하는 과정을 동시에 또는 차례로 수행할 수 있다. 즉 얼라인부(922)는 전술한 S121 단계와 S122 단계를 수행할 수 있다. 이 때, S121 단계와 S122 단계의 수행 순서는 동시 또는 순차적일 수 있으며, S121 단계가 우선적으로 수행되고 S122 단계가 이후에 수행되거나, S122 단계가 우선적으로 수행되고 S121 단계가 이후에 수행되는 것이 가능하다.
또한, 제어부(920)는 클러스터 관리부(923)를 포함한다. 클러스터 관리부(923)는 클러스터를 생성 및 관리하는 역할을 수행한다. 예시적으로, 클러스터 관리부(923)는 얼라인부(922)의 얼라인 결과에 따라 복수의 클러스터들을 병합할 수 있다. 또한, 클러스터 관리부(923)는 얼라인부(922)의 얼라인 결과에 따라 신규 활성 클러스터를 생성하고, 상기 신규 활성 클러스터에 스캔 샷이 포함되도록 관리할 수 있다. 또한, 클러스터 관리부(923)는 비활성 클러스터를 활성화하거나, 활성 클러스터를 비활성화하도록 관리할 수 있다.
이하에서는 클러스터 관리부(923)의 세부 동작에 대해 설명한다.
얼라인부(922)에서 스캔 샷이 직전 스캔 샷에 얼라인되고, 스캔 샷이 비활성 클러스터에 얼라인되는 경우, 클러스터 관리부(923)는 직전 스캔 샷을 포함하는 활성 클러스터와 비활성 클러스터를 병합할 수 있다. 이 때, 클러스터 관리부(923)는 비활성 클러스터가 활성 클러스터에 병합되는 방식으로 클러스터 간 병합을 수행할 수 있으며, 병합 클러스터는 활성 클러스터에 포함된 스캔 샷들과 비활성 클러스터에 포함된 스캔 샷들을 포함한다. 스캔 샷의 스캔 샷 얼라인 및 클러스터 얼라인에 따라, 3차원 모델을 구성하는 클러스터의 수가 스캔 과정에서 감소할 수 있으며, 보다 신속하게 완전한 3차원 모델을 획득할 수 있는 이점이 있다.
또한, 얼라인부(922)에서 스캔 샷이 직전 스캔 샷에 얼라인되고, 스캔 샷이 비활성 클러스터에 얼라인되지 않는 경우, 클러스터 관리부(923)는 스캔 샷을 직전 스캔 샷이 포함된 활성 클러스터에 포함시킬 수 있다. 이후의 스캔 과정에서, 스캔 샷을 포함하는 활성 클러스터는 계속 활성화된 상태로 유지된다.
또한, 얼라인부(922)에서 스캔 샷이 직전 스캔 샷에 얼라인되지 않고, 스캔 샷이 비활성 클러스터에 얼라인되지 않는 경우, 클러스터 관리부(923)는 스캔 샷을 포함하는 새로운 그룹을 생성하도록 제어할 수 있다. 보다 상세하게는, 클러스터 관리부(923)는 활성 클러스터를 비활성화시키고, 신규 활성 클러스터를 생성하여 스캔 샷을 상기 신규 활성 클러스터에 포함시킨다. 따라서, 이후의 스캔 과정에서, 신규 활성 클러스터가 활성 클러스터로 기능할 수 있다.
또한, 얼라인부(922)에서 스캔 샷이 직전 스캔 샷에 얼라인되지 않고, 스캔 샷이 비활성 클러스터에 얼라인되는 경우, 클러스터 관리부(923)는 스캔 샷을 비활성 클러스터에 포함시키도록 제어한다. 이 때, 클러스터 관리부(923)는 획득된 스캔 샷을 비활성 클러스터에 포함시키면서, 스캔 샷이 포함되는 비활성 클러스터를 활성화시키고(비활성 클러스터를 활성 클러스터로 전환), 직전 스캔 샷이 포함된 활성 클러스터를 비활성화(활성 클러스터를 비활성 클러스터로 전환)시킬 수 있다. 비활성 클러스터는 이후 신규로 획득되는 스캔 샷의 클러스터 얼라인의 대상이 되고, 활성 클러스터는 스캔 샷 얼라인의 대상이 되며, 이와 관련한 상세한 설명은 전술한 바와 동일하다. 전술한 과정에 따라, 스캔 샷 얼라인 실패가 발생하더라도 클러스터 얼라인이 성공하면, 클러스터 관리부(923)는 불필요한 신규 클러스터를 생성하지 않고 비활성 클러스터를 활성화하여 사용할 수 있고, 얼라인 과정에 고려되는 클러스터의 수를 최소화하여 연산 속도를 향상시키는 이점이 있다.
한편, 디스플레이부(930)는 전술한 내용들 중 스캔 샷 및 클러스터 중 적어도 일부를 사용자에게 시각적으로 표시할 수 있다. 보다 상세하게는, 디스플레이부(930)는 스캔 샷, 비활성 클러스터, 활성 클러스터 중 적어도 하나를 표시할 수 있으며, 사용자는 디스플레이부(930)를 확인하여 현재 스캔하는 대상체의 위치, 생성된 클러스터의 수 등을 종합적으로 용이하게 확인할 수 있다. 디스플레이부(930)는 알려진 시각적 표시 장치가 사용될 수 있으며, 예시적으로 디스플레이부(930)는 모니터, 태블릿, 터치스크린 등일 수 있다.
한편, 디스플레이부(930)는 소정 면적을 점유하는 메인 영역과, 상기 메인 영역보다 작은 면적을 점유하는 서브 영역을 포함하여, 복수의 영역을 가지는 유저 인터페이스를 표시한다. 디스플레이부(930)는 유저 인터페이스의 메인 영역에 활성 클러스터와 스캔 샷을 표시할 수 있고, 유저 인터페이스의 서브 영역에 비활성 클러스터를 표시할 수 있다.
또한, 디스플레이부(930)는 클러스터 관리부(923)의 제어에 의해, 스캔 샷이 비활성 클러스터에 포함되는 경우, 비활성 클러스터를 활성화하여 메인 영역에 표시하고, 활성 클러스터를 비활성화하여 서브 영역에 썸네일의 형태로 표시할 수 있다. 이에 따라, 사용자는 현재 스캔하고 있는 대상체의 위치를 클러스터 전환을 통해 용이하게 확인할 수 있는 이점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S110: 스캔 샷을 획득하는 단계
S120: 얼라인하는 단계
S130: 선택적으로 병합하는 단계
100: 스캔 샷 200: 클러스터
500: 유저 인터페이스 화면 510: 메인 영역
520: 서브 영역
900: 데이터 처리 장치

Claims (18)

  1. 대상체를 나타내는 스캔 샷을 획득하는 단계;
    상기 스캔 샷을 기형성된 적어도 하나의 비활성 클러스터에 얼라인하는 단계; 및
    상기 비활성 클러스터에 얼라인하는 단계의 얼라인 여부에 따라, 상기 스캔 샷이 포함되는 활성 클러스터와 상기 비활성 클러스터를 선택적으로 병합하는 단계; 를 포함하는 것을 특징으로 하는 데이터 처리 방법.
  2. 청구항 1에 있어서,
    상기 스캔 샷을 상기 활성 클러스터에 포함된 직전 스캔 샷에 얼라인하는 단계; 를 더 포함하고,
    상기 비활성 클러스터에 얼라인하는 단계와 상기 직전 스캔 샷에 얼라인하는 단계는 동시에, 또는 차례로 수행되는 것을 특징으로 하는 데이터 처리 방법.
  3. 청구항 1에 있어서,
    상기 비활성 클러스터에 얼라인하는 단계는, 상기 스캔 샷이 가지는 특징점과 상기 비활성 클러스터가 가지는 특징점을 얼라인하는 것을 특징으로 하는 데이터 처리 방법.
  4. 청구항 2에 있어서,
    상기 선택적으로 병합하는 단계는,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 비활성 클러스터를 상기 활성 클러스터에 병합하고, 상기 비활성 클러스터에 포함된 스캔 샷들을 상기 활성 클러스터에 포함시키는 것을 특징으로 하는 데이터 처리 방법.
  5. 청구항 2에 있어서,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 스캔 샷은 상기 활성 클러스터에 포함되는 것을 특징으로 하는 데이터 처리 방법.
  6. 청구항 2에 있어서,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 활성 클러스터는 비활성화되고 신규 활성 클러스터가 생성되며, 상기 스캔 샷은 상기 신규 활성 클러스터에 포함되는 것을 특징으로 하는 데이터 처리 방법.
  7. 청구항 2에 있어서,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 스캔 샷은 상기 비활성 클러스터에 포함되는 것을 특징으로 하는 데이터 처리 방법.
  8. 청구항 7에 있어서,
    상기 스캔 샷이 상기 비활성 클러스터에 포함되는 경우, 상기 비활성 클러스터는 활성화되고, 상기 스캔 샷이 포함되지 않은 상기 활성 클러스터는 비활성화되는 것을 특징으로 하는 데이터 처리 방법.
  9. 청구항 7에 있어서,
    상기 스캔 샷, 상기 활성 클러스터, 및 상기 비활성 클러스터는,
    소정 면적을 점유하는 메인 영역과, 상기 메인 영역보다 작은 면적을 점유하는 서브 영역을 포함하여 복수의 영역을 가지는 유저 인터페이스 화면 상에 표시되고,
    상기 스캔 샷 및 상기 활성 클러스터는 상기 메인 영역에 표시되며,
    상기 스캔 샷이 상기 비활성 클러스터에 포함되는 경우, 상기 비활성 클러스터는 활성화되어 상기 메인 영역에 표시되고, 상기 스캔 샷이 포함되지 않은 상기 활성 클러스터는 비활성화되어 상기 서브 영역에 표시되는 것을 특징으로 하는 데이터 처리 방법.
  10. 대상체를 스캔하는 스캐너;
    상기 대상체를 스캔하여 획득한 스캔 샷을 기형성된 적어도 하나의 비활성 클러스터에 얼라인하고, 상기 얼라인 여부에 따라 상기 스캔 샷이 포함되는 활성 클러스터와 상기 비활성 클러스터를 선택적으로 병합시키는 제어부; 및
    상기 스캔 샷, 상기 비활성 클러스터, 및 상기 활성 클러스터 중 적어도 하나를 표시하는 디스플레이부;를 포함하는 것을 특징으로 하는 데이터 처리 장치.
  11. 청구항 10에 있어서,
    상기 제어부는,
    상기 스캐너가 스캔한 상기 대상체를 기초로 상기 스캔 샷을 생성하는 스캔 샷 생성부;
    상기 스캔 샷을 상기 활성 클러스터에 포함된 직전 스캔 샷과 얼라인하거나, 상기 스캔 샷을 상기 비활성 클러스터와 얼라인하는 얼라인부; 및
    상기 얼라인부의 얼라인 결과에 따라 상기 비활성 클러스터 및 상기 활성 클러스터를 생성 및 관리하는 클러스터 관리부;를 포함하는 것을 특징으로 하는 데이터 처리 장치.
  12. 청구항 11에 있어서,
    상기 얼라인부는,
    상기 스캔 샷을 상기 직전 스캔 샷과 얼라인하는 과정과, 상기 스캔 샷을 상기 비활성 클러스터와 얼라인하는 과정을 동시에 또는 차례로 수행하는 것을 특징으로 하는 데이터 처리 장치.
  13. 청구항 11에 있어서,
    상기 클러스터 관리부는,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 비활성 클러스터를 상기 활성 클러스터에 병합하고, 상기 비활성 클러스터에 포함된 스캔 샷들을 상기 활성 클러스터에 포함시키는 것을 특징으로 하는 데이터 처리 장치.
  14. 청구항 11에 있어서,
    상기 클러스터 관리부는,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 스캔 샷을 상기 활성 클러스터에 포함시키는 것을 특징으로 하는 데이터 처리 장치.
  15. 청구항 11에 있어서,
    상기 클러스터 관리부는,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되지 않는 경우, 상기 활성 클러스터를 비활성화시키고 신규 활성 클러스터를 생성하며, 상기 스캔 샷을 상기 신규 활성 클러스터에 포함시키는 것을 특징으로 하는 데이터 처리 장치.
  16. 청구항 11에 있어서,
    상기 클러스터 관리부는,
    상기 스캔 샷이 상기 직전 스캔 샷에 얼라인되지 않고, 상기 스캔 샷이 상기 비활성 클러스터에 얼라인되는 경우, 상기 스캔 샷을 상기 비활성 클러스터에 포함시키는 것을 특징으로 하는 데이터 처리 장치.
  17. 청구항 16에 있어서,
    상기 클러스터 관리부는,
    상기 스캔 샷이 얼라인되지 않는 활성 클러스터를 상기 비활성 클러스터로 전환시키고, 상기 스캔 샷이 얼라인된 비활성 클러스터는 상기 활성 클러스터로 전환시키는 것을 특징으로 하는 데이터 처리 장치.
  18. 청구항 16에 있어서,
    상기 디스플레이부는,
    소정 면적을 점유하는 메인 영역과, 상기 메인 영역보다 작은 면적을 점유하는 서브 영역을 포함하여 복수의 영역을 가지는 유저 인터페이스를 표시하고,
    상기 스캔 샷 및 상기 활성 클러스터는 상기 메인 영역에 표시하고,
    상기 스캔 샷이 상기 비활성 클러스터에 포함되는 경우, 상기 비활성 클러스터를 활성화하여 상기 메인 영역에 표시하고, 상기 활성 클러스터를 비활성화하여 상기 서브 영역에 표시하는 것을 특징으로 하는 데이터 처리 장치.
KR1020210100509A 2021-03-26 2021-07-30 데이터 처리 방법 및 이를 이용한 데이터 처리 장치 KR102621270B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/699,150 US20220309688A1 (en) 2021-03-26 2022-03-20 Data processing method and data processing apparatus using the same
EP22164417.2A EP4064190A1 (en) 2021-03-26 2022-03-25 Data processing method and data processing apparatus using the same
CN202210305008.3A CN115120378A (zh) 2021-03-26 2022-03-25 数据处理方法及利用其的数据处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210039663 2021-03-26
KR20210039663 2021-03-26

Publications (2)

Publication Number Publication Date
KR20220134416A true KR20220134416A (ko) 2022-10-05
KR102621270B1 KR102621270B1 (ko) 2024-01-05

Family

ID=83596785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210100509A KR102621270B1 (ko) 2021-03-26 2021-07-30 데이터 처리 방법 및 이를 이용한 데이터 처리 장치

Country Status (1)

Country Link
KR (1) KR102621270B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012214467A1 (de) * 2012-08-14 2014-02-20 Sirona Dental Systems Gmbh Verfahren zur Registrierung von einzelnen dreidimensionalen optischen Aufnahmen eines dentalen Objekts
US20170372527A1 (en) * 2016-06-22 2017-12-28 Aquifi, Inc. Systems and methods for scanning three-dimensional objects
KR20200099999A (ko) * 2019-02-15 2020-08-25 주식회사 메디트 스캔 과정 재생 방법
KR20200115580A (ko) 2018-01-26 2020-10-07 얼라인 테크널러지, 인크. 구강 내 진단 스캔 및 추적

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012214467A1 (de) * 2012-08-14 2014-02-20 Sirona Dental Systems Gmbh Verfahren zur Registrierung von einzelnen dreidimensionalen optischen Aufnahmen eines dentalen Objekts
US20170372527A1 (en) * 2016-06-22 2017-12-28 Aquifi, Inc. Systems and methods for scanning three-dimensional objects
KR20200115580A (ko) 2018-01-26 2020-10-07 얼라인 테크널러지, 인크. 구강 내 진단 스캔 및 추적
KR20200099999A (ko) * 2019-02-15 2020-08-25 주식회사 메디트 스캔 과정 재생 방법

Also Published As

Publication number Publication date
KR102621270B1 (ko) 2024-01-05

Similar Documents

Publication Publication Date Title
CN115884727A (zh) 用于口内扫描仪的智能扫描
US20210217189A1 (en) Information processing apparatus and data processing method
CN106663327B (zh) 3-d表面的自动重新拼接
KR102311389B1 (ko) 스캔 과정 재생 방법
KR20220134416A (ko) 데이터 처리 방법 및 이를 이용한 데이터 처리 장치
TWI744859B (zh) 牙齒目標檢測方法及利用牙齒目標的影像整合方法及裝置
KR20210092371A (ko) 가상 모델 생성 장치 및 방법
US20230390032A1 (en) Method for determining object area from three-dimensional model, and three-dimensional model processing device
US20220309688A1 (en) Data processing method and data processing apparatus using the same
KR102582709B1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
CN108814641A (zh) 用于成像装置的自动协议选择
CN116322565A (zh) 口腔图像处理装置以及口腔图像处理方法
KR102474298B1 (ko) 보철물 모델 설계 방법 및 그 장치
KR102632338B1 (ko) 데이터 처리 방법
KR102418810B1 (ko) 마진라인 포인트 선택 방법 및 이를 위한 덴탈 캐드 장치
KR102413696B1 (ko) 지대치 모델 마진라인 디자인 방법 및 그 장치
KR102429383B1 (ko) 스캔 데이터를 제공하는 디바이스 및 방법
US20230290093A1 (en) Data processing method
KR102418809B1 (ko) 인레이/온레이 마진라인 디자인 방법 및 그 장치
KR102493440B1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
US20230190423A1 (en) Data locking system and data locking method
EP4191522A1 (en) Data processing device, data processing method, and data processing program
US20230218374A1 (en) Data processing apparatus, data processing method, and data processing system
KR20220104427A (ko) 신경관 라인 생성방법 및 치과 임플란트 수술계획 수립장치
CN116235253A (zh) 三维扫描数据处理系统及三维扫描数据处理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant