KR102269897B1 - 이미지 필터링 방법 - Google Patents

이미지 필터링 방법 Download PDF

Info

Publication number
KR102269897B1
KR102269897B1 KR1020200002418A KR20200002418A KR102269897B1 KR 102269897 B1 KR102269897 B1 KR 102269897B1 KR 1020200002418 A KR1020200002418 A KR 1020200002418A KR 20200002418 A KR20200002418 A KR 20200002418A KR 102269897 B1 KR102269897 B1 KR 102269897B1
Authority
KR
South Korea
Prior art keywords
color
data
image
filtering
reference color
Prior art date
Application number
KR1020200002418A
Other languages
English (en)
Inventor
이동훈
이승진
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to KR1020200002418A priority Critical patent/KR102269897B1/ko
Priority to PCT/KR2021/000223 priority patent/WO2021141424A1/ko
Priority to CN202180008625.0A priority patent/CN114930383A/zh
Priority to EP21738509.5A priority patent/EP4071709A4/en
Application granted granted Critical
Publication of KR102269897B1 publication Critical patent/KR102269897B1/ko
Priority to US17/858,993 priority patent/US20220330831A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A61B6/51—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

본 발명에 따른 이미지 필터링 방법은 스캐너를 통해 2차원 이미지를 획득하고, 2차원 이미지의 적어도 일부 데이터의 색상 정보를 획득한 후, 획득한 색상 정보가 기준 색상 범위에 포함되는지 판단한다. 획득한 색상 정보가 기준 색상 범위에 포함되는 경우, 2차원 이미지 내에서 해당 데이터를 삭제하고 남은 이미지 데이터들에 대하여 3차원 볼륨 데이터로 변환을 수행한다. 한편, 기준 색상 범위를 판단함에 있어서 기준 색상은 기 설정되어 있는 데이터일 수도 있고, 사용자가 임의로 설정할 수도 있으며, 반복적으로 기준 이미지를 입력함으로써 획득한 이미지 데이터를 통해 기준 색상 범위를 정의하기 위한 학습을 수행할 수도 있다. 이러한 이미지 필터링 방법을 사용함에 따라 3차원 스캐너 사용자는 스캔 이후 후보정 작업을 최소화할 수 있으며, 구강 내부에 대한 정밀한 데이터 결과값을 얻을 수 있으므로 데이터 신뢰성을 향상시키는 이점이 있다.

Description

이미지 필터링 방법{IMAGE FILTERING METHOD}
본 발명은 이미지 필터링 방법에 관한 것이다.
3차원 스캐닝 기술은 현재 산업 분야를 구분하지 않고 광범위하게 사용되고 있으며, 특히 치아 보철 치료물 제작 등 치과 치료 분야에서 그 실용성이 계속적으로 주목받고 있다.
한편, 환자의 환부, 즉 구강 내부(치아, 잇몸 등을 의미한다)를 3차원 스캐너로 촬영하면, 3차원 스캐너는 촬영된 부위에 대한 이미지를 3차원 볼륨 데이터로 변환함으로써 결과적으로 하나의 전체 구강 모형 데이터를 획득하게 된다.
이 때, 환자의 구강 내부를 촬영할 때 구강 내부에 존재하는 이물질, 3차원 스캐너 사용자(통상적으로 치과 의사가 될 수 있다)의 손 등이 함께 촬영될 가능성이 있다. 이와 같이 이물질 또는 사용자의 손은 환자의 전체 구강 모형 데이터 획득에 방해가 되는 요소이며, 결과적으로 3차원 볼륨 데이터 변환과정 또는 후보정 과정 중에 삭제되어야 할 필요가 있다.
지금까지는 3차원 스캐너 사용자가 스캔을 수행한 후 변환된 3차원 볼륨 데이터에서 실제 구강 내부에 해당하지 않는 부분에 대하여 수동적으로 삭제를 진행하였으므로 후보정 작업에 시간이 많이 소요되는 문제가 있었다.
KR 10-2019-0103833 A
이상의 문제점을 해결하기 위하여 본 발명에 따른 이미지 필터링 방법은 획득한 2차원 이미지 데이터로부터, 2차원 이미지 데이터의 각 픽셀에 대한 색상 정보를 획득하고, 기준 색상 정보와 비교함으로써 구강 정보에 해당하지 않는 것으로 판단된 픽셀을 삭제하여 3차원 볼륨 데이터 변환 과정에서 포함하지 않는 방법을 제공한다.
또한, 색상 정보의 학습을 통해 기준 색상 범위를 정의함으로써, 학습된 기준 색상 범위로부터 구강 정보에 해당하지 않는 것으로 판단된 픽셀을 삭제하여 3차원 볼륨 데이터 변환 과정에서 포함하지 않는 방법을 제공한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 이미지 필터링 방법은, 스캐너를 통해 2차원 이미지를 획득하는 이미지 획득 단계, 상기 이미지 획득 단계로부터 획득한 상기 2차원 이미지의 적어도 일부 데이터로부터 색상 정보를 획득하는 색상 획득 단계, 상기 색상 획득 단계에서 상기 적어도 일부 데이터의 색상 정보가 기준 색상 범위 내에 포함되는 경우, 삭제 대상 색상을 가지는 삭제 대상 데이터로 판단하고 상기 2차원 이미지 데이터 내에서 상기 삭제 대상 데이터를 삭제하는 필터링 단계, 및 상기 필터링 단계를 거친 이미지 데이터를 3차원 볼륨 데이터로 변환하는 3차원 연산 단계를 포함할 수 있다.
또한, 상기 색상 획득 단계에서 획득한 상기 적어도 일부 데이터의 색상 정보가 기준 색상 범위 내에 포함되는지 판단하는 기준 색상 판단 단계를 더 포함하고, 상기 필터링 단계는 상기 기준 색상 판단 단계로부터 상기 기준 색상 범위로 판단된 상기 적어도 일부 데이터를 삭제 대상 데이터로 판단함으로써 상기 2차원 이미지 데이터 내에서 삭제할 수 있다.
또한, 상기 삭제 대상 색상을 설정하는 기준 색상 설정 단계;를 더 포함하고, 상기 기준 색상 설정 단계의 상기 삭제 대상 색상은 유저 인터페이스를 통해 지정될 수 있다.
또한, 상기 기준 색상 범위의 크기는 상기 삭제 대상 색상을 기준으로 유저 인터페이스를 통해 조절가능할 수 있다.
또한, 상기 색상 정보는 RGB 가산혼합 방식을 사용하여 표현된 정보일 수 있다.
한편, 본 발명의 다른 실시예에 따른 이미지 필터링 방법은, 스캐너를 통해 스캔 대상의 2차원 이미지를 획득하는 이미지 획득 단계, 상기 2차원 이미지를 기초로 3차원 가상 모델을 생성하는 모델링 단계, 상기 3차원 가상 모델을 시각적으로 표시하는 디스플레이 단계, 및 상기 스캔 대상에서 삭제 대상 색상에 해당하는 부분은 상기 디스플레이 단계 이전에 필터링하는 필터링 단계를 포함할 수 있다.
또한, 상기 필터링 단계는 상기 삭제 대상 색상을 설정하는 기준 색상 설정 단계, 및 상기 2차원 이미지에서 상기 삭제 대상 색상이 존재하는지 판단하는 기준 색상 판단 단계를 더 포함할 수 있다.
또한, 상기 기준 색상 설정 단계는 사용자의 선택에 의해 설정되거나, 필터링 대상 물체의 이미지를 기초로 설정될 수 있다.
한편, 본 발명의 또다른 실시예에 따른 이미지 필터링 방법은, 스캐너를 통해 2차원 이미지를 획득하는 이미지 획득 단계, 상기 이미지 획득 단계로부터 획득한 상기 2차원 이미지의 적어도 일부 데이터로부터 색상 정보를 획득하는 색상 획득 단계, 필터링 대상 물체의 이미지를 기초로 기준 색상 범위를 정의하는 기준 색상 범위 정의 단계, 상기 색상 획득 단계에서 획득한 상기 적어도 일부 데이터의 색상 정보가 학습을 통해 정의된 상기 기준 색상 범위 내에 포함되는지 판단하는 기준 색상 판단 단계, 상기 색상 판단 단계에서 상기 적어도 일부 데이터의 색상 정보가 상기 기준 색상 범위 내에 포함되는 경우, 삭제 대상 색상을 가지는 삭제 대상 데이터로 판단하고 상기 2차원 이미지 데이터 내에서 삭제하는 필터링 단계, 및 상기 필터링 단계를 거친 이미지 데이터를 3차원 볼륨 데이터로 변환하는 3차원 연산 단계를 포함할 수 있다.
또한, 상기 기준 색상 범위 정의 단계는, 상기 삭제 대상 색상을 포함하는 필터링 대상 물체의 이미지를 적어도 하나 이상 반복적으로 획득하는 기준이미지 획득 단계, 및 상기 기준이미지 획득 단계로부터 획득한 상기 필터링 대상 물체의 이미지로부터 상기 기준 색상 범위를 결정하는 기준 색상 범위 학습 단계를 포함할 수 있다.
또한, 상기 기준 색상 범위 학습 단계는, 상기 기준이미지 획득 단계를 통해 획득한 적어도 하나 이상의 이미지로부터 중첩되는 색상을 상기 기준 색상 범위로 학습할 수 있다.
또한, 상기 색상 정보는 RGB 가산혼합 방식을 사용하여 표현된 정보일 수 있다.
본 발명에 따르면, 획득한 이미지의 적어도 일부의 색상값을 통해 해당 부분에 촬영된 부분이 구강 모형 데이터 형성에 필요한 부분인지 판단하고, 만약 삭제 대상 색상을 가진 노이즈 픽셀인 것으로 판단되면 해당 부분의 데이터를 삭제함으로써 실제 구강 모형 데이터 형성에 필요한 부분만 3차원 연산을 수행하는 이점이 있다.
또한, 상기와 같이 구강 모형 데이터 형성에 필요한 부분만 3차원 연산을 수행함으로써, 3차원 연산에 소요되는 시간 및 리소스를 절약할 수 있는 이점이 있다.
또한, 노이즈 픽셀이 제외된 데이터로 3차원 볼륨 데이터를 형성하므로, 더욱 정밀한 3차원 볼륨데이터를 획득할 수 있으며, 이는 구강 모형 데이터의 신뢰성을 향상시키는 이점이 있다.
도 1은 본 발명에 따른 이미지 필터링 방법의 순서도이다.
도 2는 본 발명에 따른 이미지 필터링 방법에서, RGB 가산혼합 방식의 색상 표현을 나타낸 도이다.
도 3a는 본 발명에 따른 이미지 필터링 방법에서, 삭제 대상 색상을 가지는 물체를 예시적으로 나타낸 도이다.
도 3b는 본 발명에 따른 이미지 필터링 방법에서, 삭제 대상 색상을 가지는 물체와 구강 내부가 함께 3차원 볼륨 데이터로 변환된 것을 예시적으로 나타낸 도이다.
도 3c는 본 발명에 따른 이미지 필터링 방법에서, 삭제 대상 색상을 가지는 물체가 제외되어 구강 내부만 3차원 볼륨 데이터로 변환된 것을 예시적으로 나타낸 도이다.
도 4는 본 발명에 따른 이미지 필터링 방법의 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 이미지 필터링 방법의 순서도이고, 도 2는 본 발명에 따른 이미지 필터링 방법에서, RGB 가산혼합 방식의 색상 표현을 나타낸 도이다. 또한, 도 3a는 본 발명에 따른 이미지 필터링 방법에서, 삭제 대상 색상을 가지는 물체를 예시적으로 나타낸 도이며, 도 3b는 본 발명에 따른 이미지 필터링 방법에서, 삭제 대상 색상을 가지는 물체와 구강 내부가 함께 3차원 볼륨 데이터로 변환된 것을 예시적으로 나타낸 도이고, 도 3c는 본 발명에 따른 이미지 필터링 방법에서, 삭제 대상 색상을 가지는 물체가 제외되어 구강 내부만 3차원 볼륨 데이터로 변환된 것을 예시적으로 나타낸 도이다.
도 1을 참조하면, 본 발명에 따른 이미지 필터링 방법은 스캐너를 통해 2차원 이미지를 획득하는 이미지 획득 단계(S1)를 포함할 수 있다. 3차원 스캐너 사용자가 환자의 구강 내부를 스캔하기 시작하면, 3차원 스캐너는 그 내부에 형성된 촬상부를 통해 환자의 구강 내부를 촬영할 수 있다. 이 때, 3차원 스캐너는 그 일단에 환자의 구강 내부로 인입 또는 인출되고 일측이 개구된 개구부를 가지도록 형성될 수 있다. 환자의 구강 내부의 촬영하고자 하는 환부(치아, 잇몸 등)에서 반사된 광이 개구부를 통해 3차원 스캐너 내부로 입사하게 되면, 그 반사된 광을 촬상부의 일 구성요소인 적어도 하나의 카메라가 수용하고, 적어도 하나의 카메라와 전기통신적으로 연결되어 있는 이미징 센서에 의해 2차원 이미지 데이터가 생성된다. 2차원 이미지 데이터는 3차원 볼륨 데이터로 변환되기 전의 사진 형태의 데이터를 의미한다.
한편, 전술한 이미지 획득 단계에서 3차원 스캐너가 이미지를 획득하는 방식은 1D Line scan, 구조광을 통한 Triangulation, 공초점 등과 같은 방식 중 어느 하나일 수 있으며, 이러한 방식에 따라 이미지를 획득, 이후 3차원 볼륨 데이터로 변환하기 위한 정보를 수집한다.
이미지 획득 단계에서 획득된 이미지는 픽셀(pixel) 단위로 구성된다. 픽셀은 이미지를 구성하는 최소 단위의 점을 의미한다. 전술한 이미지 획득 단계로부터 획득한 2차원 이미지 데이터는 그 크기만큼의 픽셀 수, 즉 해당 2차원 이미지 데이터의 모든 픽셀로부터 색상 정보를 획득한다(S2). 이 때, 획득되는 색상 정보는 RGB 가산혼합 모델, HSV 모델, YCbCr 모델 등이 사용될 수 있다. 다만 본 발명에서 효과적으로 삭제 대상 색상을 정의하고 표현하기 위해서 바람직하게는 RGB 가산혼합 모델이 사용될 수 있다. 도 2를 참조하면, RGB 모델은 각각 Red, Green, Blue의 세 가지 색상의 밝기를 각각 0에서부터 255까지의 정수로 나타냄으로써 해당 픽셀이 가지는 색상 정보를 표현하는 것이다. 한편, 색상값은 0에서 255로 증가할 수록 밝아지게 되며, RGB 값이 (0, 0, 0)인 경우 흑색, (255, 255, 255)인 경우 백색을 나타낼 수 있다.
한편, 도 3a를 참조하면, 사용자는 2차원 이미지 데이터에서 치아, 잇몸 등 환자의 치료에 필요한 데이터(이를 본 명세서 상에서 '유효 데이터'로 지칭하기로 한다)만을 필요로 한다. 이외의 데이터는 치과 치료에 불필요한 사용자의 손(통상적으로 치과 치료의 특성 상 구강 내부의 치아 또는 잇몸 등의 색상과는 구분되는 색상을 가지는 위생 장갑을 착용한 손이 될 수 있다) 또는 이물질이 해당될 수 있다. 이러한 불필요한 데이터는 노이즈 데이터(noise data)에 해당하는 것으로, 스캔 영역에 포함되는 경우 2차원 이미지로 유효 데이터와 함께 획득된다. 즉, 스캔되는 대상에는 유효 데이터에 해당하는 물체 뿐만 아니라 노이즈 데이터에 해당하는 물체도 포함될 수 있다. 따라서, 노이즈 데이터를 유효 데이터와 함께 3차원 볼륨 데이터로 변환한 다음 후보정 단계에서 제거하는 것은 3차원 볼륨 데이터 변환 과정에서 불필요한 작업량 및 작업시간을 소비하게 된다.
이에 따라서, 본 발명에 따른 이미지 필터링 방법에서는 삭제 대상 색상을 설정하는 기준 색상 설정 단계를 더 포함할 수 있다(S31). 기준 색상 설정 단계는 유저 인터페이스(UI) 상에서 사용자가 삭제를 원하는 색상(삭제 대상 색상), 즉 스캔 대상에서 노이즈 데이터에 해당하는 부분의 색상을 설정할 수 있도록 하며, 삭제 대상 색상이 설정된 이후에는 2차원 이미지 데이터에서 삭제 대상 색상이 포함된 픽셀은 3차원 볼륨 데이터 변환 대상에 포함되지 않도록 그 부분이 삭제될 수 있다. 한편, 기준 색상 설정 단계에는, 삭제 대상 색상을 사용자가 직접 지정하는 것 외에도 시스템적으로 미리 정해진 것을 포함할 수 있고, 사용자의 필요에 따라서 시스템적으로 미리 정해진 색상을 사용자가 변경, 추가 또는 삭제하는 것을 포함할 수 있다.
다만, 사용자가 삭제하고자 하는 물체는 하나의 색상으로만 표현될 수도 있지만, 해당 물체가 3차원 스캐너에 의해 촬영되었을 때 음영이 반영된 것 또한 고려하였을 때 복수개의 색상 정보를 가지는 것으로 획득될 수도 있다. 이 때, 기준 색상 범위의 크기는 삭제 대상 색상을 기준으로 조절될 수 있다. 즉, 삭제하고자 하는 물체의 일 색상을 지정하면, 그 색상을 중심으로 인접 색상까지 기준 색상 범위로 설정될 수 있다. 한편, 기준 색상 범위는 모든 스캔 상황에서 동일하게 적용되지 않아도 되며, 이러한 범위의 크기는 유저 인터페이스를 통해 조절이 가능하도록 할 수 있다. 예를 들어, 넓은 범위의 기준 색상 범위를 설정하면 더 넓은 인접 색상까지를 기준 색상 영역으로 하여 삭제되어야 하는 범위가 증가할 수 있고, 좁은 범위의 기준 색상 범위를 설정하면 좁은 인접 색상까지를 기준 색상 영역으로 하여 삭제되어야 하는 범위가 감소할 수 있다. 이와 같이 기준 색상 범위를 조절할 수 있도록 함으로써, 사용자는 효율적으로 노이즈 데이터를 제거할 수 있고, 후보정 작업을 최소화하는 이점이 있다.
2차원 이미지로부터 획득한 색상 정보와 기준 색상 범위가 설정이 되었다면, 획득한 일부 데이터의 색상 정보가 기준 색상 범위에 포함되는지 비교 및 판단할 수 있다(S5). 예를 들어, 스캔의 유효 데이터에 해당하는 부분들은 기본적으로 기준 색상 범위에 해당하지 않는 모든 색상이 가능한 것이나, 통상적으로는 치아의 백색 또는 상아색, 및 잇몸 등의 적색 또는 분홍색 계통의 색상을 가질 수 있다. 반면, 노이즈 데이터는 구강 내부가 가지고 있는 색상과 다른 색상을 가지게 되며, 이러한 노이즈 데이터가 촬영되어 획득된 2차원 이미지 데이터의 각 픽셀 색상 정보가 기준 색상 범위에 포함될 수 있다.
전술한 바와 같이 노이즈 데이터에 해당하는 부분이 기준 색상 범위에 포함되는 것으로 판단되었다면, 연산부는 해당 부분이 삭제 대상 색상을 가지는 픽셀로 판단하여 2차원 이미지 데이터 내에서 삭제를 진행한다(필터링 단계, S6). 즉, 기준 색상 범위 내의 데이터는 획득하고자 하는 구강 내부에 대한 데이터가 아니므로 3차원 볼륨 데이터로 변환하기 전에 미리 삭제를 진행함으로써, 3차원 볼륨 데이터로 변환하는 연산량을 감소시키는 것이다. 이와 같이 기준 색상 범위 내에 포함되는 데이터를 삭제(필터링) 함으로써, 후속 단계의 수행시간을 단축시킬 수 있는 이점이 있다.
전술한 필터링 단계(S6)가 완료되면, 연산부는 필터링이 완료된 2차원 이미지 데이터를 3차원 볼륨 데이터로 변환하는 연산을 수행함으로써 3차원 가상 모델을 생성하고(모델링 단계), 상기 3차원 가상 모델을 시각적으로 디스플레이한다(디스플레이 단계). 이 때, 3차원 볼륨 데이터로 변환되는 부분은 스캔 대상 중에서 치아 및 잇몸 등 유효 데이터에 해당하는 부분이며, 노이즈 데이터에 해당하는 부분은 디스플레이 되기 전에 선제적으로 제거되어 시각적으로 표시되지 않는다. 따라서, 3차원 볼륨 데이터로 형성된 구강 모형 데이터의 신뢰성이 향상된다. 이와 같이, 필터링 단계(S6) 후에 3차원 볼륨 데이터 변환 연산을 수행함으로써, 전체적으로 변환해야 할 데이터 연산량이 감소하므로 결과적으로 연산속도 증가 및 연산에 소요되는 시간이 감소하여 빠른 시간에 신뢰성 있는 전체 구강 모형 데이터를 획득할 수 있는 이점이 있다. 도 3b 및 도 3c를 비교하여 참조하면, 도 3b에서는 삭제 대상 색상이 그대로 3차원 볼륨 데이터로 변환되어 후보정을 통해 삭제를 진행해야 한다. 반면에, 도 3c는 2차원 이미지 데이터에서 선제적으로 노이즈 데이터가 제거되었으므로, 3차원 볼륨 데이터 변환에 노이즈 데이터가 연산에서 제외되었음을 알 수 있다.
이후에서는 또 다른 실시예에 따른 이미지 필터링 방법에 대하여 설명하기로 한다. 이후의 서술에서, 이미 전술한 내용에 대하여는 간략하게 언급하거나 생략하도록 한다.
도 4는 본 발명의 다른 실시예에 따른 이미지 필터링 방법의 순서도이다.
도 4를 참조하면, 본 발명에 따른 이미지 필터링 방법은, 사용자가 3차원 스캐너를 통해 2차원 이미지 데이터를 획득하는 이미지 획득 단계(S1), 획득한 2차원 이미지 데이터의 적어도 일부분에서 색상 정보를 획득하는 색상 획득 단계(S2)를 포함한다. 이러한 이미지 획득 단계(S1) 및 색상 획득 단계(S2)는 전술한 바와 같으므로 생략하기로 한다.
한편, 본 발명에 따른 이미지 필터링 방법은 필터링 대상 물체의 이미지를 획득함으로써 함께 획득되는 색상 정보에 의해 기준 색상 범위를 정의하는 기준 색상 범위 정의 단계(S32)를 더 포함할 수 있다. 기준 색상 범위 정의 단계(S32)는 전술한 기준 색상 설정 단계(S31)와는 다르게, 필터링 대상 물체의 이미지를 획득함으로써 함께 획득되는 색상 정보로부터 기준 색상 범위가 자동적으로 정의되는 것을 의미한다. 따라서 필터링 대상 물체의 이미지를 계속적으로 획득함으로써 삭제 대상 색상을 인식하게 되므로 사용자는 삭제 대상 색상이 포함된 물체를 촬영함으로써 기준 색상이 설정되도록 할 수 있다.
기준 색상 범위 정의 단계(S32)를 세부적으로 살펴보면 다시 기준이미지 획득 단계(S32a)와 기준 색상 범위 학습 단계(S32b)를 포함할 수 있다. 기준이미지 획득 단계(S32a)는 삭제 대상 색상을 포함하는 필터링 대상 물체의 이미지를 적어도 하나 이상 반복적으로 획득할 수 있다. 즉, 필터링 대상 물체에 대한 2차원 이미지 데이터를 적어도 하나 이상 획득할 수 있다. 이 때, '적어도 하나 이상'은 2차원 이미지 데이터를 1회 획득하는 것도 포함하는 것이나, 효과적이고 정확한 기준 색상 범위 정의를 위해서 적어도 2회 이상의 촬영을 통해 2차원 이미지 데이터를 적어도 2개 이상 획득하여 기준 색상 범위가 정의되도록 하는 것이 바람직하다.
또한, 기준 색상 범위 학습 단계에서는 필터링 대상 물체의 이미지로부터 기준 색상 범위를 결정할 수 있다. 이 때, 기준 색상 범위를 결정함에 있어서 여러가지 방법이 사용될 수 있으나, 본 발명에 따른 이미지 필터링 방법에서는 바람직하게는 데이터 밀도를 이용하여 기준 색상 범위를 결정할 수 있다. 즉, 전술한 기준이미지 획득 단계(S32a)에서 획득한 이미지 데이터에서, 지속적으로 습득되는 색상 정보에 대하여는 데이터 밀도가 높게 나타난다. 데이터 밀도가 높게 나타나는 경우, 지속적으로 삭제 대상 물체를 촬영, 2차원 이미지 데이터를 획득하고 있는 상태이므로 더 많은 빈도수로 얻어지는 색상이 삭제 대상 색상인 기준 색상 범위로 판단 및 학습될 수 있다. 이와 같이 데이터 밀도에 따라 기준 색상 범위를 학습하도록 함으로써, 자동적으로 노이즈 데이터의 특징(노이즈 데이터에서 나타나는 삭제 대상 색상)을 학습시키고 3차원 볼륨 데이터 변환에서 제외할 수 있으며, 연산량 감소와 연산속도 증가, 및 신뢰성 있는 구강 모형 데이터를 얻을 수 있는 이점이 있다.
한편, 색상 획득 단계(S2)에서 획득한 적어도 일부 데이터의 색상 정보는 학습을 통해 정의된 기준 색상 범위에 해당하는지 판단되고(기준 색상 판단 단계, S4), 해당 데이터의 색상 정보가 기준 색상 범위에 포함되는 경우 해당 데이터가 삭제 대상 색상을 가지는 것으로 판단하여 2차원 이미지 내에서 삭제(필터링)된다(S5). 이후 필터링이 완료된 2차원 이미지 데이터를 3차원 볼륨 데이터로 변환연산을 수행(S6)함으로써 환자의 구강 전체 모형 데이터를 획득할 수 있다. 이러한 구강 전체 모형 데이터를 획득하기 위해 3차원 연산 단계(S6)에서, 노이즈 데이터가 이미 제거된 상태로 3차원 볼륨 데이터 변환 연산이 수행되므로, 연산량 감소와 연산속도 증가, 및 신뢰성 있는 구강 모형 데이터를 얻을 수 있는 이점이 있다.
한편, 이미지 필터링 방법 중에서는 스캐너를 통해 2차원 이미지를 획득하고, 이러한 2차원 이미지를 기초로 3차원 볼륨 데이터가 생성될 수 있다. 생성되는 3차원 볼륨 데이터는 디스플레이 장치 등에 3차원 가상 모델로 실시간으로 디스플레이될 수 있다. 한편, 이러한 3차원 가상 모델이 실시간으로 디스플레이될 때, 2차원 이미지 데이터의 특정 색상에 대응하는 부분은 실시간으로 필터링(삭제)되어 디스플레이되도록 할 수 있다(필터링 단계). 이 때, 이미지 데이터의 '특정 색상'은 스캐너의 사용자가 환자의 구강 전체 모형 데이터를 획득함에 있어서 노이즈 데이터로 분류되는 타액, 사용자의 장갑 등을 구성하는 색상(이를 명세서 상에 삭제 대상 색상으로 명명한 바 있다)이 해당할 수 있다. 이러한 삭제 대상 색상을 기준 색상으로 보고, 3차원 연산 단계 이전에 삭제 대상 색상에 대하여 정의하는 기준 색상 설정 단계가 수행될 수 있다. 기준 색상 설정 단계에서 3차원 가상 모델이 디스플레이될 때 삭제하고자 하는 색상이 설정되면, 이후 2차원 이미지 데이터에서 삭제 대상 색상이 존재하는지 판단하는 기준 색상 판단 단계를 거치고, 필터링 단계에서는 3차원 가상 모델이 디스플레이될 때 2차원 이미지의 삭제 대상 색상에 대응하는 부분은 색상 정보가 담긴 데이터를 삭제하여 해당 색상이 디스플레이되지 않게 하고, 사용자는 필요한 색상 정보가 담긴(즉, 잇몸과 치아와 같은 환자의 구강 모형 데이터만 가지는) 신뢰성 있는 데이터를 획득할 수 있는 이점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S1: 이미지 획득 단계 S2: 색상 획득 단계
S31: 기준 색상 설정 단계 S32: 기준 색상 범위 정의 단계
S32a: 기준이미지 획득 단계 S32b: 기준 색상 범위 학습 단계
S4: 기준 색상 판단 단계 S5: 필터링 단계
S6: 3차원 연산 단계 S7: 3차원 포인트 획득 단계
D: 노이즈 데이터

Claims (12)

  1. 스캐너를 통해 구강 내부의 치아를 포함한 유효 데이터 부분을 가지는 스캔 대상의 2차원 이미지를 획득하는 이미지 획득 단계;
    상기 이미지 획득 단계로부터 획득한 상기 2차원 이미지의 적어도 일부 데이터로부터 색상 정보를 획득하는 색상 획득 단계;
    상기 색상 획득 단계에서 상기 적어도 일부 데이터의 색상 정보는, 상기 구강 내부와 구분되는 필터링 대상 물체가 가지는 색상 범위인 기준 색상 범위 내에 포함되는 경우, 삭제 대상 색상을 가지는 삭제 대상 데이터로 판단하고 상기 2차원 이미지 데이터 내에서 상기 삭제 대상 데이터를 삭제하는 필터링 단계; 및
    상기 필터링 단계를 거쳐 상기 삭제 대상 데이터가 삭제되어 상기 유효 데이터 부분만을 가지는 2차원 이미지 데이터를 3차원 볼륨 데이터로 변환하는 3차원 연산 단계;를 포함하는 이미지 필터링 방법.
  2. 제1 항에 있어서,
    상기 색상 획득 단계에서 획득한 상기 적어도 일부 데이터의 색상 정보가 기준 색상 범위 내에 포함되는지 판단하는 기준 색상 판단 단계;를 더 포함하고,
    상기 필터링 단계는 상기 기준 색상 판단 단계로부터 상기 기준 색상 범위로 판단된 상기 적어도 일부 데이터를 삭제 대상 데이터로 판단함으로써 상기 2차원 이미지 데이터 내에서 삭제하는 이미지 필터링 방법.
  3. 제2 항에 있어서,
    상기 삭제 대상 색상을 설정하는 기준 색상 설정 단계;를 더 포함하고,
    상기 기준 색상 설정 단계의 상기 삭제 대상 색상은 유저 인터페이스를 통해 지정되는 이미지 필터링 방법.
  4. 제3 항에 있어서,
    상기 기준 색상 범위의 크기는 상기 삭제 대상 색상을 기준으로 유저 인터페이스를 통해 조절가능한 이미지 필터링 방법.
  5. 제1 항에 있어서,
    상기 색상 정보는 RGB 가산혼합 방식을 사용하여 표현된 정보인 이미지 필터링 방법.
  6. 스캐너를 통해 구강 내부의 치아를 포함한 유효 데이터 부분을 가지는 스캔 대상의 2차원 이미지를 획득하는 이미지 획득 단계;
    상기 2차원 이미지를 기초로 3차원 가상 모델을 생성하는 모델링 단계;
    상기 3차원 가상 모델을 시각적으로 표시하는 디스플레이 단계; 및
    상기 2차원 이미지에서 상기 구강 내부와 구분되는 필터링 대상 물체가 가지는 색상인 삭제 대상 색상에 해당하는 부분은 상기 디스플레이 단계 이전에 필터링하는 필터링 단계;를 포함하고,
    상기 모델링 단계는 상기 삭제 대상 색상을 가지는 데이터가 삭제되어 상기 유효 데이터 부분만을 가지는 2차원 이미지 데이터로 상기 3차원 가상 모델을 생성하는 이미지 필터링 방법.
  7. 제6 항에 있어서,
    상기 필터링 단계는 상기 필터링 대상 물체로부터 상기 삭제 대상 색상을 설정하는 기준 색상 설정 단계; 및
    상기 2차원 이미지에서 상기 삭제 대상 색상이 존재하는지 판단하는 기준 색상 판단 단계;를 더 포함하는 이미지 필터링 방법.
  8. 제7 항에 있어서,
    상기 기준 색상 설정 단계는 사용자의 선택에 의해 설정되거나, 필터링 대상 물체의 이미지를 기초로 설정되는 이미지 필터링 방법.
  9. 스캐너를 통해 구강 내부의 치아를 포함한 유효 데이터 부분을 가지는 스캔 대상의 2차원 이미지를 획득하는 이미지 획득 단계;
    상기 이미지 획득 단계로부터 획득한 상기 2차원 이미지의 적어도 일부 데이터로부터 색상 정보를 획득하는 색상 획득 단계;
    상기 구강 내부와 구분되는 필터링 대상 물체의 이미지를 기초로 상기 필터링 대상 물체가 가지는 색상 범위를 기준 색상 범위로 정의하는 기준 색상 범위 정의 단계;
    상기 색상 획득 단계에서 획득한 상기 적어도 일부 데이터의 색상 정보가 학습을 통해 정의된 상기 기준 색상 범위 내에 포함되는지 판단하는 기준 색상 판단 단계;
    상기 색상 판단 단계에서 상기 적어도 일부 데이터의 색상 정보가 상기 기준 색상 범위 내에 포함되는 경우, 삭제 대상 색상을 가지는 삭제 대상 데이터로 판단하고 상기 2차원 이미지 데이터 내에서 삭제하는 필터링 단계; 및
    상기 필터링 단계를 거쳐 상기 삭제 대상 데이터가 삭제되어 상기 유효 데이터 부분만을 가지는 2차원 이미지 데이터를 3차원 볼륨 데이터로 변환하는 3차원 연산 단계;를 포함하는 이미지 필터링 방법.
  10. 제9 항에 있어서,
    상기 기준 색상 범위 정의 단계는,
    상기 삭제 대상 색상을 포함하는 필터링 대상 물체의 이미지를 적어도 하나 이상 반복적으로 획득하는 기준이미지 획득 단계; 및
    상기 기준이미지 획득 단계로부터 획득한 상기 필터링 대상 물체의 이미지로부터 상기 기준 색상 범위를 결정하는 기준 색상 범위 학습 단계; 를 포함하는 이미지 필터링 방법.
  11. 제10 항에 있어서,
    상기 기준 색상 범위 학습 단계는,
    상기 기준이미지 획득 단계를 통해 획득한 적어도 하나 이상의 이미지로부터 중첩되는 색상을 상기 기준 색상 범위로 학습하는 이미지 필터링 방법.
  12. 제9 항에 있어서,
    상기 색상 정보는 RGB 가산혼합 방식을 사용하여 표현된 정보인 이미지 필터링 방법.
KR1020200002418A 2020-01-08 2020-01-08 이미지 필터링 방법 KR102269897B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200002418A KR102269897B1 (ko) 2020-01-08 2020-01-08 이미지 필터링 방법
PCT/KR2021/000223 WO2021141424A1 (ko) 2020-01-08 2021-01-08 이미지 필터링 방법
CN202180008625.0A CN114930383A (zh) 2020-01-08 2021-01-08 图像过滤方法
EP21738509.5A EP4071709A4 (en) 2020-01-08 2021-01-08 IMAGE FILTERING METHOD
US17/858,993 US20220330831A1 (en) 2020-01-08 2022-07-06 Image filtering method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200002418A KR102269897B1 (ko) 2020-01-08 2020-01-08 이미지 필터링 방법

Publications (1)

Publication Number Publication Date
KR102269897B1 true KR102269897B1 (ko) 2021-06-28

Family

ID=76607590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002418A KR102269897B1 (ko) 2020-01-08 2020-01-08 이미지 필터링 방법

Country Status (5)

Country Link
US (1) US20220330831A1 (ko)
EP (1) EP4071709A4 (ko)
KR (1) KR102269897B1 (ko)
CN (1) CN114930383A (ko)
WO (1) WO2021141424A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023014107A1 (ko) * 2021-08-04 2023-02-09 주식회사 메디트 3차원 스캐너의 스캔 이미지 처리에 있어서의 노이즈 필터링을 위한 방법 및 장치
WO2023063607A1 (ko) * 2021-10-12 2023-04-20 주식회사 메디트 데이터 처리 장치 및 데이터 처리 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143702A (ja) * 1991-11-20 1993-06-11 Canon Inc 画像処理装置
JP2001084408A (ja) * 1999-09-13 2001-03-30 Sanyo Electric Co Ltd ３次元データ加工装置及び方法並びに記録媒体
JP2007257087A (ja) * 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法
KR20190103833A (ko) 2018-02-28 2019-09-05 주식회사 메디트 실시간 3차원 데이터 측정 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005009432D1 (de) * 2004-06-17 2008-10-16 Cadent Ltd Verfahren und Gerät zur Farbbildformung einer dreidimensionalen Struktur
CN113499159B (zh) * 2016-07-27 2023-02-03 阿莱恩技术有限公司 具有牙科诊断能力的口内扫描仪
KR101841441B1 (ko) * 2016-11-28 2018-03-23 김양수 이미지 정보 기반의 치아 자동삭제 시스템 및 이를 이용한 치아 자동삭제 방법
GB201708520D0 (en) * 2017-05-27 2017-07-12 Dawood Andrew A method for reducing artefact in intra oral scans
EP3752982B1 (en) * 2018-02-16 2024-04-24 3Shape A/S Intraoral scanning with surface differentiation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143702A (ja) * 1991-11-20 1993-06-11 Canon Inc 画像処理装置
JP2001084408A (ja) * 1999-09-13 2001-03-30 Sanyo Electric Co Ltd ３次元データ加工装置及び方法並びに記録媒体
JP2007257087A (ja) * 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法
KR20190103833A (ko) 2018-02-28 2019-09-05 주식회사 메디트 실시간 3차원 데이터 측정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023014107A1 (ko) * 2021-08-04 2023-02-09 주식회사 메디트 3차원 스캐너의 스캔 이미지 처리에 있어서의 노이즈 필터링을 위한 방법 및 장치
WO2023063607A1 (ko) * 2021-10-12 2023-04-20 주식회사 메디트 데이터 처리 장치 및 데이터 처리 방법

Also Published As

Publication number Publication date
CN114930383A (zh) 2022-08-19
EP4071709A4 (en) 2023-12-27
US20220330831A1 (en) 2022-10-20
WO2021141424A1 (ko) 2021-07-15
EP4071709A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
US11928832B2 (en) Intraoral scanning system that removes excessive materials from intraoral scans
US9224193B2 (en) Focus stacking image processing apparatus, imaging system, and image processing system
US20220330831A1 (en) Image filtering method
JP6573907B2 (ja) ３ｄスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体
US20150153559A1 (en) Image processing apparatus, imaging system, and image processing system
JP6576083B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20200099997A (ko) 신뢰도를 포함하는 스캔 데이터 표시 방법
JP2022525088A (ja) 複数の解剖学的領域についての歯科シェードマッチング
JP2010263423A (ja) 画像処理方法および画像処理装置
KR102576496B1 (ko) 3차원 모델링 방법 및 이를 이용한 장치
JP5074066B2 (ja) 画像処理装置、及び、画像処理方法
CN113256518B (zh) 用于口腔内3d重建的结构光图像增强方法
US20230334780A1 (en) Three-dimensional modeling method and apparatus using same
CN105160329A (zh) 一种基于yuv颜色空间的牙齿识别方法、系统及拍摄终端
KR102442719B1 (ko) 이미지 처리 방법 및 이를 이용한 이미지 처리 장치
US11816791B2 (en) Image processing method and apparatus using the same
US20230214995A1 (en) System and method for generating a three-dimensional image where a point cloud is generated according to a set of color images of an object
KR102403594B1 (ko) 이미지 처리 방법 및 이를 사용한 장치
KR102521770B1 (ko) 외부광 간섭 제거 방법
US20220133445A1 (en) Method and system for three-dimensional imaging
JP2844573B2 (ja) 画像処理方法
JP2000166874A (ja) 眼底画像輝度補正方法、その装置及びそのプログラムを記録した記録媒体
JP2021069004A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021145385A (ja) 画像処理装置、画像処理方法、およびプログラム
JPH04350775A (ja) 画像処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant