KR20220057390A - 이미지 처리 방법 및 이를 사용한 장치 - Google Patents

이미지 처리 방법 및 이를 사용한 장치 Download PDF

Info

Publication number
KR20220057390A
KR20220057390A KR1020200178225A KR20200178225A KR20220057390A KR 20220057390 A KR20220057390 A KR 20220057390A KR 1020200178225 A KR1020200178225 A KR 1020200178225A KR 20200178225 A KR20200178225 A KR 20200178225A KR 20220057390 A KR20220057390 A KR 20220057390A
Authority
KR
South Korea
Prior art keywords
image data
feature
line
feature points
generated
Prior art date
Application number
KR1020200178225A
Other languages
English (en)
Other versions
KR102512838B1 (ko
Inventor
김상훈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to PCT/KR2021/015098 priority Critical patent/WO2022092763A1/ko
Priority to EP21886757.0A priority patent/EP4238528A1/en
Priority to US18/034,138 priority patent/US20230380934A1/en
Publication of KR20220057390A publication Critical patent/KR20220057390A/ko
Application granted granted Critical
Publication of KR102512838B1 publication Critical patent/KR102512838B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A61C2007/004—Automatic construction of a set of axes for a tooth or a plurality of teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Robotics (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 이미지 처리 방법은, 적어도 하나의 이미지 데이터를 입력받는 단계; 상기 이미지 데이터 상에 복수의 특징점들을 부여하는 단계; 상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계; 및 피팅된 상기 이미지 데이터의 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계;를 포함한다.

Description

이미지 처리 방법 및 이를 사용한 장치{Image Processing Method and Apparatus Using Thereof}
본 발명은 이미지 처리 방법 및 이를 사용한 장치에 관한 것이다.
스마일 라인(smile line)이란, 치아라인, 치아모양, 웃을 때 노출되는 치은의 정도와 치은라인, 입술의 길이 및 두께, 인중의 길이, 입술 주위의 근육 및 이와 연관된 근육들의 활성 정도 및 방향에 따라 만들어진다. 교정 치료를 통해, 환자는 원하는 스마일 라인을 가질 수 있다. 특히, 비니어, 라미네이트 등의 치료를 고민하는 환자는 자신의 얼굴(보다 상세하게는, 스마일 라인)이 치료 후 어떻게 변화하는지를 궁금해한다. 스마일 라인에 따라 사람의 인상이 달라지게 되며, 교정 치료 또는 수술을 통해 이와 같은 스마일 라인을 갖도록 하는 것을 스마일 디자인(smile design)이라고 부르기도 한다.
한편, 스마일 디자인을 통해 환자는 원하는 스마일 라인을 획득할 수 있다. 스마일 라인을 획득하기 위해, 환자는 교정물을 착용할 수 있다. 정밀하고 신속한 스마일 라인을 획득하여, 사용자의 편의성을 향상시키고 신속하게 교정 치료 계획을 제공할 수 있는 방법 및 장치에 대한 요구가 증가하고 있다.
대한민국 등록특허 KR 10-2083619 B1 (2020.03.03 공고)
이상의 문제점을 해결하기 위하여, 본 발명은 적어도 하나의 이미지 데이터를 입력받아 상기 이미지 데이터가 소정 크기 또는 소정 각도 중 적어도 하나를 갖도록 피팅하여, 피팅된 이미지 데이터의 특징 영역에 교정을 위한 템플릿을 적용하여 스마일 라인을 디자인하는 이미지 처리 방법을 제공한다.
또한, 본 발명은 개구 정도가 상이한 복수의 이미지 데이터들을 비교하여 개구 이미지 데이터와 일반 이미지 데이터의 순위를 판단하고, 판단된 순위에 따라 이미지 데이터들을 배열하는 이미지 처리 방법을 제공한다.
또한, 본 발명은 이미지 데이터 피팅부를 통해 이미지 데이터를 피팅하고 템플릿을 이미지 데이터 상에 적용시켜 스마일 라인을 디자인하는 이미지 처리 장치를 제공한다.
또한, 본 발명은 개구 정도에 따라 상이한 복수의 이미지 데이터를 입력받아 이미지 데이터 간 크기 및 각도 중 적어도 하나를 매칭하며, 개구 정도에 따른 파라미터에 기초하여 이미지 데이터를 배열하는 이미지 처리 장치를 제공한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 이미지 처리 방법은, 적어도 하나의 이미지 데이터를 입력받는 단계, 상기 이미지 데이터 상에 적어도 하나의 특징점을 부여하는 단계, 상기 특징점을 기초로 상기 이미지 데이터가 소정 크기 또는 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계, 그리고 상기 특징점을 기초로 상기 이미지 데이터의 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계를 포함하여, 이미지 데이터를 규격에 맞게 용이하게 피팅하고 템플릿을 적용할 수 있다.
또한, 본 발명에 따른 이미지 처리 방법은, 개구 정도에 따라 상이한 복수의 이미지 데이터를 입력받아 이미지 데이터 간 크기 및 각도 중 적어도 하나를 매칭하며, 구각의 개구 정도를 나타내는 개구파라미터에 기초하여 이미지 데이터의 순서를 판단할 수 있다.
한편, 본 발명에 따른 이미지 처리 장치는 전술한 이미지 처리 방법을 이용하며, 이미지 데이터 피팅부를 통해 이미지 데이터를 피팅하고 템플릿을 이미지 데이터 상에 적용시켜 스마일 라인을 디자인할 수 있다.
또한, 개구 정도에 따라 상이한 복수의 이미지 데이터를 입력받아 이미지 데이터 간 크기 및 각도 중 적어도 하나를 매칭하며, 구강의 개구 정도를 나타내는 개구파라미터에 기초하여 이미지 데이터를 배열 및 디스플레이부 상에 표시할 수 있다.
본 발명에 따르면, 이미지 데이터 상의 특징점 및 특징선을 기초로 이미지 데이터의 크기 및 각도 중 적어도 하나를 피팅함으로써, 이미지 데이터의 피팅 정확도가 향상되고, 피팅 연산이 단순화되는 이점이 있다.
또한, 이미지 데이터를 순서대로 입력하지 않더라도 개구파라미터를 기초로 순서를 자동으로 판단하고, 개구 정도가 작은 이미지 데이터가 개구 정도가 큰 이미지 데이터 상에 오버레이 되도록 함으로써, 사용자의 작업량을 감소시킴으로써 사용자 편의성이 향상되고, 신속하게 교정 치료 계획을 제공할 수 있는 이점이 있다.
또한, 사용자는 이미지 데이터를 피팅하여 환자 또는 사용자가 원하는 교정 템플릿을 가상으로 적용하여, 교정 후 환자의 스마일 라인을 예측할 수 있는 이점이 있다.
도 1은 본 발명에 따른 이미지 처리 방법의 순서도이다.
도 2는 이미지 데이터를 설명하기 위한 도이다.
도 3은 이미지 데이터에 특징점들이 생성된 것을 설명하기 위한 도이다.
도 4는 특징점들을 연결하여 생성된 제1 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이다.
도 5는 특징점들을 연결하여 생성된 제2 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이다.
도 6은 피팅된 이미지 데이터 중 특징 영역에 템플릿이 적용된 것을 설명하기 위한 도이다.
도 7은 이미지 데이터 중 일반 얼굴 데이터이다.
도 8은 이미지 데이터 중 개구 얼굴 데이터이다.
도 9는 일반 얼굴 데이터와 개구 얼굴 데이터가 매칭되는 일 예시를 설명하기 위한 도이다.
도 10 및 도 11은 특징점들을 연결하여 생성된 제3 특징선 및 제4 특징선을 설명하기 위한 도이다.
도 12는 본 발명에 따른 이미지 처리 장치의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 이미지 처리 방법의 순서도이고, 도 2는 이미지 데이터를 설명하기 위한 도이며, 도 3은 이미지 데이터에 특징점들이 생성된 것을 설명하기 위한 도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 이미지 처리 방법은 적어도 하나의 이미지 데이터를 입력받는 단계(S110), 이미지 데이터 상에 복수의 특징점들을 부여하는 단계(S120), 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계(S130), 그리고 피팅된 이미지 데이터의 특징점들에 의해 생성되는 소정 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계(S160)를 포함할 수 있다.
본 발명에서 템플릿은 교정 치아의 샘플 모델을 의미하며, 템플릿은 적어도 하나의 치아에 대한 위치, 크기, 형상의 표준 정보를 가질 수 있다. 사용자 및 환자는 템플릿을 이미지 데이터 중 환자의 치아 상에 오버레이 함으로써 교정 이후의 치아의 모양을 미리 예상할 수 있다. 또한, 템플릿은 환자에게 최적의 교정물을 제공하기 위해 복수개 구비될 수 있으며, 사용자 및 환자는 복수개의 템플릿을 이미지 데이터 중 환자의 치아 상에 선택적으로 적용함으로써 환자의 치아에 가장 부합하는 템플릿을 결정할 수 있다.
이하에서는 각 단계들에 대해 상세히 설명하기로 한다.
적어도 하나의 이미지 데이터를 입력받는 단계(S110)에서는 기 촬영된 환자의 이미지 데이터를 입력받을 수 있다. 여기서, 상기 이미지 데이터는 데이터베이스부(DB부)로 명명되는 데이터 저장 요소에 저장되어 있으며, 사용자의 조작에 의하여 입력될 수 있다. 이미지 데이터가 저장되는 데이터베이스부(DB부)는 물리적으로 하드 디스크 드라이브(Hard Disk Drive), 플로피 디스크 드라이브(Floppy Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive)일 수 있으며, 클라우드 형태의 가상 데이터베이스일 수도 있다.
바람직하게는, 상기 이미지 데이터는 사람의 얼굴 데이터일 수 있다. 보다 상세하게는, 이미지 데이터는 사람의 눈, 코, 입 등이 가시적으로 나타난 얼굴 데이터(400)이며, 특히 사람의 구강이 개구되어 치아가 노출된 얼굴 데이터일 수 있다. 얼굴 데이터(400)는 자연스러운 미소를 갖는 일반 이미지 데이터일 수 있으며, 양측 입꼬리가 상부 방향으로 올라가면서 치아 및 치은의 일부가 노출될 수 있다. 노출된 치아 및 치은의 일부는 후술하는 특징 영역 내에 포함되며, 해당 영역 내에서 치아 교정을 위한 템플릿이 가상으로 적용될 수 있다.
이하에서는, 이미지 데이터 상에 특징점들이 부여되는 과정에 대해 설명한다.
도 3을 참조하면, 이미지 데이터를 입력받으면, 입력받은 이미지 데이터 상에 복수의 특징점들을 부여하는 단계(S120)가 수행될 수 있다. 특징점들을 부여하는 단계(S120)는 얼굴 데이터를 기초로 소정 기준에 따라 이미지 데이터 상의 특징적인 부분들에 복수의 특징점(P)을 부여할 수 있다. 보다 상세하게는, 상기 특징적인 부분들은 눈썹, 상안검과 하안검 사이의 눈 윤곽, 코, 입술 외측과 입술 내측, 얼굴의 윤곽일 수 있다. 특징점들을 부여하는 단계(S120)에서 부여되는 특징점(P)의 수는 전술한 이미지 데이터의 특징적인 부분들을 효과적으로 나타낼 수 있을 정도의 수일 수 있다.
예시적으로, 특징점들을 부여하는 단계(S120)는 이미지 데이터의 특징적인 부분들을 표현하기 위해 AI Facial Landmarks Detection 방식을 사용할 수 있다. 이하에서는 본 발명에서 AI Facial Landmarks Detection 방식 중 상기 이미지 데이터에 68개의 특징점(P)들을 부여하는 Face Landmark 68 알고리즘을 기준으로 설명하였으나, 이에 한정되는 것은 아니며, 이미지 데이터의 특징을 용이하게 나타낼 수 있는 어떠한 알고리즘이라도 사용될 수 있다.
한편, 이미지 데이터가 입력되었을 때, 입력된 이미지 데이터가 일방향으로 과도하게 회전되어 있는 경우, 상기 이미지 데이터에 특징점(P)들이 원활하게 부여되지 않을 수 있다. 따라서, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 소정 각도 간격으로 회전하면서 얼굴 데이터(400)를 기초로 소정 기준에 따라 복수의 특징점(P)들을 부여할 수 있다.
예시적으로, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 90° 간격으로 시계방향 또는 반시계방향으로 회전시키면서 특징점(P)들을 부여할 수 있다. 다른 예시에 따라, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 15° 간격으로 시계방향 또는 반시계방향으로 회전시키면서 특징점(P)을 부여할 수 있다. 이와 같이 이미지 데이터를 회전시켜 특징점(P)들을 부여함으로써, 이미지 데이터에 대한 정확한 인식 및 특징점(P)들의 부여가 가능하며, 정상적인 위치에서의 파라미터 판단 및 템플릿 적용이 가능한 이점이 있다.
다른 실시예에 따르면, 특징점들을 부여하는 단계(S120)는 인공지능을 이용하여, 복수의 2차원 이미지 데이터 및 연속적인 비디오 데이터 중에서 얼굴 데이터(400)에 가장 부합하는 이미지 데이터를 선택하고, 선택된 이미지 데이터에 특징점(P)들을 부여할 수 있다. 인공지능을 사용하여 특징점들을 부여하는 단계(S120)가 수행되면, 사용자는 얼굴 데이터(400)에 가장 부합하는 이미지 데이터를 직접 입력하지 않더라도 자동으로 적합한 이미지 데이터가 선택되어 특징점(P)들이 부여되는 이점이 있다.
이하에서는, 이미지 데이터에 부여된 특징점들을 기초로 이미지 데이터를 피팅하는 단계(S130)에 대해 상세히 설명한다.
도 4는 특징점들을 연결하여 생성된 제1 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이고, 도 5는 특징점들을 연결하여 생성된 제2 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이다.
도 4 및 도 5를 참조하면, 이미지 데이터 상에 특징점들이 부여되면, 부여된 특징점들을 기초로 이미지 데이터가 소정 크기 또는 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계(S130)가 수행될 수 있다. 즉, 특징점(P)의 위치, 특징점(P)들 간의 거리, 특징점(P)들이 이루는 각도가 구해질 수 있고, 이러한 정보들은 본 발명에 따른 이미지 처리 방법이 수행되기 위한 요소로 사용될 수 있다.
피팅하는 단계(S130)는 전술한 특징점들을 부여하는 단계(S120)에서 부여된 특징점(P)들로부터 소정의 특징선을 생성할 수 있다. 예시적으로, 특징선은 부여된 특징점들 중 적어도 2개의 특징점을 연결하여 생성될 수 있으며, 생성되는 특징선은 얼굴 데이터에서 각각의 눈의 외안각에 해당하는 특징점들(P1', P2')을 연결한 선일 수 있다. 이 특징선을 제1 특징선(L1') 또는 아이라인으로 명명한다. 한편, 상기 특징점들(P1', P2')은 각각 37번 특징점 및 46번 특징점일 수 있으나 이는 예시적인 것에 불과하며, 이에 제한되지 않는다.
피팅하는 단계(S130)는 생성된 특징선을 기초로 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 보다 상세하게는, 피팅하는 단계(S130)는 제1 특징선(L1')의 길이가 소정 길이에 부합하도록 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 예시적으로, 제1 특징선(L1')의 길이가 300 픽셀이고 기설정된 목표 길이가 400 픽셀인 경우, 피팅된 제1 특징선(L1)의 길이가 400 픽셀이 되도록 일정한 값을 곱하여 이미지 데이터의 크기를 확대할 수 있다. 한편, 제1 특징선(L1')의 길이가 기설정된 목표 길이보다 큰 경우, 피팅된 제1 특징선(L1)의 길이가 기설정된 목표 길이가 되도록 일정한 값을 곱하여 이미지 데이터의 크기를 축소할 수 있다.
또한, 피팅하는 단계(S130)는 생성된 특징선을 기초로 이미지 데이터를 회전할 수 있다. 이미지 데이터를 회전하기 위해, 피팅하는 단계(S130)는 제1 특징선(L1')과 상이한 제2 특징선(L2')을 기초로 하여 상기 이미지 데이터를 회전할 수 있다. 보다 상세하게는, 피팅하는 단계(S130)는 제1 특징선(L1')의 일 지점과, 상기 제1 특징선(L1')으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선(또는 미드라인, L2')을 이용하여 이미지 데이터를 회전할 수 있다. 제2 특징선(L2')은, 제1 특징선(L1')의 중심 지점(P3')과 특징점(P4')을 연결하여 생성된 것일 수 있다. 예시적으로, 상기 특징점(P4')은 34번 특징점에 해당할 수 있다.
생성된 제2 특징선(L2')에 기초하여, 피팅하는 단계(S130)는 이미지 데이터가 정상적인 각도에서 스마일 라인이 디자인될 수 있도록 피팅한다. 예시적으로, 피팅된 제2 특징선(L2)의 각도는 이미지 데이터가 입력되어 표시되는 유저 인터페이스(UI) 평면 중 가로방향에 수직일 수 있다.
상기와 같이 이미지 데이터를 소정 크기 및 소정 각도 중 적어도 하나에 부합하도록 얼굴 데이터(400')를 피팅함으로써, 사용자는 피팅된 얼굴 데이터(400)에 정확하게 템플릿을 적용할 수 있고 신뢰도 높은 교정 계획을 수립할 수 있다.
선택적으로, 이미지 데이터의 각도가 사용자의 의도와 다르게 피팅된 경우, 사용자는 이미지 데이터를 소정 각도 수동으로 회전시킬 수 있다. 예시적으로, 이미지 데이터는 피팅된 제1 특징선(L1)의 중심 지점(P3)을 회전 중심으로 시계방향 또는 시계 반대방향으로 회전될 수 있으며, 이미지 데이터가 회전될 수 있는 소정 각도는 시계방향 또는 시계 반대방향으로 약 5°이내일 수 있다. 이와 같이, 사용자의 판단에 따라 이미지 데이터를 소정 각도 수동으로 미세 회전시킴으로써, 사용자는 이미지 데이터 분석 및 스마일 라인 디자인에 더욱 적합하도록 피팅된 이미지 데이터를 획득할 수 있다.
도 6은 피팅된 이미지 데이터 중 특징 영역에 템플릿이 적용된 것을 설명하기 위한 도이다.
도 6을 참조하면, 이미지 데이터의 피팅이 완료된 후, 특징점을 기초로 이미지 데이터의 소정 영역에 적어도 하나의 템플릿을 적용하여 스마일 라인을 디자인하는 단계(S160)가 수행될 수 있다. 템플릿은 데이터베이스 상에 기 저장된 교정 치아 데이터일 수 있으며, 템플릿은 복수 구비되어 환자의 이미지 데이터에 최적의 템플릿이 적용될 수 있다. 템플릿은 환자의 구강 상태에 따라 사용자가 커스터마이징할 수 있다. 예를 들면, 사용자는 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 형상을 변경할 수 있다. 이 때, 치아의 형상은 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)를 이루는 치아 윤곽을 조정함으로써 변경될 수 있다. 또한, 사용자는 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 위치, 크기, 색상, 또는 음영을 변경할 수 있다. 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 위치 또는 크기를 변경함으로써, 인접하는 치아의 위치 또는 크기가 함께 연동되어 변경될 수 있다. 또한, 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 색상 또는 음영을 변경함으로써 보철 이외의 미백 시술 등을 고려한 종합적인 치아 치료 계획이 고려될 수 있다. 이와 같이 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)를 커스터마이징 함으로써, 사용자는 환자에게 최적의 치료 계획을 제공할 수 있다.
한편, 디자인하는 단계(S160)는 특징점을 부여하는 단계(S130)에서 부여된 복수의 특징점들 중 적어도 3개의 특징점을 연결하여 생성되는 특징 영역(C1)에 템플릿을 적용할 수 있다. 보다 상세하게는, 이미지 데이터 상에 부여된 특징점들 중 입술 내측을 구성하는 특징점들을 연결하여 생성된 립라인(lipline)이 특징 영역으로 형성될 수 있고, 이 특징 영역 내부에 존재하는 치아 이미지(Ta', Tb', Tc', Td', Te', 및 Tf') 상에 템플릿이 적용될 수 있다. 보다 상세하게는, 디자인하는 단계(S160)는 적어도 3개의 특징점을 연결하여 생성되는 특징 영역(C1)을 립라인으로 인식하고(립라인 인식 단계), 상기 특징 영역(C1) 내부에 치아 이미지가 나타난 치아 영역을 인식하며(치아 영역 인식 단계), 상기 치아 영역에 template matching algorithm을 이용하여 립라인을 구성하는 특징 영역(C1) 내부의 치아 이미지와 템플릿을 매칭할 수 있다(템플릿 매칭 단계). 이 때, template matching algorithm은 템플릿을 특징 영역(C1) 내부에 표현된 치아 이미지 위치에 매칭하는 방식으로, 상기 알고리즘은 형상, 크기, 또는 색상 등의 요소를 고려하여 상기 템플릿과 유사한 요소를 가지는 치아 영역에 자동으로 템플릿을 매칭할 수 있다. 이와 같이 특징 영역(C1)에 템플릿이 적용됨으로써, 템플릿이 이미지 데이터 중 특징 영역(C1)이 아닌 다른 영역에 오적용되는 점을 방지할 수 있다.
한편, 특징 영역(C1)이 생성될 때 특징점(P)들의 위치가 불명확한 경우 잘못된 특징 영역이 생성될 수 있다. 이러한 경우, 유저 인터페이스 상에 형성된 특징점 수정 기능을 사용하여 특징점(P)들 및 특징 영역(C1)의 윤곽을 수정할 수 있으며, 더욱 정확한 특징 영역(C1) 획득 및 템플릿 적용 과정이 수행될 수 있다.
스마일 라인을 디자인하는 단계(S160)는 하나의 이미지 데이터에 대해 수행될 수 있으며, 이 때의 이미지 데이터는 구강이 개구되어 치아가 노출된 얼굴 데이터 중 일반 얼굴 데이터일 수 있다. 이 때, 템플릿은 특징 영역(C1) 내부에 적용될 수 있다. 템플릿은 특징 영역(C1) 내부에만 표시될 수 있으며, 이 경우 립라인에 의해 템플릿의 일부분이 가려질 수 있다. 템플릿은 사용자의 필요에 따라 특징 영역(C1) 외부에 존재하는 부분까지 전부 표시될 수 있다.
또한, 스마일 라인을 디자인하는 단계(S160)는 하나의 일반 얼굴 데이터를 복제하여 동일한 2개의 이미지 데이터(예를 들면, 제1 일반 얼굴 데이터 및 제2 일반 얼굴 데이터)를 형성할 수 있다. 이 때, 제1 일반 얼굴 데이터에서는 템플릿이 특징 영역(C1) 내부에서 적용되고, 제2 일반 얼굴 데이터에서는 템플릿이 특징 영역(C1)과 관계없이 적용될 수 있다. 보다 상세하게는, 제1 일반 얼굴 데이터에서는 템플릿이 립라인 외부로 이탈하여 표시되지 않으므로, 템플릿의 일부분이 립라인에 의해 가려질 수 있다. 이와 비교하여, 제2 일반 얼굴 데이터에서는 립라인과 관계없이 템플릿 전부가 표시될 수 있다. 이에 따라, 제1 일반 얼굴 데이터를 통해 사용자 및 환자는 스마일 라인을 용이하게 확인할 수 있고, 제2 일반 얼굴 데이터를 통해 기공소는 교정물을 용이하게 제작할 수 있다. 이 때, 교정물이란 환자가 착용하는 물체를 의미할 수 있다. 예시적으로, 교정물은 비니어, 라미네이트를 포함하는 보철물, 및 교정 장치 등을 의미할 수 있다.
한편, 환자가 착용하는 교정물은 치과와 연계된 기공소에서 제작하게 되는데, 환자의 얼굴을 포함하는 통상적인 환자의 이미지 데이터로는 환자의 입술이 일부 치아를 가리기 때문에 정밀한 교정물을 제작할 수 없는 단점이 있었고, 통상적인 환자의 이미지 데이터(예시적으로, 일반 얼굴 데이터)뿐 아니라, 개구기 등으로 환자의 구강을 강제 개구한 상태의 얼굴을 포함하는 이미지 데이터의 필요성이 대두되었다.
전술한 바와 같이 2장의 이미지를 사용할 경우, 종래에는 사용자가 구강을 강제 개구한 환자의 이미지 데이터와 통상적인 환자의 이미지 데이터를 이미지 처리 장치에 각각 별도로 입력하고, 상기 서로 다른 이미지 데이터들을 수동으로 정렬하여 스마일 디자인을 수행하였다. 상기 작업은 사용자가 상기 이미지 처리 장치를 조작함에 있어 필연적으로 많은 작업 수를 초래하게 되고, 그에 따라 사용자 편의성이 저하되며, 교정 치료 계획의 제공이 지연되는 단점이 있었다.
상기와 같은 단점을 해결하는 방법을 제공하기 위해, 이하에서는 이미지 데이터가 복수인 경우 이미지 데이터의 순서를 판단하고 배열하는 추가적인 단계들에 대해 상세히 설명하기로 한다.
도 7은 이미지 데이터 중 일반 얼굴 데이터이고, 도 8은 이미지 데이터 중 개구 얼굴 데이터이며, 도 9는 일반 얼굴 데이터와 개구 얼굴 데이터가 매칭되는 일 예시를 설명하기 위한 도이다.
도 7 및 도 8을 참조하면, 이미지 데이터를 입력받는 단계(S110)는 구강의 개구 정도가 상이한 복수의 이미지 데이터를 입력받을 수 있다. 예시적으로, 이미지 데이터를 입력받는 단계(S110)는 2개의 서로 다른 이미지 데이터를 입력받을 수 있다. 이 때, 이미지 데이터들 중 어느 하나는 스마일 라인을 가지는 일반 얼굴 데이터(401)일 수 있고, 다른 하나는 개구기 등으로 구강을 강제 개구하여 일반 얼굴 데이터(401)보다 개구 정도가 더 큰 개구 얼굴 데이터(402)일 수 있다. 일반 얼굴 데이터(401)는 사용자 및 환자가 템플릿을 적용하여 교정 계획을 수립하기 위해 사용되고, 개구 얼굴 데이터(402)는 기공소가 교정물을 제작하기 위해 사용될 수 있다.
한편, 특징점들을 부여하는 단계(S120)는 각각의 이미지 데이터별로 특징점(P)들을 부여할 수 있다. 즉, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)에 각각 특징점(P)들이 부여될 수 있으며, 특징점(P)들을 부여하는 방법으로는 전술한 바와 같은 Face Landmark 68 알고리즘이 사용될 수 있으나, 이에 제한되지 않는다.
특징점들을 부여하는 단계(S120)에서 각각의 이미지 데이터별로 특징점(P)들이 부여되면, 피팅하는 단계(S130)는 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭할 수 있다.
예시적으로, 일반 얼굴 데이터(401)의 크기는 개구 얼굴 데이터(402)의 크기에 부합하도록 매칭될 수 있다. 반대로, 개구 얼굴 데이터(402)의 크기는 일반 얼굴 데이터(401)의 크기에 부합하도록 매칭될 수도 있다. 또한, 일반 얼굴 데이터(401)의 크기와 개구 얼굴 데이터(402)의 크기는 동일한 기설정된 크기를 가지도록 매칭될 수 있다. 이미지 데이터들의 크기를 매칭하는 과정은 전술한 바와 같은 제1 특징선의(L1') 길이를 기초로 수행될 수 있다. 일반 얼굴 데이터(401)의 크기와 개구 얼굴 데이터(402)의 크기가 같아지도록 매칭함으로써, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)의 오버레이 및 비교 분석이 용이해지고, 정렬이 가능해지는 이점이 있다.
또한, 일반 얼굴 데이터(401)의 각도는 개구 얼굴 데이터(402)의 각도에 부합하도록 매칭될 수 있다. 반대로, 개구 얼굴 데이터(402)의 각도는 일반 얼굴 데이터(401)의 각도에 부합하도록 매칭될 수도 있다. 또한, 일반 얼굴 데이터(401)의 각도와 개구 얼굴 데이터(402)의 각도는 동일한 기설정된 각도를 가지도록 매칭될 수 있다. 이미지 데이터들의 각도를 매칭하는 과정은 전술한 바와 같은 제2 특징선(L2')의 각도를 기초로 수행될 수 있다. 일반 얼굴 데이터(401)의 각도와 개구 얼굴 데이터(402)의 각도가 같아지도록 매칭함으로써, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)의 오버레이 및 비교 분석이 용이해지고, 정렬이 가능해지는 이점이 있다.
도 9를 참조하면, 피팅하는 단계(S130)는 이미지 데이터별로 부여된 특징점(P)들을 기초로 각각 생성된 특징 영역(C1, C2)을 통해 이미지 데이터들을 매칭할 수 있다. 이 때, 특징 영역(C1, C2)은 각각의 이미지 데이터 중 입술 내측 영역을 의미하는 립라인 내부 영역일 수 있다. 보다 상세하게는, 특징 영역(C1, C2)을 통해 이미지 데이터들을 매칭하는 것은 특징 영역(C1, C2)을 표현하는 다양한 방식 중 적어도 하나를 통해 수행될 수 있다. 예를 들면, 피팅하는 단계(S130)는 립라인 내부의 영역을 특징 영역(C1, C2), 즉 얼굴 데이터(401, 402) 중 치아(T1, T2, T3, T4, T5, 및 T6)에 대한 데이터가 존재하는 영역으로 인식할 수 있다. 따라서, 피팅하는 단계(S130)는 입력받은 이미지 데이터들 중 어느 하나의 특징 영역을 추출하여 다른 이미지 데이터의 특징 영역(C1, C2)과 그 윤곽을 비교하여 매칭을 수행할 수 있다. 이와 같은 매칭은 template matching 알고리즘을 사용하여 수행될 수 있다.
다만, 피팅하는 단계(S130)에서 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)를 매칭하는 특징 영역의 요소가 특징 영역의 윤곽(즉, 립라인의 윤곽)에 한정되는 것은 아니며, 치아의 색상, 형상과 같이 특징 영역 내부의 다양한 요소들에 의해 이미지 데이터들 간의 매칭이 수행될 수 있다. 예를 들면, 피팅하는 단계(S130)에서 일반 얼굴 데이터(401)의 소정 치아(T1, T2, 및 T3)의 형상과 개구 얼굴 데이터(402)의 소정 치아(T4, T5, 및 T6)의 형상을 비교하여 매칭을 수행할 수 있다. 한편, 매칭하는 치아의 수는 가변적일 수 있으며, 반드시 치아의 형상을 이용하지 않고 적절한 특징 영역(C1, C2) 내의 다른 요소들을 사용하여 매칭을 수행할 수도 있다.
이하에서는, 이미지 데이터들의 개구 정도에 따라 이미지 데이터가 배열될 순서를 판단하고, 판단된 순서에 따라 이미지 데이터들을 배열하는 과정에 대해 상세히 설명하기로 한다.
도 10 및 도 11은 특징점들을 연결하여 생성된 제3 특징선 및 제4 특징선을 설명하기 위한 도이다.
도 10 및 도 11을 참조하면, 본 발명에 따른 이미지 처리 방법은 얼굴 데이터들 중 구강의 개구 정도를 나타내는 개구파라미터에 기초하여 이미지 데이터들 간의 오버레이 순서를 판단하는 단계(S140)와, 순서에 따라 이미지 데이터들이 오버레이 되도록 이미지 데이터들을 배열하는 단계(S150)를 포함할 수 있다.
오버레이 순서를 판단하는 단계(S140)는 얼굴 데이터들 중 구강의 개구 정도에 따라 이미지 데이터가 표시되는 순서를 판단하는 단계일 수 있다. 보다 상세하게는, 일반 얼굴 데이터(401)가 개구 얼굴 데이터(402)보다 선순위로 배열되도록 함으로써, 사용자와 환자에게 일반 얼굴 데이터(401)에 적용되는 템플릿을 통해 디자인된 스마일 라인을 디스플레이 할 수 있도록 한다.
오버레이 순서를 판단하기 위한 개구파라미터로 다양한 요소들이 존재할 수 있다. 그 중에서, 특징점들을 부여하는 단계(S120)에서 부여된 특징점을 사용하여 개구파라미터들이 획득될 수 있다. 예시적으로, 개구파라미터는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 제3 특징선(L3, L5)의 길이일 수 있다. 보다 상세하게는, 제3 특징선(L3, L5)은 특징점 P5, P9과 특징점 P6, P10을 각각 연결한 직선일 수 있으며, 이 때 제3 특징선은 각각의 얼굴 데이터에서 입술 내측을 의미하는 특징 영역(C1, C2)의 세로 길이에 해당할 수 있다. 예시적으로, 상기 특징점 P5, P9는 63번 특징점일 수 있고, 상기 특징점 P6, P10은 67번 특징점일 수 있다.
또한, 제3 특징선(L3, L5)은 전술한 제1 특징선(L1) 및 제2 특징선(L2)과 이격되어 형성될 수 있다. 제3 특징선(L3)은 각각의 이미지 데이터들에서 생성될 수 있으며, 오버레이 순서를 판단하는 단계(S140)는 일반 얼굴 데이터(401)의 제3 특징선(L3)의 길이와 개구 얼굴 데이터(402)의 제3 특징선(L5)의 길이를 서로 비교할 수 있다. 이 때, 개구 얼굴 데이터(402)는 구강을 강제 개구한 것으로, 일반 얼굴 데이터(401)보다 세로로 더 긴 특징 영역(C2)을 가질 수 있으며, 개구 얼굴 데이터(402)가 일반 얼굴 데이터(401)보다 개구 정도가 더 큰 것으로 판단될 수 있다. 즉, 일반 얼굴 데이터(401)의 제3 특징선(L3)의 길이는 개구 얼굴 데이터(402)의 제3 특징선(L5)의 길이보다 더 짧을 수 있다.
오버레이 순서를 판단하는 단계(S140)는 상대적으로 제3 특징선(L3, L5)의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 보다 상세하게는, 일반 얼굴 데이터(401)의 제3 특징선(L3)의 길이가 개구 얼굴 데이터(402)의 제3 특징선(L5)의 길이보다 짧으므로, 일반 얼굴 데이터(401)를 1순위, 개구 얼굴 데이터(402)를 2순위로 판단할 수 있다. 이 때, '순위'는 디스플레이 장치를 통해 사용자 및 환자에게 표시되는 순서를 의미할 수 있으며, 선순위로 판단된 이미지일수록 사용자 및 환자에게 우선적으로 표시될 수 있다.
한편, 오버레이 순서를 판단하기 위한 개구파라미터로 소정 비율이 사용될 수 있다. 이와 같은 비율을 도출하기 위해, 새로운 2개의 특징점(P)들을 연결하여 생성된 제4 특징선(L4, L6)이 정의될 수 있다. 제4 특징선(L4, L6)은 상기 제3 특징선(L3, L5)과 각각 교차되며 제3 특징선(L3, L5)으로부터 이격된 서로 다른 2개의 특징점(P)을 연결하여 생성될 수 있다. 보다 상세하게는, 제4 특징선(L4, L6)은 특징 영역(C1, C2)의 윤곽을 이루는 특징점(P)들 중 특징점 P7, P11과 특징점 P8, P12를 각각 연결하여 생성된 선일 수 있다. 예시적으로, 상기 특징점 P7, P11은 61번 특징점일 수 있고, 상기 특징점 P8, P12는 65번 특징점일 수 있다.
개구파라미터로 사용되는 비율은 제4 특징선(L4, L6)의 길이에 대한 제3 특징선(L3, L5)의 길이의 비율일 수 있다. 간단하게는, 개구파라미터로 사용되는 비율은 특징 영역에서 립라인의 가로 길이에 대한 립라인의 세로 길이의 비율을 의미할 수 있다. 이러한 비율을 개구파라미터로 사용함으로써, 제3 특징선(L3, L5)의 길이의 장단으로 이미지 데이터의 오버레이 순서를 판단하는 것보다 정밀한 판단이 가능하다. 이 때, 오버레이 순서를 판단하는 단계(S140)는 상대적으로 비율이 작은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 보다 상세하게는, 일반 얼굴 데이터(401)의 비율(L3/L4)이 개구 얼굴 데이터(402)의 비율(L5/L6)보다 작으므로, 일반 얼굴 데이터(401)를 1순위, 개구 얼굴 데이터(402)를 2순위로 판단할 수 있다.
오버레이 순서를 판단하는 단계(S140)가 완료되면, 판단의 기초로 사용된 개구파라미터에 따라, 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열하는 이미지 데이터들을 배열하는 단계(S150)가 수행될 수 있다. 예시적으로, 제3 특징선(L3, L5)의 길이를 개구파라미터로 사용하는 경우, 상대적으로 제3 특징선(L3, L5)의 길이가 짧은 이미지 데이터가 제3 특징선(L3, L5)의 길이가 긴 이미지 데이터보다 선순위로 판단된다. 이미지 데이터들을 배열하는 단계(S150)는 복수의 데이터들을 순위에 따라 배열하며, 후순위로 판단된 이미지 데이터 상에 선순위로 판단된 이미지 데이터가 순서대로 오버레이 되도록 배열할 수 있다. 이에 따라, 일반 얼굴 데이터(401)가 개구 얼굴 데이터(402) 상에 오버레이 되도록 자동으로 배열되며, 사용자 및 환자는 일반 얼굴 데이터(401)에 적용되는 템플릿을 통해 교정 이후의 스마일 라인을 미리 확인할 수 있다. 기공소는 개구 얼굴 데이터(402)를 통해 적용되는 템플릿을 확인하고, 이에 부합하는 교정물을 제작할 수 있다.
한편, 특징점(P)을 부여함에 있어서 오류가 발생하거나, 파라미터에 기초한 판단에 오류가 발생한 경우, 개구 얼굴 데이터(402)가 일반 얼굴 데이터(401)보다 선순위로 판단되어 배열될 가능성이 있다. 이러한 경우, 사용자는 유저 인터페이스 상에 형성된 이미지 스위칭 기능(미도시)을 사용하여 임의로 이미지 데이터들의 순서를 변경할 수 있다. 따라서, 자동으로 이미지 데이터들을 배열하면서도 오류 발생시 수동으로 이미지 데이터의 배열 순서를 전환할 수 있으므로, 사용자는 항상 일반 얼굴 데이터(401)가 개구 얼굴 데이터(402) 상에 오버레이 되도록 배열할 수 있으며, 일반 얼굴 데이터(401)를 기초로 교정 계획을 수립할 수 있다.
전술한 내용 중 적어도 일부는 디스플레이 장치와 같은 출력 장치를 통해 표시될 수 있으며, 사용자 및 환자는 본 발명에 따른 이미지 처리 방법이 수행되는 과정을 용이하게 확인할 수 있다. 또한, 입력 장치를 통해 유저 인터페이스 상의 특징점, 특징선, 특징 영역, 및 템플릿을 커스터마이징 할 수 있으며, 사용자는 환자가 원하는 교정물을 제공할 수 있는 이점이 있다.
이하에서는, 본 발명에 따른 이미지 처리 장치에 대해 상세히 설명하기로 한다. 이미지 처리 장치를 설명함에 있어서, 이미지 처리 방법과 중첩되는 내용은 간략히 언급하거나 생략한다.
도 12는 본 발명에 따른 이미지 처리 장치의 구성도이다.
도 12를 참조하면, 본 발명에 따른 이미지 처리 장치(10)는, 적어도 하나의 이미지 데이터가 저장된 데이터베이스부(100)와, 데이터베이스에서 이미지 데이터를 입력받아 상기 이미지 데이터에 소정 처리를 수행하는 제어부(200), 그리고 제어부(200)의 처리 수행 결과를 시각적으로 표시하는 디스플레이부(300)를 포함할 수 있다.
이하에서는, 각부 구성에 대하여 설명하기로 한다.
데이터베이스부(100)는 이미지 데이터를 저장할 수 있다. 이 때, 이미지 데이터는 구강이 개구되어 치아가 노출된 얼굴 데이터일 수 있다. 이 때, 구강이 개구된 것은 입술이 개방되어 치아 또는 치은의 일부가 노출된 것을 의미할 수 있으며, 자연스러운 스마일 라인을 갖는 일반 얼굴 데이터 또는 강제 개구된 개구 얼굴 데이터를 포함할 수 있다. 데이터베이스부(100)는 이미지 데이터뿐만 아니라 특징점들을 생성하기 위한 알고리즘, 이미지 데이터에 적용하기 위한 적어도 하나의 치아 템플릿 데이터 등을 포함할 수 있다.
본 발명에 따른 이미지 처리 방법에서 전술한 바와 같이, 데이터베이스부(100)는 물리적 저장 장치일 수도 있고, 클라우드일 수도 있다.
한편, 제어부(200)는 데이터베이스부(100)로부터 이미지 데이터를 입력받아 이미지 데이터에 특징점들 부여, 이미지 피팅, 및 스마일 라인 디자인 등을 수행할 수 있다. 이하에서는 제어부(200)의 세부 구성에 대하여 설명한다.
제어부(200)는 소정 기준에 따라 이미지 데이터에 복수의 특징점들을 부여하는 특징점 생성부(210)와, 생성된 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅하는 이미지 데이터 피팅부(220)를 포함할 수 있다.
특징점 생성부(210)는 입력받은 이미지 데이터의 특징적인 부분에 대하여 특징점들을 부여한다. 이 때, 특징적인 부분은 전술한 바와 같이 눈썹, 하안검, 상안검, 코, 입술의 외측, 입술의 내측, 안면의 윤곽 등을 포함할 수 있다. 상기 특징적인 부분들을 나타내기 위해, 특징적인 부분들에 특징점들을 부여하며, 상기 특징점은 이미지 데이터에 복수로 부여될 수 있다. 특징점은 후술할 특징선 및 특징 영역의 생성, 그리고 파라미터 판단의 참조점으로 사용될 수 있다. 한편, 특징점 생성부(210)는 상기 이미지 데이터에 특징점들을 부여하기 위해 소정 기준을 사용할 수 있으며, 상기 기준은 face landmark 68과 같은 알고리즘일 수 있다.
이미지 데이터 피팅부(220)는 특징점 생성부(210)로부터 부여된 특징점을 연결하여 생성된 적어도 하나의 특징선을 기초로 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅할 수 있다. 예시적으로, 이미지 데이터 피팅부(220)는 양안의 외안각에 생성된 특징점들을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 또한, 이미지 데이터 피팅부(220)는 상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선이 소정 각도를 갖도록 이미지 데이터를 회전시킬 수 있다. 이 때, 이미지 데이터 피팅부(220)는 제2 특징선의 각도가 유저 인터페이스 평면 중 가로방향에 수직을 이루도록 이미지 데이터를 회전시킬 수 있다.
이하, 이미지 데이터 피팅부(220)에서 입력받은 이미지 데이터를 피팅하는 방법은 상기 이미지 처리 방법에서 전술한 바 있다.
이미지 데이터 피팅부(220)에서 피팅이 완료되면, 스마일 라인 디자인부(260)는 피팅된 이미지 데이터의 스마일 라인을 디자인할 수 있다. 이 때, 스마일 라인을 디자인하는 것은 특징점을 기초로 생성되는 이미지 데이터 중 특징점들에 의해 생성되는 소정 영역에 적어도 하나의 템플릿을 적용하는 것을 의미할 수 있다. 이미지 데이터의 소정 영역은, 특징점 생성부(210)에서 부여된 복수의 특징점들 중 적어도 3개의 특징점을 연결하여 생성되는 특징 영역일 수 있다. 예시적으로, 특징 영역은 이미지 데이터 중 입술 내측에 대한 특징점들을 연결하여 생성되는 립라인의 내부 영역일 수 있다. 특징 영역은 치아를 나타내는 데이터를 포함하며, 스마일 라인 디자인부(260)는 특징 영역에 교정 치아에 관한 템플릿을 적용하여 환자의 교정 후 치아 상태를 나타낼 수 있다.
이하에서는, 이미지 데이터가 복수인 경우 특징점들의 생성과 이미지 매칭, 파라미터 생성부(240) 및 파라미터 판단부(250)에 의한 이미지 데이터들의 배열에 대하여 설명한다.
데이터베이스부(100)에 저장된 이미지 데이터는 복수일 수 있으며, 이미지 데이터는 일반 얼굴 데이터와 개구 얼굴 데이터를 포함할 수 있다. 일반 얼굴 데이터와 개구 얼굴 데이터는 구강의 개구 정도가 상이할 수 있다. 전술한 바와 같이, 일반 얼굴 데이터는 사용자 및 환자의 교정 계획 수립에 사용될 수 있고, 개구 얼굴 데이터는 기공소의 정확한 템플릿 디자인 확인에 사용될 수 있다.
데이터베이스부(100)로부터 제어부(200)로 개구 정도가 상이한 복수의 이미지 데이터가 입력된 경우, 특징점 생성부(210)는 각각의 이미지 데이터별로 특징점들을 부여할 수 있으며, 이미지 데이터 피팅부(220)는 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭할 수 있다. 이 때, 이미지 데이터를 매칭하는 것은 일반 얼굴 데이터를 개구 얼굴 데이터에 매칭하거나, 개구 얼굴 데이터를 일반 얼굴 데이터에 매칭하거나, 또는 일반 얼굴 데이터와 개구 얼굴 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅하는 것을 의미할 수 있다.
또한, 이미지 데이터 피팅부(220)는 특징점 생성부(210)에 의해 생성된 특징점을 기초로, 각각의 이미지 데이터에 생성된 특징 영역을 통해 이미지 데이터들을 매칭할 수 있다. 이 때, 특징 영역은 전술한 바와 같이 립라인 내부 영역일 수 있으며, 입력받은 이미지 데이터들 중 어느 하나의 특징 영역을 추출하여, 다른 이미지 데이터의 특징 영역과 그 윤곽을 비교하여 매칭을 수행할 수 있다. 이와 같은 매칭 과정은 template matching 알고리즘을 사용하여 수행될 수 있으며, 관련한 내용은 전술한 바와 같다.
한편, 제어부(200)는 얼굴 데이터 중 구강의 개구 정도를 나타내는 개구파라미터를 생성하는 파라미터 생성부(240)와, 파라미터 생성부(240)에 의해 생성된 개구파라미터에 기초하여 이미지 데이터들 간의 오버레이 순서를 판단하는 파라미터 판단부(250)를 포함할 수 있다.
파라미터 생성부(240)는 특징점 생성부(210)에 의해 부여된 특징점들을 기초로 파라미터를 생성할 수 있으며, 예시적으로 개구파라미터는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 제3 특징선의 길이일 수 있다. 또한, 개구파라미터는 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율일 수 있으며, 이 경우 제3 특징선은 특징점들 중 적어도 2개의 특징점을 연결하여 생성되고, 제4 특징선은 특징점들 중 상기 제3 특징선과 교차되며 상기 제3 특징선으로부터 이격된 서로 다른 2개의 특징점을 연결하여 생성될 수 있다.
생성된 개구파라미터가 제3 특징선의 길이인 경우, 파라미터 판단부(250)는 상대적으로 제3 특징선의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 또한, 생성된 개구파라미터가 제4 특징선에 대한 제3 특징선의 비율인 경우, 파라미터 판단부(250)는 상대적으로 비율이 작은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 이미지 데이터의 개구파라미터에 기초하여 오버레이 순서를 판단하는 상세한 과정은 본 발명에 따른 이미지 처리 방법에서 전술한 바와 같다.
한편, 제어부(200)는 파라미터 판단부(250)에 의해 판단된 순서에 따라 이미지 데이터들이 순서대로 오버레이 되도록 이미지 데이터들을 배열하는 이미지 데이터 배열부(230)를 더 포함할 수 있다. 이미지 데이터 배열부(230)는 전술한 제3 특징선의 길이, 또는 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율에 따라 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열할 수 있다. 이 때, 일반 얼굴 데이터의 제3 특징선의 길이는 개구 얼굴 데이터의 제3 특징선의 길이보다 짧으므로, 일반 얼굴 데이터가 개구 얼굴 데이터보다 선순위로 판단되어 개구 얼굴 데이터 상에 일반 얼굴 데이터가 오버레이 되도록 배열될 수 있다. 또한, 일반 얼굴 데이터의 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율은 개구 얼굴 데이터의 비율보다 작으므로, 일반 얼굴 데이터가 개구 얼굴 데이터보다 선순위로 판단되어 개구 얼굴 데이터 상에 일반 얼굴 데이터가 오버레이 되도록 배열될 수 있다.
전술한 설명에 따르면, 본 발명은 이미지 데이터 상에 특징점을 부여하고 소정 크기 및 소정 각도로 피팅하여 템플릿을 적용하므로, 일정한 규격의 이미지 데이터를 통해 교정 계획을 수립할 수 있는 이점이 있다.
또한, 얼굴 데이터 상에 템플릿을 적용함으로써, 교정 후 환자의 스마일 라인을 미리 확인할 수 있는 이점이 있다.
또한, 일반 얼굴 데이터 및 개구 얼굴 데이터를 입력받을 때, 입력받은 순서와 상관없이 각각의 이미지 데이터로부터 도출되는 개구파라미터를 기초로 이미지 데이터가 배열되는 순위가 판단됨으로써, 자동적으로 원하는 이미지 데이터의 배열순서를 가질 수 있는 이점이 있다.
또한, 자동적으로 원하는 이미지 데이터의 배열순서를 가짐으로써, 사용자는 이미지 데이터를 배열하기 위한 조작을 최소화하는 이점이 있다.
또한, 필요에 따라 템플릿의 형상, 색상 등을 변경함으로써, 사용자는 환자에게 최적의 교정물을 제공할 수 있는 이점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S110: 이미지 데이터를 입력받는 단계
S120: 특징점을 부여하는 단계
S130: 피팅하는 단계
S140: 오버레이 순서를 판단하는 단계
S150: 이미지 데이터들을 배열하는 단계
S160: 디자인하는 단계
10: 이미지 처리 장치 100: 데이터베이스부
200: 제어부 300: 디스플레이부
400: 얼굴 데이터 401: 일반 얼굴 데이터
402: 개구 얼굴 데이터

Claims (29)

  1. 적어도 하나의 이미지 데이터를 입력받는 단계;
    상기 이미지 데이터 상에 복수의 특징점들을 부여하는 단계;
    상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계; 및
    피팅된 상기 이미지 데이터의 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 청구항 1에 있어서,
    상기 이미지 데이터는 구강이 개구되어 치아가 노출된 얼굴 데이터인 것을 특징으로 하는 이미지 처리 방법.
  3. 청구항 1에 있어서,
    상기 특징점들을 부여하는 단계는,
    상기 이미지 데이터를 소정 각도 간격으로 회전하면서 상기 이미지 데이터를 기초로 소정 기준에 따라 복수의 특징점들을 부여하는 것을 특징으로 하는 이미지 처리 방법.
  4. 청구항 1에 있어서,
    상기 피팅하는 단계는,
    적어도 2개의 특징점을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 상기 이미지 데이터의 크기를 확대 또는 축소하는 것을 특징으로 하는 이미지 처리 방법.
  5. 청구항 4에 있어서,
    상기 피팅하는 단계는,
    상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선의 각도가 소정 각도에 부합하도록 상기 이미지 데이터를 회전하는 것을 특징으로 하는 이미지 처리 방법.
  6. 청구항 5에 있어서,
    상기 제2 특징선의 각도는 유저 인터페이스(UI) 평면 중 가로방향에 수직인 것을 특징으로 하는 이미지 처리 방법.
  7. 청구항 1에 있어서,
    상기 특징 영역은 치아 이미지를 포함하는 립라인(lip line)인 것을 특징으로 하는 이미지 처리 방법.
  8. 청구항 7에 있어서,
    상기 템플릿은 상기 치아 이미지와 매칭되는 것을 특징으로 하는 이미지 처리 방법.
  9. 청구항 7에 있어서,
    상기 디자인하는 단계는,
    상기 이미지 데이터를 복제하여 제1 이미지 데이터 및 제2 이미지 데이터를 형성하고,
    상기 템플릿은 각각의 이미지 데이터 내 특징 영역 내부에 형성된 치아 이미지에 적용되는 것을 특징으로 하는 이미지 처리 방법.
  10. 구강의 개구 정도가 상이한 복수의 이미지 데이터들을 입력받는 단계;
    각각의 이미지 데이터별로 상기 이미지 데이터들 상에 복수의 특징점들을 부여하는 단계;
    상기 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 상기 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭하도록 피팅(fitting)하는 단계; 및
    피팅된 상기 이미지 데이터들 중 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  11. 청구항 10에 있어서,
    상기 피팅하는 단계는,
    적어도 2개의 특징점을 연결하여 생성되는 제1 특징선, 및 상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선을 이용하여 이미지 데이터를 피팅하는 것을 특징으로 하는 이미지 처리 방법.
  12. 청구항 11에 있어서,
    상기 피팅하는 단계는,
    상기 이미지 데이터별 생성된 상기 특징 영역을 통해 상기 이미지 데이터들을 매칭하는 것을 특징으로 하는 이미지 처리 방법.
  13. 청구항 10에 있어서,
    상기 구강의 개구 정도를 나타내는 개구파라미터에 기초하여 상기 복수의 이미지 데이터들 간의 오버레이 순서를 판단하는 단계; 및
    상기 순서에 따라 상기 이미지 데이터들이 오버레이 되도록 상기 이미지 데이터들을 배열하는 단계;를 더 포함하는 이미지 처리 방법.
  14. 청구항 13에 있어서,
    상기 개구파라미터는 상기 특징 영역을 이루는 상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 제3 특징선의 길이이며,
    상기 오버레이 순서를 판단하는 단계는,
    상대적으로 상기 제3 특징선의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 방법.
  15. 청구항 13에 있어서,
    상기 개구파라미터는,
    제4 특징선의 길이에 대한 제3 특징선의 길이의 비율이며,
    상기 제3 특징선은 상기 특징 영역을 이루는 상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되고,
    상기 제4 특징선은 상기 제3 특징선과 교차되며 상기 제3 특징선으로부터 이격된, 상기 특징 영역을 이루는 상기 특징점들 중 서로 다른 2개의 특징점을 연결하여 생성되는 것이며,
    상기 오버레이 순서를 판단하는 단계는,
    상대적으로 상기 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율이 작은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 방법.
  16. 청구항 14 또는 청구항 15 중 어느 한 항에 있어서,
    상기 이미지 데이터들을 배열하는 단계는,
    상기 제3 특징선의 길이 또는 상기 제4 특징선의 길이에 대한 상기 제3 특징선의 길이의 비율에 따라, 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열하는 것을 특징으로 하는 이미지 처리 방법.
  17. 적어도 하나의 이미지 데이터가 저장된 데이터베이스부;
    제어부; 및
    상기 제어부의 수행 결과를 시각적으로 표시하는 디스플레이부;를 포함하고,
    상기 제어부는,
    상기 데이터베이스부에서 상기 이미지 데이터를 입력받아 상기 이미지 데이터에 복수의 특징점들을 부여하는 특징점 생성부;
    상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 이미지 데이터 피팅부; 및
    상기 이미지 데이터의 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 스마일 라인 디자인부; 를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  18. 청구항 17에 있어서,
    상기 이미지 데이터는 구강이 개구되어 치아가 노출된 얼굴 데이터인 것을 특징으로 하는 이미지 처리 장치.
  19. 청구항 17에 있어서,
    상기 특징점 생성부는,
    상기 이미지 데이터를 소정 각도 간격으로 회전하면서 상기 이미지 데이터를 기초로 소정 기준에 따라 복수의 특징점들을 부여하는 것을 특징으로 하는 이미지 처리 장치.
  20. 청구항 17에 있어서,
    상기 이미지 데이터 피팅부는,
    적어도 2개의 특징점을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 상기 이미지 데이터의 크기를 확대 또는 축소하는 것을 특징으로 하는 이미지 처리 장치.
  21. 청구항 20에 있어서,
    상기 이미지 데이터 피팅부는,
    상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선의 각도가 소정 각도에 부합하도록 상기 이미지 데이터를 회전하는 것을 특징으로 하는 이미지 처리 장치.
  22. 청구항 21에 있어서,
    상기 제2 특징선의 각도는 유저 인터페이스(UI) 평면 중 가로방향에 수직인 것을 특징으로 하는 이미지 처리 장치.
  23. 청구항 17에 있어서,
    상기 특징 영역은 치아 이미지를 포함하는 립라인(lip line)인 것을 특징으로 하는 이미지 처리 장치.
  24. 청구항 17에 있어서,
    상기 데이터베이스부는 구강의 개구 정도에 따라 서로 상이한 복수의 이미지 데이터들을 저장하며,
    상기 특징점 생성부는 각각의 이미지 데이터별로 상기 특징점들을 부여하고,
    상기 이미지 데이터 피팅부는 상기 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 상기 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭하는 것을 특징으로 하는 이미지 처리 장치.
  25. 청구항 24에 있어서,
    상기 이미지 데이터 피팅부는,
    상기 이미지 데이터별 생성된 상기 특징 영역을 통해 상기 이미지 데이터들을 매칭하는 것을 특징으로 하는 이미지 처리 장치.
  26. 청구항 24에 있어서,
    상기 제어부는,
    상기 구강의 개구 정도를 나타내는 개구파라미터를 생성하는 파라미터 생성부;
    상기 파라미터 생성부에 의해 생성된 상기 개구파라미터에 기초하여 상기 복수의 이미지 데이터들 간의 오버레이 순서를 판단하는 파라미터 판단부; 및
    상기 순서에 따라 상기 이미지 데이터들이 오버레이 되도록 상기 이미지 데이터들을 배열하는 이미지 데이터 배열부;를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  27. 청구항 26에 있어서,
    상기 개구파라미터는 상기 특징 영역을 이루는 상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 제3 특징선의 길이이며,
    상기 파라미터 판단부는,
    상대적으로 상기 제3 특징선의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 장치.
  28. 청구항 26에 있어서,
    상기 개구파라미터는,
    제4 특징선의 길이에 대한 제3 특징선의 길이의 비율이며,
    상기 제3 특징선은 상기 특징 영역을 이루는 상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되고,
    상기 제4 특징선은 상기 제3 특징선과 교차되며 상기 제3 특징선으로부터 이격된, 상기 특징 영역을 이루는 상기 특징점들 중 서로 다른 2개의 특징점을 연결하여 생성되는 것이며,
    상기 파라미터 판단부는,
    상대적으로 상기 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율이 작은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 장치.
  29. 청구항 27 또는 청구항 28 중 어느 한 항에 있어서,
    상기 이미지 데이터 배열부는,
    상기 제3 특징선의 길이 또는 상기 제4 특징선의 길이에 대한 상기 제3 특징선의 길이의 비율에 따라, 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열하는 것을 특징으로 하는 이미지 처리 장치.
KR1020200178225A 2020-10-29 2020-12-18 이미지 처리 방법 및 이를 사용한 장치 KR102512838B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2021/015098 WO2022092763A1 (ko) 2020-10-29 2021-10-26 이미지 처리 방법 및 이를 사용한 장치
EP21886757.0A EP4238528A1 (en) 2020-10-29 2021-10-26 Image processing method and apparatus using same
US18/034,138 US20230380934A1 (en) 2020-10-29 2021-10-26 Image processing method and device using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200142089 2020-10-29
KR20200142089 2020-10-29

Publications (2)

Publication Number Publication Date
KR20220057390A true KR20220057390A (ko) 2022-05-09
KR102512838B1 KR102512838B1 (ko) 2023-03-22

Family

ID=81582292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200178225A KR102512838B1 (ko) 2020-10-29 2020-12-18 이미지 처리 방법 및 이를 사용한 장치

Country Status (1)

Country Link
KR (1) KR102512838B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583696B1 (ko) * 2023-02-21 2023-10-04 경북대학교 산학협력단 심미적인 스마일 형성을 위한 개인맞춤형 입술 견인기 제작 방법, 이에 따라 제작되는 개인맞춤형 입술 견인기 및 이를 수행하는 개인맞춤형 입술 견인기 제작 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158958A1 (en) * 2010-07-12 2013-06-20 Alain Methot Dental analysis method and system
KR20150039028A (ko) * 2013-10-01 2015-04-09 주식회사 이우소프트 치아교정 시뮬레이션 방법 및 이를 수행하는 시스템
KR101799878B1 (ko) * 2010-06-29 2017-11-22 쓰리세이프 에이/에스 2ｄ 영상 장치
US20180263731A1 (en) * 2017-03-20 2018-09-20 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
KR101978559B1 (ko) * 2017-06-21 2019-05-15 한국광기술원 치아의 형태적 특성을 분석하는 장치 및 방법
KR102083619B1 (ko) 2015-08-31 2020-03-03 오스템임플란트 주식회사 치아 교정 계획을 위한 이미지 처리 방법, 이를 위한 장치 및 기록 매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101799878B1 (ko) * 2010-06-29 2017-11-22 쓰리세이프 에이/에스 2ｄ 영상 장치
US20130158958A1 (en) * 2010-07-12 2013-06-20 Alain Methot Dental analysis method and system
KR20150039028A (ko) * 2013-10-01 2015-04-09 주식회사 이우소프트 치아교정 시뮬레이션 방법 및 이를 수행하는 시스템
KR102083619B1 (ko) 2015-08-31 2020-03-03 오스템임플란트 주식회사 치아 교정 계획을 위한 이미지 처리 방법, 이를 위한 장치 및 기록 매체
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
US20180263731A1 (en) * 2017-03-20 2018-09-20 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
KR101978559B1 (ko) * 2017-06-21 2019-05-15 한국광기술원 치아의 형태적 특성을 분석하는 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583696B1 (ko) * 2023-02-21 2023-10-04 경북대학교 산학협력단 심미적인 스마일 형성을 위한 개인맞춤형 입술 견인기 제작 방법, 이에 따라 제작되는 개인맞춤형 입술 견인기 및 이를 수행하는 개인맞춤형 입술 견인기 제작 장치

Also Published As

Publication number Publication date
KR102512838B1 (ko) 2023-03-22

Similar Documents

Publication Publication Date Title
EP3920836B1 (en) Foreign object identification and image augmentation and/or filtering for intraoral scanning
US11232867B2 (en) Smile designer
US20200350059A1 (en) Method and system of teeth alignment based on simulating of crown and root movement
US9760762B2 (en) Facial structural shaping
JP6273149B2 (ja) 顔面補正イメージ提供方法およびそのシステム
WO2019141106A1 (zh) 基于c/s架构的牙齿美化ar智能辅助方法及装置
TW201441855A (zh) 用於計劃毛髮移植之系統及方法
EP3530232B1 (en) Method for aligning a three-dimensional model of a dentition of a patient to an image of the face of the patient recorded by a camera
US20230149126A1 (en) Systems and methods for automated 3d teeth positions learned from 3d teeth geometries
US20230132201A1 (en) Systems and methods for orthodontic and restorative treatment planning
KR20220057390A (ko) 이미지 처리 방법 및 이를 사용한 장치
US20230390027A1 (en) Auto-smile design setup systems
KR20220118276A (ko) 이미지 처리 방법 및 이를 이용한 장치
US20230380934A1 (en) Image processing method and device using the same
US20230248475A1 (en) Method for manufacturing an orthodontic appliance
KR102536646B1 (ko) 이미지 처리 방법 및 이를 사용한 장치
US20230394873A1 (en) Image processing method and device using same
Pupykina et al. Algorithm for the boundary detection of dental crowns for 3D dental model segmentation
CN118176544A (zh) 用于正畸和修复治疗规划的系统和方法
WO2023085965A1 (en) Systems and methods for generating a final position of teeth for orthodontic treatment
KR20230115355A (ko) 지대치 마진라인 디자인 방법 및 그 장치
CN114582498A (zh) 矫正方案的生成方法、展示方法、装置和计算机设备
WO2020197515A1 (en) Tooth and smile design method
CN113487489A (zh) 一种脸部修容显示及关键点检测模型训练方法及终端

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)