KR20240009899A - 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체 - Google Patents

이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체 Download PDF

Info

Publication number
KR20240009899A
KR20240009899A KR1020230090640A KR20230090640A KR20240009899A KR 20240009899 A KR20240009899 A KR 20240009899A KR 1020230090640 A KR1020230090640 A KR 1020230090640A KR 20230090640 A KR20230090640 A KR 20230090640A KR 20240009899 A KR20240009899 A KR 20240009899A
Authority
KR
South Korea
Prior art keywords
scan data
prosthesis
anterior
area
electronic device
Prior art date
Application number
KR1020230090640A
Other languages
English (en)
Inventor
김진영
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to PCT/KR2023/010062 priority Critical patent/WO2024014913A1/ko
Publication of KR20240009899A publication Critical patent/KR20240009899A/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C5/00Filling or capping teeth
    • A61C5/007Dental splints; teeth or jaw immobilisation devices; stabilizing retainers bonded to teeth after orthodontic treatments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

이미지 처리 방법, 이를 수행하는 전자 장치 및 이를 저장하는 컴퓨터 판독가능 저장 매체가 제공된다. 상기 이미지 처리 방법은 적어도 하나의 구강 이미지를 수신하는 단계, 상기 적어도 하나의 구강 이미지에 대응하는 스캔 데이터의 적어도 일부에 대한 면적을 기초로 연산하는 단계 및 상기 연산 단계를 기초로, 상기 스캔 데이터에 대한 최종 보철물 삽입 방향을 표시하는 단계를 포함한다.

Description

이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체{A METHOD FOR PROCESSING IMAGE, AN ELECTRONIC APPARATUS AND A COMPUTER READABLE STORAGE MEDIUM}
본 개시는 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
턱관절 장애, 치아외상, 충치, 잇몸질환 등을 치료하기 위해, 구강에 삽입되어 배치되는 보철물(스플린트, 임시치아 등)들이 활용될 수 있다. 삽입되는 구강의 특성을 반영하여 보철물을 제작하기 위해, 구강을 스캔한 구강 이미지를 보철물의 제작에서 활용하고 있다.
구강에 보철물을 삽입하기 위해 또는 보철물을 구강에 삽입한 상태로 유지하기 위해서는, 보철물 삽입 방향에 따라 보철물과 닿지 못하는 치아의 언더컷(Undercut) 영역을 고려해야 한다.
보철물을 제작할 때마다 언더컷 영향을 줄이기 위해 블록 아웃 방향을 결정해야 하는 번거로움이 있고, 블록 아웃 방향에 따라 보철물 유지력이 달라질 수 있으므로 복수의 구강에 대해 일률적인 유지력을 갖는 보철물을 만들기 어려운 문제가 있다.
개시된 실시예들은, 언더컷 영향을 줄이면서, 복수의 구강에 대해 일률적인 유지력을 갖는 보철물 모델을 제공할 수 있다.
개시된 실시예들은, 언더컷의 영향을 줄이면서 복수의 보철물 제작의 효율을 높일 수 있다.
개시된 실시예들은, 블랙 트라이앵글(Black Triangle) 등 보철물 삽입에 따른 언더컷 영역을 고려하여 보철물의 삽입 방향을 결정할 수 있어 환자 및 사용자의 편의성을 증대시킬 수 있다
개시된 실시예에 따르면, 적어도 하나의 구강 이미지를 수신하는 단계, 상기 적어도 하나의 구강 이미지에 대응하는 스캔 데이터의 적어도 일부에 대한 면적을 기초로 연산하는 단계 및 상기 연산 단계를 기초로, 상기 스캔 데이터에 대한 최종 보철물 삽입 방향을 표시하는 단계를 포함하는 이미지 처리 방법 이 제공된다.
개시된 실시예에 따르면, 사용자 인터페이스 장치, 프로세서 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하되, 상기 프로세서는, 상기 명령어들을 실행하여, 적어도 하나의 구강 이미지를 수신하고, 상기 적어도 하나의 구강 이미지에 대응하는 스캔 데이터의 적어도 일부에 대한 면적을 기초로 연산하고, 상기 연산 동작을 기초로, 상기 스캔 데이터에 대한 최종 보철물 삽입 방향을 표시하는 전자 장치가 제공된다.
개시된 실시예에 따르면, 컴퓨터에 의해 판독 가능한 명령어들을 포함하는 컴퓨터 판독 가능 저장 매체로서, 상기 명령어들은, 컴퓨터로 하여금, 적어도 하나의 구강 이미지를 수신하는 단계, 상기 적어도 하나의 구강 이미지에 대응하는 스캔 데이터의 적어도 일부에 대한 면적을 기초로 연산하는 단계 및 상기 연산 단계를 기초로, 상기 스캔 데이터에 대한 최종 보철물 삽입 방향을 표시하는 단계를 수행하게 하는 컴퓨터 판독 가능 저장 매체가 제공된다.
개시된 실시예들에 따르면, 일률적인 유지력을 갖는 복수의 보철물 모델을 제공할 수 있다.
개시된 실시예들에 따르면, 언더컷의 영향을 줄이면서 복수의 구강에 대한 보철물 제작의 효율을 높일 수 있다.
개시된 실시예에 따르면, 블랙 트라이앵글(Black Triangle) 등에 따른 언더컷을 반영하여 보철물의 삽입 방향을 결정할 수 있어 환자 및 사용자의 편의성을 증대시킬 수 있다
도 1은 일 실시예에 따른 전자 장치를 포함하는 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따라, 전자 장치의 구성을 도시한 블록도이다.
도 3은 일 실시예에 따라, 전자 장치의 이미지 처리 방법을 나타낸 순서도이다.
도 4 및 도 5는 일 실시예에 따라, 스캔 데이터, 상악 스캔 데이터 및 하악 스캔 데이터를 설명하기 위한 도면들이다.
도 6은 일 실시예에 따라, 전자 장치의 이미지 처리 방법을 나타낸 순서도이다.
도 7은 일 실시예에 따라, 치아 영역을 추출하는 단계를 설명하기 위한 도면이다.
도 8은 일 실시예에 따라, 보철물 삽입 방향을 설정하는 단계를 설명하기 위한 도면이다.
도 9는 일 실시예에 따라, 전치부 언더컷 면적을 계산하는 단계를 설명하기 위한 도면이다.
도 10은 일 실시예에 따라, 최종 보철물 삽입 방향을 표시 및 결정하는 단계를 설명하기 위한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다. 그리고 도면에서, 설명의 편의를 위해, 일부 층 및 영역의 두께를 과장되게 나타내었다.
또한, 층, 막, 영역, 판 등의 부분이 다른 부분 "위에" 또는 "상에" 있다고 할 때, 이는 다른 부분 "바로 위에" 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 어떤 부분이 다른 부분 "바로 위에" 있다고 할 때에는 중간에 다른 부분이 없는 것을 뜻한다. 또한, 기준이 되는 부분 "위에" 또는 "상에" 있다고 하는 것은 기준이 되는 부분의 위 또는 아래에 위치하는 것이고, 반드시 중력 반대 방향 쪽으로 "위에" 또는 "상에" 위치하는 것을 의미하는 것은 아니다.
또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서 전체에서, "평면상"이라 할 때, 이는 대상 부분을 위에서 보았을 때를 의미하며, "단면상"이라 할 때, 이는 대상 부분을 수직으로 자른 단면을 옆에서 보았을 때를 의미한다.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
도 1은 일 실시예에 따른 전자 장치를 포함하는 이미지 처리 시스템을 설명하기 위한 도면이고, 도 2는 일 실시예에 따라, 전자 장치의 구성을 도시한 블록도이다.
도 1 및 도 2를 참조하면, 이미지 처리 시스템(1)은 스캐너(10)와 전자 장치(20)를 포함할 수 있다.
본 명세서에서, '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등), 또는 팬텀(phantom) 등을 포함할 수 있다. 또한, 예를 들면, 대상체는, 구강을 본 뜬 석고 모델, 틀니나 의치 등의 덴쳐(denture), 이(teeth) 형상의 덴티폼(dentiform) 등을 포함할 수 있다. 예를 들어, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 어버트먼트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등), 인공 구조물이 부착된 치아 또는 치은 등을 포함할 수 있다.
스캐너(10)는, 대상체와 관련된 이미지를 획득하는 장치를 의미할 수 있다. 스캐너(10)는 구강의 치료에 이용되는 구강과 관련된 구강 이미지를 획득하는 스캐너(10)를 의미할 수 있다. 스캐너(10)는, 2차원 이미지 및 3차원 이미지 중 적어도 하나를 획득할 수 있다. 또한, 스캐너(10)는, 구강에 대한 적어도 하나의 2차원 이미지를 획득하고, 획득된 적어도 하나의 2차원 이미지에 기초하여 구강에 대한 3차원 이미지(또는 3차원 모델)를 생성할 수 있다. 또한, 스캐너는, 구강에 대한 적어도 하나의 2차원 이미지를 획득하고, 적어도 하나의 2차원 이미지를 전자 장치(20)로 전송할 수 있다.
전자 장치(20)는, 또한, 스캐너(10) 치아 모형 또는 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어 등을 포함하는 교정 장치, 임플란트, 인공 치아, 스플린트를 포함하는 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징할 수 있으며, 이를 위해 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다.
전자 장치(20)는, 수신된 적어도 하나의 2차원 이미지에 기초하여 구강에 대한 3차원 이미지를 생성할 수 있다. 여기서 '3차원 이미지'는 수신된 로우 데이터에 근거하여 대상체를 3차원적으로 모델링(modeling)하여 생성될 수 있으므로, '3차원 모델'로 호칭될 수 있다. 또한 본 발명에서 대상체를 2차원 또는 3차원적으로 나타내는 모델 또는 이미지를 통칭하여 '이미지'라 칭할 수 있다.
예를 들면, 스캐너(10)는 구강 내에 인입될 수 있는 형태를 가지는 구강 스캐너(intraoral scanner)가 될 수 있고, 실시예에 따라 구강 스캐너는 유선 장치 또는 무선 장치 일 수 있으며, 본 발명의 기술적 사상은 구강 스캐너의 형태에 한되지 않는다.
일 실시예에 따라, 구강 스캐너는 손으로 잡아서 휴대 가능한 형태를 가지는 핸드 헬드(hand-held) 형 스캐너일 수 있다. 상기 구강 스캐너는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 이미지를 가질 수 있으며, 적어도 하나의 이미지 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔할 수 있다.
일 실시예에 따라, 스캐너(10)는 치과치료에 이용 가능한 테이블 형 스캐너가 될 수 있다. 테이블 형 스캐너는 테이블의 회전을 이용하여 대상체를 스캔함으로써 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득하는 스캐너일 수 있다. 테이블 스캐너는 구강을 본 뜬 석고 모형이나 임프레션 모형 등의 대상체의 표면을 스캔할 수 있다.
전자 장치(20)는 스캐너(10)로부터 로우 데이터를 수신할 수 있고, 수신된 로우 데이터를 처리하여 로우 데이터에 대한 3차원 이미지를 출력할 수 있다. 실시예에 따라, 출력되는 3차원 이미지는 수신된 로우 데이터에 대한 스플린트(Splint) 등의 보철물이 포함된 3차원 이미지 데이터일 수 있다. 설명의 용이성을 위해 스캔 데이터에 대한 구체적인 설명은 도 4 및 도 5에서 후술한다.
전자 장치(20)는 스캐너와 유선 또는 무선 통신 망을 통하여 연결되며, 스캐너로부터 대상체를 스캔하여 획득된 2차원 이미지를 수신하고, 수신된 2차원 이미지에 근거하여 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다.
전자 장치(20)는 전용 소프트웨어를 저장 및 실행하여 대상체의 3차원 이미지 또는 2차원 이미지를 수신, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다. 예를 들어, 전용 소프트웨어는 수신된 스캔 데이터에 대하여 영역 추출 및 영역 설정 등의 처리 동작을 수행하고, 처리 동작을 기반으로 데이터 선택, 기준점 조정 및 정렬 등을 수행하여 스캔 데이터에 대한 보철물을 3차원 이미지로 생성, 저장 및 전송 등 적어도 하나의 동작들을 수행할 수 있다. 전자 장치(20)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다. 또한, 전자 장치(20)는 구강 이미지를 처리하기 위한 서버(또는 서버 장치) 등의 형태로 존재할 수 있다.
전자 장치(20)는 통신부(21), 프로세서(22), 사용자 인터페이스 장치(23), 디스플레이(24), 메모리(25) 및 데이터베이스(26)를 포함할 수 있다. 그러나, 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(20)가 구현될 수 있고, 그보다 적은 구성 요소에 의해서도 전자 장치(20)가 구현될 수 있다. 이하, 상기 구성 요소들에 대해 살펴본다.
통신부(21)는 외부 장치와 통신을 수행할 수 있다. 구체적으로, 통신부(21)는 유선 또는 무선으로 네트워크와 연결되어 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 스캐너(10), 서버, 스마트폰, 태블릿, PC 등일 수 있다.
통신부(21)는 다양한 유무선 통신 방법 중 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들면, 통신 모듈은 칩셋(chipset)의 형태일 수도 있고, 또는 통신에 필요한 정보를 포함하는 스티커/바코드(e.g. NFC tag를 포함하는 스티커)등일 수도 있다. 또한, 통신 모듈은 근거리 통신 모듈, 유선 통신 모듈일 수 있다.
예를 들면, 통신부(21)는 무선 랜(Wireless LAN), Wi-Fi(Wireless Fidelity), WFD(Wi-Fi Direct), 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wired Lan, NFC(Near Field Communication), 지그비(Zigbee), 적외선(IrDA, infrared Data Association), 3G, 4G, 및 5G 중 적어도 하나를 지원할 수 있다.
일 실시예에서, 스캐너(10)는 획득한 로우 데이터를 통신 모듈을 통하여 전자 장치(20)로 전송할 수 있다. 스캐너에서 획득된 이미지 데이터는 유선 또는 무선 통신망을 통하여 연결되는 전자 장치(20)로 전송될 수 있다.
프로세서(22)는 전자 장치(20)의 전체적인 동작을 제어하며, CPU 등과 같은 적어도 하나의 프로세서를 포함할 수 있다. 프로세서(22)는 각 기능에 대응되는 특화된 프로세서를 적어도 하나 포함하거나, 하나로 통합된 형태의 프로세서일 수 있다.
프로세서(22)는, 통신부(21)를 통해, 로우 데이터를 수신할 수 있다. 예를 들면, 프로세서(22)는, 통신부(21)를 통해, 스캐너(10)로부터 로우 데이터를 수신할 수 있다. 이 경우, 프로세서(22)는 수신된 로우 데이터에 기초하여, 대상체의 표면의 형상을 3차원적으로 나타내는 3차원 이미지 데이터(예를 들어, 표면 데이터, 메시 데이터 등)를 생성할 수 있고, 이하 전자 장치(20)의 연산 대상이 되는 스캔 데이터는 3차원 이미지 데이터를 포함할 수 있다.
프로세서(22)는, 통신부(21)를 통해, 외부 장치로부터 라이브러리 데이터를 수신할 수 있다. 라이브러리 데이터는 전자 장치(20)에 기저장된 데이터 또는 외부 장치를 통해 획득한 로우 데이터 또는 3차원 이미지 데이터일 수 있으며, 이에 한정되지 않는다. 여기서, 외부 장치는, 사진 또는 동영상 촬영이 가능한 카메라, 카메라 기능을 갖는 전자 장치일 수 있다. 또한, 외부 장치는, 환자의 구강 내부를 스캔할 수 있는 구강 스캐너일 수 있다.
프로세서(22)는 사용자로부터 소정 명령 또는 데이터를 입력 받기 위해 사용자 인터페이스 장치(23) 또는 디스플레이(24)를 제어할 수 있다.
프로세서(22)는 메모리(25)에 저장된 프로그램을 실행시키거나, 메모리(25)에 저장된 이미지, 데이터 또는 파일을 읽어오거나, 새로운 파일을 메모리(25)에 저장할 수 있다. 프로세서(22)는 메모리(25)에 저장된 명령어들을 실행할 수 있다. 상기 저장된 프로그램은 전용 소프트웨어 등을 포함할 수 있으나, 이에 제한되지 않는다.
프로세서(22)는 스캔 데이터에 포함되는 메시 데이터 및 데이터 등에 대한 연산 동작을 수행할 수 있다. 예를 들면, 프로세서(22)는 설정되는 보철물 삽입 방향에 따라 생성되는 언더컷 영역을 인식할 수 있고, 언더컷 영역의 면적을 연산할 수 있다. 실시예에 따라, 프로세서(22)는 연산된 면적을 기준으로 설정 조건을 생성하여, 비교 동작을 수행할 수 있다.
프로세서(22)는 스캔 데이터 내 대상체를 인식하거나, 일부 영역을 추출하거나, 인식된 대상체 또는 추출된 영역의 면적이나 부피를 연산할 수 있다. 예를 들면, 프로세서(22)는 스캔 데이터의 곡률 정보, 교두 정보 등을 활용하여 치아의 종류를 구분(예, 전치와 구치의 구분)하여 인식하거나, 치아와 치아 사이의 공간을 구분할 수 있다. 실시예에서 따라, 프로세서(22)의 인식 동작들은 상기 정보들의 활용 예시에 제한되지 않으며 객체 인식 인공지능 알고리즘의 추론을 통해서 인식 동작들이 수행될 수 있다. 교두 정보는 스캔 데이터 내 대합치가 접촉하는 교두점의 수, 배치 등을 포함할 수 있다.
프로세서(22)는 스캔 데이터에 대한 보상 동작을 수행할 수 있다. 예를 들어, 프로세서(22)는 설정된 보철물 삽입 방향에 대하여 일정 방향으로 미리 정해진 각도를 추가하는 동작을 수행할 수 있으나, 상기 예시에 제한되지 않는다.
사용자 인터페이스 장치(23)는 사용자로부터 전자 장치(20)를 제어하기 위해 데이터를 입력 받는 장치를 의미할 수 있다. 디스플레이(24)는 전자 장치(20)의 동작에 따른 결과 이미지 또는 전자 장치(20)에서의 출력되는 3차원 이미지를 표시하기 위한 출력 장치를 포함할 수 있다.
사용자 인터페이스 장치(23)는, 예를 들면, 입력 장치는 사용자 입력을 수신하는 마우스, 조이스틱, 조작 패널, 터치 센서티브 패널을 포함할 수 있고, 디스플레이(24)는 화면을 표시하는 디스플레이 패널 등을 포함할 수 있다.
메모리(25)는 소프트웨어 또는 프로그램을 저장할 수 있고, 저장되는 소프트웨어 또는 프로그램은 전용 소프트웨어일 수 있으나, 이에 제한되지 않는다. 메모리(25)는 스캔 데이터를 호출하고 스캔 데이터에 대한 보철물 삽입 방향을 설정하고, 설정된 방향에 따른 언더컷을 계산하고 보철물 삽입 방향을 결정하는 전자 장치(20)의 동작 방법을 실행시키기 위한 적어도 하나의 명령어들 및 설정된 보철물 삽입 방향을 함께 저장할 수 있다.
데이터베이스(26)는, 전용 소프트웨어의 인공지능 알고리즘을 학습하기 시키기 위한 데이터 및 데이터셋을 저장하고, 전용 소프트웨어의 요청에 따라 학습을 위한 데이터를 제공할 수 있다. 인공지능 알고리즘은 데이터베이스(26)에 저장된 치아의 학습 데이터들을 딥 러닝 방식으로 학습하며 치아를 나타내는 데이터의 특성을 구별할 수 있다. 한편, 전용 소프트웨어는 스캔 데이터로부터 상악 치아 영역 데이터, 하악 치아 영역 데이터를 추출하거나 치아 특성에 따라 객체 인식함으로써, 후술할 교합 평면 정렬 단계, 내면 설정 단계, 윤곽 지정 단계 등을 수행할 때 추출 또는 인식된 치아 영역 데이터를 사용할 수 있다.
본 발명에서, 인공지능(artificial intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직의 개념을 포함할 수 있다. 기계 학습(machine learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술일 수 있다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터들 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 기반으로 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어의 기술 분야가 포함될 수 있다.
본 발명에서, 기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다.
예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
본 발명에서, 인공지능 학습 모델, 기계 학습 모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습 모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다.
데이터베이스(26)는, 도면 상에서 전자 장치(20)에 포함된 것처럼 도시되었으나, 이에 제한되지 않고 전자 장치(20)의 외부에서 서버(또는 서버 장치) 등의 형태로 배치되어 학습을 위한 데이터를 제공하고, 학습 결과를 저장할 수 있다.
도 3은 일 실시예에 따라, 전자 장치의 이미지 처리 방법을 나타낸 순서도이고, 도 4 및 도 5는 일 실시예에 따라, 스캔 데이터, 상악 스캔 데이터 및 하악 스캔 데이터를 설명하기 위한 도면들이다.
도 1 내지 도 5를 참조하면, 전자 장치(20)는 스캔 데이터(100)를 로드한다(S100). 전자 장치(20)는 통신부(21)를 통해서 스캐너(10) 등을 포함하는 외부 장치로부터 수신된 이미지를 기초로 생성된 스캔 데이터(100)를 로드한다.
전자 장치(20)는 수신된 이미지를 기초로 처리되거나 프로세서(22) 또는 사용자 인터페이스 장치(23)에 기저장된 스캔 데이터(100)를 로드하고, 이를 디스플레이(24)를 통해 표시할 수 있다.
스캔 데이터(100)는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 모델 또는 3차원 이미지 데이터가 될 수 있고, 구체적으로 3차원 구강 모델일 수 있다. 실시예에 따라, 도 4 및 도 5에서의 구강 이미지는 스캔 데이터(100)에 대응되고 스캔 데이터(100)의 대상체를 2차원 또는 3차원적으로 표현한 것으로, 후술할 스캔 데이터(100)와 같이 상악 프렙전 이미지, 상악 프렙 이미지, 하악 프렙전 이미지, 하악 프렙 이미지, 상기 상악 관련 이미지와 하악 관련 이미지를 포함하는 교합 이미지를 포함할 수 있다.
본 발명에서, 프렙(Prep, Preparation)은 크라운 및 브릿지 등의 보철 시에는 자연 치아 및 보철물 간의 간섭이 방지되도록, 치아의 법랑질과 상아질 일부를 삭제하는 일련의 준비 과정을 의미할 수 있다.
"3차원 구강 모델"은, 스캐너의 스캔 동작으로 획득된 로우 데이터에 기초하여 구강을 3차원적으로 모델링한 모델을 의미할 수 있다. 또한, "3차원 구강 모델"은, 스캐너가 치아, 인상체, 인공물 등과 같은 대상체를 스캔하여 획득된 데이터에 기초하여 3차원적으로 모델링된 구조체를 의미할 수 있다. 3차원 구강 모델은, 구강의 내부구조를 3차원적으로 모델링하여 생성된 것으로, 3차원 스캔 모델, 3차원 모델, 또는 치아 모델 등으로 호칭될 수 있다. 예를 들면, 3차원 구강 모델의 포맷은, STL(Standard Triangle Language), OBJ, 폴리곤 파일 형식 중 하나일 수 있고, 상기 예시에 제한되지 않는다. 또한, 3차원 구강 모델은, 3차원적인 형상에 대한 기하학 정보, 컬러, 텍스처, 재료 등의 정보를 포함할 수 있다.
또한, "폴리곤(polygon)"은, 3차원 구강 모델의 입체 형상을 표현할 때 사용되는 가장 작은 단위인 다각형을 의미할 수 있다. 예를 들면, 3차원 구강 모델의 표면은 삼각형 폴리곤들로 표현될 수 있다. 예를 들면, 폴리곤은 최소 3개의 정점(vertex)과 1개의 면(face)으로 구성될 수 있다. 정점은 위치, 컬러, 법선 등의 정보를 포함할 수 있다. 메시는 복수의 폴리곤들이 모여서 만들어진 3차원 공간 상의 대상체일 수 있다. 3차원 구강 모델을 표현하는 폴리곤의 수가 증가할수록, 대상체가 세밀하게 표현될 수 있다.
스캔 데이터(100)는 상악 스캔 데이터(101)와 하악 스캔 데이터(102) 중 적어도 하나를 포함할 수 있다. 구체적으로, 스캔 데이터(100)는 상악 프렙전 데이터, 상악 프렙 데이터, 하악 프렙전 데이터, 하악 프렙데이터, 상기 상악 관련 데이터와 하악 관련 데이터를 포함하는 교합 데이터 중 어느 하나를 로드할 수 있다.
본 발명에서, 프렙 데이터는 준비 과정을 통해 치아의 법랑질과 상아질 일부를 삭제된 데이터이고, 프렙전 데이터는 준비 과정을 통해 치아의 법랑질과 상아질 일부를 삭제되기 전 데이터일 수 있다.
스캔 데이터(100)는 상악 스캔 데이터(101) 및 하악 스캔 데이터(102) 내에 배치되는 치은 영역(200), 상악 치아 영역 데이터(301) 및 하악 치아 영역 데이터(302)를 포함할 수 있다.
전자 장치(20)는 상악 스캔 데이터(101), 하악 스캔 데이터(102) 및 상악 스캔 데이터(101)와 하악 스캔 데이터(102)를 포함하는 교합 데이터 중 적어도 하나를 로드할 수 있다.
전자 장치(20)는 수신된 스캔 데이터(100)의 형상을 분석하여 정렬한다(S200). 해당 단계에서 스캔 데이터(100)에 대한 교합 평면 및 정중선이 설정되고, 전자 장치(20)는 스캔 데이터(100)를 상악 스캔 데이터(101) 또는 하악 스캔 데이터(102)를 교합 평면에 따라 자동 정렬하고, 정중선에 의해 좌우 정렬되는 것을 이를 디스플레이(24)를 통해 표시할 수 있다.
또한, 해당 단계에서 사용자는, 스캔 데이터(100)에 수동으로 기준점을 지정하여 스캔 데이터(100)의 전면 방향과 교합 평면을 설정하고, 설정된 교합 평면을 따라 스캔 데이터(100)를 정렬할 수 있다. 예시적으로, 사용자는 해당 단계에서 사용자 인터페이스 장치(23)를 통해 스캔 데이터(100)의 일부 데이터를 선택할 수 있고, 선택된 데이터를 기준점으로 스캔 데이터(100)를 정렬할 수 있다.
전자 장치(20)는, 정렬된 스캔 데이터(100)에 대한 보철물의 내면을 설정한다(S300).
해당 단계에서, 전자 장치(20)는 정렬된 스캔 데이터(100)의 언더컷(Undercut)을 고려하여, 보철물이 삽입될 방향을 지정할 수 있다. 예를 들면, 보철물 제작시 전자 장치(20)는 스캔 데이터(100) 내 치아 영역의 면적을 연산하고, 보철물이 삽입될 방향에 따른 언더컷 및 블록 아웃영역을 고려하여 보철물이 삽입될 방향을 지정할 수 있다. 상기와 같은 보철물의 삽입 방향 지정을 통해 보철물의 삽입 효율 및 유지력을 향상시킬 수 있다. 보철물 삽입 방향 지정에 대한 구체적인 설명은 도 6 내지 도 10에 대한 설명에서 후술한다.
본 발명에서 보철물은 턱관절 장애, 치아외상, 충치, 잇몸질환 등을 치료하기 위해, 구강에 삽입되어 배치되는 구조물을 의미하고, 스플린트, 크라운, 인레이, 온레이, 코핑, 폰틱 및 비니어 등의 보철물을 포함하나, 본 발명의 기술적 사상은 상기 예시들에 제한되지 않는다.
언더컷은, 보철물이 삽입될 때, 환자의 치아에 걸려 충돌을 발생시키는 영역으로, 본 발명에서 언더컷은 보철물의 삽입 방향에 따라 해당 영역이 달라질 수 있다. 언더컷은 블랙 트라이앵글(Black Triangle), 외상으로 인한 치아 부분 손실, 치아 부식 뿐만 아니라 보철물의 삽입 방향에 따라 발생할 수 있어, 보철물 유지력, 보철물의 삽입 용이성 등을 위해 보철물 제작시 고려되어야 하는 요인일 수 있다.
사용자 인터페이스 장치(23)로부터 입력된 내면 오프셋 거리, 표면 매끄럽기 등을 기초로, 전자 장치(20)는 출력될 보철물의 내면을 설정할 수 있다. 상기 내면 오프셋 거리는, 스캔 데이터(100)와 보철물의 내면 사이에 법선 방향으로의 이격 거리를 의미할 수 있다. 상기 표면 매끄럽기는 보철물 내면의 거칠기를 의미할 수 있다.
전자 장치(20)는, 자동 정렬된 스캔 데이터(100)에 대한 보철물의 윤곽을 지정한다(S400).
사용자 인터페이스 장치(23)로부터 입력된 협측 높이, 설측 높이 등을 기초로, 전자 장치(20)는 출력될 보철물의 윤곽을 지정할 수 있다. 예를 들면, 보철물 제작시, 상기 협측 높이는 치아 영역의 하부면을 기준으로 볼을 향하는 치아 외벽의 높이이고, 예를 들면, 상기 협측 높이는 상악 스캔 데이터(101)의 치아 영역의 바닥면을 기준으로 치아 외벽을 타고 형성되는 높이를 의미할 수 있다. 상기 협측 높이가 높을수록, 형성되는 볼쪽 윤곽은 치은과 가까워진다. 상기 설측 높이는, 치아 영역의 하부면을 기준으로 혀를 향하는 치아 내벽의 높이이고, 예를 들면, 상기 설측 높이는 상악 스캔 데이터(101)의 치아 영역의 바닥면을 기준으로 치아 내벽을 타고 형성되는 높이를 의미할 수 있다. 상기 설측 높이가 높을수록, 형성되는 혀쪽 윤곽은 치은과 가까워진다.
전자 장치(20)는, 정렬된 스캔 데이터(100)에 대한 보철물의 외면을 설정한다(S500).
사용자 인터페이스 장치(23)로부터 입력된 두께, 표면 매끄럽기 등을 기초로, 전자 장치(20)는 출력될 보철물의 외면을 지정할 수 있다. 전자 장치(20)는 미리 정해진 교합 두께를 기초로, 보철물이 교합 방향으로 갖는 두께를 설정하여 보철물에 대한 3차원 이미지를 형성할 수 있다. 예를 들면, 보철물 제작시 상기 두께는 보철물의 내면에서부터 협측/설측 방향으로 두께를 의미할 수 있다. 상기 표면 매끄럽기는 보철물 외면의 거칠기를 의미할 수 있다. 상기 미리 정해진 교합 두께는 보철물이 교합 방향으로 연장되는 최대 두께값을 의미할 수 있다.
전자 장치(20)는, 단계 S300 내지 S500에서 설정 및 지정된 정보를 통해 보철물을 포함하는 3차원 이미지 데이터를 생성한다(S600). 생성된 보철물에 대한 3차원 이미지는 통신부(21)를 통해 외부 장치로 송신되어 보철물로 출력될 수 있다. 상기 외부 장치는 3D 프린트일 수 있으나, 실시예에 따라 상기 예시에 제한되지 않는다.
실시예에 따라, 전자 장치(20)는 사용자의 중간 입력없이 단계 S200 내지 단계 S500를 한 번에 수행할 수 있다. 전자 장치(20)는 스캔 데이터(100)를 로드하고(S100), 사용자로부터 내면 오프셋 거리, 표면 매끄럽기, 협측 높이, 설측 높이, 두께 등을 입력 받고, 사용자의 중간 개입없이 단계 S200 내지 단계 S500를 자동으로 수행하여 보철물에 대한 3차원 이미지 데이터를 생성할 수 있다(S600).
실시예에 따라, 전자 장치(20)는 메모리(25)에 저장된 내면 오프셋 거리, 표면 매끄럽기, 협측 높이, 설측 높이, 두께 등을 활용하여 사용자의 중간 개입없이 단계 S200 내지 단계 S500를 자동으로 수행할 수 있다.
전자 장치(20)는, 실시예에 따라 사용자의 중간 개입없이 단계 S200 내지 단계 S500를 자동으로 수행하여, 보철물 제작에 소요되는 시간을 줄일 수 있다.
실시예에 따라, 전자 장치(20)는, 로드된 스캔 데이터(100) 외에 별도의 입력없이 인공지능 알고리즘의 추론 동작을 통해 보철물에 대한 3차원 이미지 데이터를 생성할 수 있다(S600). 인공지능 알고리즘은 추론 동작 이전에 복수의 스캔 데이터와 대응되는 보철물에 대한 학습을 수행하여, 로드된 스캔 데이터(100)에 적합한 보철물의 3차원 이미지 데이터와 관련하여 추론 동작을 수행할 수 있다.
실시예에 따라, 전자 장치(20)는, 스캔 데이터(100) 내 상악 스캔 데이터(101)와 하악 스캔 데이터(102) 간의 교합상태나 악궁 간 최소거리(Distance to Antagonist)에 대한 사용자 입력을 통해, 단계 S300 내지 S500의 각 단계에서 교합상태나 악궁 간 최소거리를 조절할 수 있다. 상기 조절 동작 중에 전자 장치(20)는 스캔 데이터(100)에 대해 계산 동작을 수행하여, 교합상태나 악궁 간 최소거리를 함께 표시할 수 있다.
도 6 내지 도 10은 일 실시예에 따라, 보철물 삽입 방향을 결정하는 전자 장치의 이미지 처리 방법을 나타낸 도면들이다. 상기 보철물에는 스플린트, 크라운, 인레이, 온레이, 코핑, 폰틱 및 비니어 등을 포함하나, 본 발명의 기술적 사상은 상기 예시들에 제한되지 않는다.
도 6 및 도 7을 참조하면, 전자 장치(20)는 스캔 데이터(100)로부터 치아 영역을 추출한다(S310).
전자 장치(20)는 치아 영역의 추출 이전에 상악 스캔 데이터(101) 및 하악 스캔 데이터(102)를 포함하는 스캔 데이터(100) 중 적어도 하나를 선택할 수 있다. 전자 장치(20)는 선택된 스캔 데이터(100)를 기초로 최종 보철물 삽입 방향을 결정할 수 있고, 이후 보철물은 선택된 스캔 데이터(100)를 기초로 제작되고, 제작된 보철물은 선택된 스캔 데이터(100)에 대응하는 구강에 삽입될 수 있다.
전자 장치(20)는 선택된 스캔 데이터 중 치아 영역을 추출할 수 있다. 예를 들면, 전자 장치(20)는 선택된 상악 스캔 데이터(101)에 대하여 상악 치아 영역(301)을 추출할 수 있다. 전자 장치(20)는, 상악 스캔 데이터(101)의 곡률 정보, 교두 정보 등을 활용하여 상악 치아 영역(301)을 구분하여 추출하거나, 객체 인식 인공지능 알고리즘을 통해 치아 영역을 추출할 수 있다.
본 발명에서 전자 장치(20)의 이미지 처리 방법이 상악 스캔 데이터(101)에 적용되는 것을 중심으로 설명하나, 이에 제한되지 않고 실시예에 따라 전자 장치(20)의 이미지 처리 방법은 하악 스캔 데이터(102)에도 적용될 수 있다.
전자 장치(20)는 치아 영역(301)에 대한 전치부 치아 면적을 계산한다(S320).
전자 장치(20)는 추출된 상악 치아 영역(301) 중 전치부(An)와 구치부(Po)를 구분할 수 있다. 전자 장치(20)는 치아의 곡률 정보, 교두 정보 등을 활용하여 전치와 구치를 구분하거나, 객체 인식 인공지능 알고리즘을 통해 전치와 구치를 구분할 수 있다. 상기 교두 정보는 스캔 데이터 내 대합치가 접촉하는 교두점의 수, 배치 등을 포함할 수 있다.
전자 장치(20)는 구분된 전치부(An)의 면적인 전치부 치아 면적(S_An)을 계산할 수 있다.
전자 장치(20)는 보철물 삽입 방향을 설정한다(S330).
도 8을 추가적으로 참조하면, 전자 장치(20)는 교합평면(OccP)을 중심으로 상악 스캔 데이터(101)에 대한 보철물 삽입 방향(Dx)을 설정할 수 있다. 전자 장치(20)는 도 3의 단계 S200에서 설정된 상악 스캔 데이터(101)의 교합평면(OccP)과 정중선(ML)을 기초로 보철물 삽입 방향(Dx)을 설정할 수 있다.
전자 장치(20)는 보철물 삽입 방향(Dx)의 초기값을 교합평면(OccP)의 수직방향(PA)으로 설정하고, 정중선(ML) 방향으로 회전시키면서 보철물 삽입 방향(Dx)을 설정할 수 있다. 실시예에 따라, 보철물 삽입 방향(Dx)은 교합평면(OccP)의 수직방향(PA)과 정중선(ML)의 방향 사이로 연장되는 방향이고, 보철물 삽입 방향(Dx)과 교합평면(OccP)의 수직방향(PA)은 X도를 이룰 수 있다. 실시예에 따라, 교합평면(OccP)의 수직방향(PA)과 정중선(ML)은 서로 직교할 수 있으나, 이에 제한되지 않는다.
일 실시예에 따라, 전자 장치(20)는 교합평면(OccP) 내에서 연장되고 정중선(ML)과 수직하게 교차하는 수평 회전축(HA)을 중심으로 보철물 삽입 방향(Dx)을 회전하여 조정시킬 수 있다.
전자 장치(20)는 보철물 삽입 방향(Dx)에 따라 전치부 언더컷 면적을 계산한다(S340).
도 9를 추가적으로 참조하면, 전자 장치(20)는 보철물 삽입 방향(Dx)에 따른 전치부(An)의 언더컷(Ucx)을 계산할 수 있다. 실시예에 따라, 전자 장치(20)는 상악 스캔 데이터(101)의 전치부(An)에 대한 순측(Labial) 방향의 전치부 언더컷 면적(Ucx_AnL)을 연산할 수 있다.
전자 장치(20)는, 전치부 언더컷 면적(Ucx_AnL)이 전치부 치아 면적을 기초하는 설정 조건을 만족하는 지 여부를 확인한다(S350).
설정 조건은, 보철물 삽입 방향(Dx)에 따른 전치부 언더컷 면적(Ucx_AnL) 대 전치부 치아 면적(S_An)의 비가 미리 정해진 비율보다 작은 것을 포함할 수 있다. 상기 미리 정해진 비율은 0 내지 0.7이며, 바람직하게는 0.2 내지 0.5 이고, 더 바람직하게는 0.4 내지 0.5이나, 본 발명의 기술적 사상은 상기 수치 범위에 제한되지 않는다.
보철물 삽입 방향(Dx)에 대한 초기값 설정과 상기 설정 조건의 만족 여부에 대한 확인을 통해, 전자 장치(20)는 보철물 제작시 생성되는 언더컷의 양을 일정 수준 이하로 줄여, 언더컷 영향을 줄이면서 미리 정해진 기준으로 복수의 구강에 대해 일률적인 유지력을 갖는 보철물 모델을 제공할 수 있고, 상기 설정 조건의 설정을 통해 전치부 및 구치부의 유지력을 모두 고려하여 스플린트 내면을 설정할 수 있다.
전자 장치(20)는, 상기 설정 조건이 만족하지 못한 경우, 단계 S330 내지 S350을 반복하는 동작을 수행하여 조정한다. 전자 장치(20)는, 반복 동작을 통해, 보철물 삽입 방향(Dx)을 교합평면 수직방향(PA)에서 정중선(ML)의 진행 방향으로 회전시켜 언더컷 영향을 줄인 보철물 삽입 방향(Dx)을 설정할 수 있다. 상기 반복 동작을 통해, x도는 0.1도 기준으로 조절될 수 있으나, 이에 제한되지 않으며 사용자의 입력을 통해 변경되어 반복될 수 있다.
상기 설정 조건이 만족하는 경우, 전자 장치(20)는 보철물 삽입 방향(Dx)을 보정한다(S360).
도 10을 추가적으로 참조하면, 전자 장치(20)는 보철물 삽입 방향(Dx)을 보정 삽입 방향(Dx')으로 보정할 수 있다. 실시예에 따라, 전자 장치(20)는 삽입 방향(Dx)을 수평 회전축(HA)을 따라 미리 정해진 각도로 회전시켜 보정 삽입 방향(Dx')으로 보정시킬 수 있으나, 실시예에 따라 보정 방향은 달라질 수 있으며 상기 예시에 제한되지 않는다. 상기 미리 정해진 각도는 1도 내지 20도일 수 있으며, 바람직하게는 5도 내지 10도일 수 있으나, 이에 제한되지 않는다. 해당 단계 S360에서 상기 미리 정해진 각도는, 복수의 보철물 제작에서 획득된 보철물 유지력 상승을 위한 평균적인 보상 각도일 수 있고, 사용자 인터페이스 장치(23)를 통해 입력될 수 있다.
일 실시예에 따라, 전자 장치(20)는, 미리 정해진 각도 외에 별도의 입력없이 인공지능 알고리즘의 추론 동작을 통해 보철물 삽입 방향(Dx)에 대한 보상 동작을 수행할 수 있다(S360). 인공지능 알고리즘은 추론 동작 이전에 복수의 스캔 데이터와 대응되는 보철물 삽입 방향에 대한 학습을 수행하여, 보철물 삽입 방향에 대한 보상 각도와 관련하여 추론 동작을 수행할 수 있다.
전자 장치(20)는, 보정 단계를 수행한 보정 삽입 방향(Dx')을 표시하고, 보철물 내면 설정에 대한 최종 보철물 보철물 삽입 방향(D)을 표시 및 결정한다(S370).
전자 장치(20)는, 도 10에서 도시된 것과 같이 상악 스캔 데이터(101)와 보정 삽입 방향(Dx')을 표시하고 보철물 내면 설정을 위한 최종 보철물 삽입 방향(D)으로 표시 및 결정할 수 있다.
실시예에 따라, 표시된 보정 삽입 방향(Dx')은 사용자 인터페이스 장치(23)의 입력을 통해 수동으로 조절되거나, 사용자 인터페이스 장치(23)의 입력에 따라 보철물 삽입 방향이 계산 및 추천되어 보철물 내면 설정을 위한 최종 보철물 삽입 방향(D)이 결정될 수 있다.
상기 단계 S310 내지 S370을 통해 보철물 내면 설정을 위한 최종 보철물 삽입 방향(D)을 결정하여, 일 실시예에 따른 전자 장치(20)는 복수의 구강에 대해 일률적인 유지력을 갖는 보철물 모델을 제공할 수 있다. 또한, 일 실시예에 따른 전자 장치(20)는 반복되는 블록 아웃 방향 결정을 자동화하여 보철물 제작의 생산성을 높인다.
본 개시의 일 실시예에 따른 이미지 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시예는, 이미치 처리 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어에 대한 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 적어도 하나의 구강 이미지를 수신하는 단계;
    상기 적어도 하나의 구강 이미지에 대응하는 스캔 데이터의 적어도 일부에 대한 면적을 기초로 연산하는 단계; 및
    상기 연산 단계를 기초로, 상기 스캔 데이터에 대한 최종 보철물 삽입 방향을 표시하는 단계;
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 연산 단계는,
    상기 스캔 데이터로부터 치아 영역을 추출하고,
    상기 치아 영역에 대한 전치부 치아 면적을 계산하고,
    상기 치아 영역에 대한 보철물 삽입 방향을 설정하고,
    상기 보철물 삽입 방향을 기초로, 상기 스캔 데이터의 언더컷 영역에 대한 전치부 언더컷 면적을 계산하고,
    상기 전치부 언더컷 면적이 상기 전치부 치아 면적을 기초하는 설정 조건을 만족하는 지를 확인하고,
    상기 전치부 언더컷 면적의 상기 설정 조건에 대한 만족 여부를 확인하는 것에 대응하여, 상기 보철물 삽입 방향을 보상하는 것을 포함하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 전치부 언더컷 면적을 계산하는 것은,
    상기 스캔 데이터에 대해 전치부 영역과 구치부 영역을 분리하고,
    상기 보철물 삽입 방향을 기초로, 상기 스캔 데이터의 순측 방향에 대하여 상기 전치부 영역의 언더컷 면적을 계산하는 것을 포함하는 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 설정 조건은, 상기 전치부 언더컷 면적 대 상기 전치부 치아 면적의 비가 미리 정해진 비율보다 작은 것을 포함하는 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 미리 정해진 비율은 0 내지 0.7인 이미지 처리 방법
  6. 제2항에 있어서,
    상기 연산 단계는,
    상기 전치부 언더컷 면적이 상기 설정 조건을 만족하지 못하면, 상기 보철물 삽입 방향을 설정하고, 상기 보철물 삽입 방향에 따른 상기 전치부 언더컷 면적을 계산하고, 상기 전치부 언더컷 면적에 대한 상기 설정 조건의 만족 여부를 확인하는 것을 반복하는 것을 더 포함하는 이미지 처리 방법
  7. 제2항에 있어서,
    상기 스캔 데이터는 상악 스캔 데이터 또는 하악 스캔 데이터 중 적어도 하나를 포함하고,
    상기 치아 영역을 추출하는 것은, 상악 스캔 데이터 또는 하악 스캔 데이터 중 적어도 하나의 데이터를 선택하고, 선택된 상기 적어도 하나의 데이터에 대해 치아 영역을 추출하는 것을 포함하는 이미지 처리 방법.
  8. 제2항에 있어서,
    상기 보철물 삽입 방향을 설정하는 것은,
    상기 스캔 데이터의 교합평면 내에서 연장되고 상기 스캔 데이터의 정중선과 교차하는 수평 회전축을 중심으로 조정되는 것을 포함하는 이미지 처리 방법.
  9. 제8항에 있어서,
    상기 보철물 삽입 방향을 설정하는 것은,
    상기 교합평면의 수직 방향과 나란한 방향을 시점으로 상기 정중선 방향으로 회전시키는 것을 포함하는 이미지 처리 방법.
  10. 제8항에 있어서,
    상기 보철물 삽입 방향을 보상하는 것은,
    상기 보철물 삽입 방향을 순측 방향으로 미리 정해진 각도로 회전시키는 것을 포함하는 이미지 처리 방법.
  11. 사용자 인터페이스 장치;
    프로세서 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하되,
    상기 프로세서는, 상기 명령어들을 실행하여,
    적어도 하나의 구강 이미지를 수신하고,
    상기 적어도 하나의 구강 이미지에 대응하는 스캔 데이터의 적어도 일부에 대한 면적을 기초로 연산하고,
    상기 연산 동작을 기초로, 상기 스캔 데이터에 대한 최종 보철물 삽입 방향을 표시하는 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서의 상기 연산 동작은,
    상기 스캔 데이터로부터 치아 영역을 추출하고,
    상기 치아 영역에 대한 전치부 치아 면적을 계산하고,
    상기 치아 영역에 대한 보철물 삽입 방향을 설정하고,
    상기 보철물 삽입 방향을 기초로, 상기 스캔 데이터의 언더컷 영역에 대한 전치부 언더컷 면적을 계산하고,
    상기 전치부 언더컷 면적이, 상기 전치부 치아 면적을 기초하는 설정 조건을 만족하는 지 여부를 확인하고,
    상기 전치부 언더컷 면적의 상기 설정 조건에 대한 만족 여부를 확인하는 것에 대응하여, 상기 보철물 삽입 방향을 보상하는 것을 포함하는 전자 장치.
  13. 제12항에 있어서,
    상기 전치부 언더컷 면적을 계산하는 것은,
    상기 스캔 데이터에 대해 전치부 영역과 구치부 영역을 분리하고,
    상기 보철물 삽입 방향을 기초로, 상기 스캔 데이터의 순측 방향에 대하여 상기 전치부 영역의 언더컷 면적을 계산하는 것을 포함하는 전자 장치.
  14. 제13항에 있어서,
    상기 설정 조건은, 상기 전치부 언더컷 면적 대 상기 전치부 치아 면적의 비가 미리 정해진 비율보다 작은 것을 포함하는 전자 장치.
  15. 제14항에 있어서,
    상기 미리 정해진 비율은 0 내지 0.7인 전자 장치.
  16. 제12항에 있어서,
    상기 프로세서의 상기 연산 동작은,
    상기 전치부 언더컷 면적이 상기 설정 조건을 만족하지 못하면, 상기 보철물 삽입 방향을 설정하고, 상기 전치부 언더컷 면적을 계산하고, 상기 전치부 언더컷 면적의 상기 설정 조건에 대한 만족 여부를 확인하는 것을 반복하는 것을 더 포함하는 전자 장치.
  17. 제12항에 있어서,
    상기 보철물 삽입 방향을 설정하는 것은,
    상기 스캔 데이터의 교합평면 내에서 연장되고 상기 스캔 데이터의 정중선과 교차하는 수평 회전축을 중심으로 조정되는 것을 포함하는 전자 장치.
  18. 제17항에 있어서,
    상기 보철물 삽입 방향을 설정하는 것은,
    상기 교합평면의 수직 방향과 나란한 방향을 시점으로 상기 정중선 방향으로 회전시키는 것을 포함하는 전자 장치.
  19. 제17항에 있어서,
    상기 보철물 삽입 방향을 보상하는 것은,
    상기 보철물 삽입 방향을 순측 방향으로 미리 정해진 각도로 회전시키는 것을 포함하는 전자 장치.
  20. 컴퓨터에 의해 판독 가능한 명령어들을 포함하는 컴퓨터 판독 가능 저장 매체로서,
    상기 명령어들은, 컴퓨터로 하여금,
    적어도 하나의 구강 이미지를 수신하는 단계;
    상기 적어도 하나의 구강 이미지에 대응하는 스캔 데이터의 적어도 일부에 대한 면적을 기초로 연산하는 단계; 및
    상기 연산 단계를 기초로, 상기 스캔 데이터에 대한 최종 보철물 삽입 방향을 표시하는 단계;
    를 수행하게 하는 컴퓨터 판독 가능 저장 매체.
KR1020230090640A 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체 KR20240009899A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/010062 WO2024014913A1 (ko) 2022-07-13 2023-07-13 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220086432 2022-07-13
KR20220086432 2022-07-13

Publications (1)

Publication Number Publication Date
KR20240009899A true KR20240009899A (ko) 2024-01-23

Family

ID=89713674

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020230090640A KR20240009899A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
KR1020230090638A KR20240009897A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
KR1020230090639A KR20240009898A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
KR1020230090641A KR20240009900A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
KR1020230090642A KR20240009901A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020230090638A KR20240009897A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
KR1020230090639A KR20240009898A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
KR1020230090641A KR20240009900A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
KR1020230090642A KR20240009901A (ko) 2022-07-13 2023-07-12 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체

Country Status (1)

Country Link
KR (5) KR20240009899A (ko)

Also Published As

Publication number Publication date
KR20240009901A (ko) 2024-01-23
KR20240009900A (ko) 2024-01-23
KR20240009897A (ko) 2024-01-23
KR20240009898A (ko) 2024-01-23

Similar Documents

Publication Publication Date Title
US20230346513A1 (en) Visual presentation of gingival line generated based on 3d tooth model
EP3813722B1 (en) Providing a simulated outcome of dental treatment on a patient
US11534275B2 (en) Method for constructing a restoration
KR20220104036A (ko) 2차원 스케치로부터 3차원 치아 복원물을 생성하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체
CN102438545B (zh) 用于有效计划、可视化和优化牙修复体的系统和方法
JP7398512B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
US20240058099A1 (en) Automatic creation of a virtual model and an orthodontic treatment plan
EP4218660A1 (en) Method and device for generating orthodontic theeth alignment shape
Dai et al. Gingival morphology‐controlled design of the complete denture baseplate
KR20240009899A (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능저장 매체
JP2023099629A (ja) 識別装置、スキャナシステム、識別方法、および識別用プログラム
WO2024014913A1 (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체
CN116710024A (zh) 优化弓形线的方法和使用该方法的装置
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
WO2024014909A1 (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체
WO2024014915A1 (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체
JP7405809B2 (ja) 推定装置、推定方法、および推定プログラム
WO2024014912A1 (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체
WO2024014914A1 (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체
JP7195466B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
JP7267974B2 (ja) 識別装置、スキャナシステム、識別方法、および識別用プログラム
US20240024076A1 (en) Combined face scanning and intraoral scanning
JP7507135B2 (ja) 推定装置、推定方法、および推定プログラム
US20240185520A1 (en) Intraoral image processing device and intraoral image processing method
KR102591976B1 (ko) 구강에 대한 마진 라인 정보를 제공하는 방법 및 그를 수행하는 전자 장치