KR20220145598A - 구강 이미지 처리 장치 및 구강 이미지 처리 방법 - Google Patents

구강 이미지 처리 장치 및 구강 이미지 처리 방법 Download PDF

Info

Publication number
KR20220145598A
KR20220145598A KR1020210052364A KR20210052364A KR20220145598A KR 20220145598 A KR20220145598 A KR 20220145598A KR 1020210052364 A KR1020210052364 A KR 1020210052364A KR 20210052364 A KR20210052364 A KR 20210052364A KR 20220145598 A KR20220145598 A KR 20220145598A
Authority
KR
South Korea
Prior art keywords
additional information
oral
image
image processing
information input
Prior art date
Application number
KR1020210052364A
Other languages
English (en)
Other versions
KR102544203B1 (ko
Inventor
이동훈
김두수
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to KR1020210052364A priority Critical patent/KR102544203B1/ko
Priority to EP22792031.1A priority patent/EP4327772A1/en
Priority to PCT/KR2022/005665 priority patent/WO2022225332A1/ko
Publication of KR20220145598A publication Critical patent/KR20220145598A/ko
Application granted granted Critical
Publication of KR102544203B1 publication Critical patent/KR102544203B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035—Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351—Scanning mechanisms
    • A61B2018/20353—Scanning in three dimensions [3D]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)

Abstract

제1 구강 이미지를 획득하는 단계 및 입력된 부가 정보를 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함하는 구강 이미지 처리 방법이 개시된다.

Description

구강 이미지 처리 장치 및 구강 이미지 처리 방법{An intraoral image processing apparatus, an intraoral image processing method}
개시된 실시 예는 구강 이미지 처리 장치 및 구강 이미지 처리 방법에 대한 것으로, 보다 구체적으로, 구강 이미지를 처리 또는 가공하기 위한 장치 및 그 방법에 관한 것이다.
최근에는 환자의 치과 치료를 위해서, 환자의 구강에 삽입하여 구강 내의 이미지를 획득하는 구강 스캐너가 이용되고 있다. 구강 스캐너는 환자의 구강을 스캔함으로써 2차원 이미지 데이터를 획득할 수 있다. 2차원 이미지 데이터는 스캔된 구강 내부를 나타내는 이미지 형태의 데이터가 될 수 있다. 또한, 구강 스캐너에 연결된 PC 등의 컴퓨팅 장치는, 구강 스캐너가 획득한 2차원 이미지 데이터를 이용하여 3차원 구강 모델을 생성할 수 있다. 이하에서는, 2차원 스캔 데이터를 처리하는 컴퓨팅 장치를 구강 이미지 처리 장치라 칭하도록 한다.
3차원 구강 모델은 기공소로 전달되고, 기공소는 3차원 구강 모델을 이용하여 환자의 구강에 맞는 보철물 등을 제작하게 된다. 구체적으로, 치기공사 등과 같은 사용자는 수신된 3차원 구강 모델을 이용하여, 보철물 등과 같은 인공 구조물은 제작할 수 있다.
여기서, 치기공사 등과 같은 사용자가 보다 편리하고 정확하게 치과 치료에 이용되는 인공 구조물을 제작할 수 있도록 구강 이미지를 처리하는 방법 및 장치를 제공할 필요가 있다.
다양한 실시 예들은 구강 이미지에서 부가 정보 입력 영역을 식별하는 구강 이미지 처리 장치 및 그 방법을 제공하기 위한 것이다.
다양한 실시 예들은 구강 이미지에 부가 정보를 임베딩하는 구강 이미지 처리 장치 및 그 방법을 제공하기 위한 것이다.
실시 예에 따른 구강 이미지 처리 방법은 제1 구강 이미지를 획득하는 단계 및 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 상기 제1 구강 이미지에서 부가 정보를 표시할 수 있는 부가 정보 입력 영역을 식별하는 단계를 더 포함할 수 있다.
실시 예에서, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 제1 구강 이미지의 구강 영역 외의 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 타겟이 되는 치아 및 치은 중 적어도 하나를 선택 받는 단계를 더 포함하고, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 선택된 치아 및 치은 중 적어도 하나로부터 소정 범위 내의 영역을 제외한 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 부가 정보 입력 영역을 식별하는 단계는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 뉴럴 네트워크를 이용하여 상기 제1 구강 이미지로부터 상기 부가 정보 입력 영역을 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 상기 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면을 출력하는 단계를 더 포함하고, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 사용자 인터페이스 화면에 대응하여, 선택된 영역을 상기 부가 정보 입력 영역으로 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 상기 식별된 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면, 및 상기 식별된 부가 정보 입력 영역 내에 상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면 중 적어도 하나의 화면을 출력하는 단계를 더 포함할 수 있다.
실시 예에서, 상기 입력된 부가 정보가 소정 크기 이상인 경우 및 상기 부가 정보가 표시된 상기 부가 정보 입력 영역이 복수 개인 경우 중 적어도 하나인 경우, 상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면을 출력하는 단계는 상기 부가 정보 대신 상기 부가 정보 입력 영역의 위치를 표시하는 식별자 또는 상기 부가 정보 입력 영역의 크기를 축소하여 출력하는 단계를 포함할 수 있다.
실시 예에서, 상기 부가 정보는 문자 및 이미지 중 적어도 하나를 포함할 수 있다.
실시 예에서, 상기 제1 구강 이미지는 3차원 스캔 데이터이고, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 제1 구강 이미지로 매핑되는 2차원 이미지의 픽셀의 변수나 색상 값을 상기 부가 정보에 대응하는 값으로 대체함으로써, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함할 수 있다.
실시 예에서, 상기 제1 구강 이미지는 점 및 메쉬(mesh) 중 적어도 하나로 표현되는 3차원 스캔 데이터이고, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 부가 정보에 포함된 문자 및 이미지 중 적어도 하나의 윤곽선에 대응하는 위치에 있는 상기 제1 구강 이미지의 점, 정점(vertex), 및 상기 정점으로 이루어진 폴리곤 중 적어도 하나의 색상을 변경하여, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함할 수 있다.
실시 예에 따른 구강 이미지 처리 장치는 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 구강 이미지를 획득하고, 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득할 수 있다.
일 실시 예에 따른 구강 이미지의 처리 방법 및 그에 따른 동작을 수행하는 장치는 구강 이미지에서 부가 정보 입력 영역을 식별할 수 있다.
일 실시 예에 따른 구강 이미지의 처리 방법 및 그에 따른 동작을 수행하는 장치는 구강 이미지에 부가 정보를 임베딩할 수 있다.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 실시 예에 따라, 구강 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 실시 예에 따른 구강 이미지 처리 장치의 블록도이다.
도 4는 실시 예에 따른 구강 이미지 처리 장치의 내부 블록도이다.
도 5는 실시 예에 따라, 획득된 제2 구강 이미지를 도시한 도면이다.
도 6은 실시 예에 따라, 부가 정보 입력 영역을 포함하는 사용자 인터페이스 화면을 도시한 도면이다.
도 7은 일 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
도 8은 다른 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
도 9는 실시 예에 따라, 메쉬의 색상을 변경하여 부가 정보를 스캔 데이터에 임베딩하는 것을 설명하기 위한 도면이다.
도 10은 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 도시한 순서도이다.
본 명세서는 본 출원의 권리범위를 명확히 하고, 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 본 출원을 실시할 수 있도록, 본 출원의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 출원이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 출원의 작용 원리 및 실시 예들에 대해 설명한다.
본 명세서에서 이미지는 적어도 하나의 치아, 또는 적어도 하나의 치아를 포함하는 구강을 나타내는 이미지(이하, '구강 이미지')를 포함할 수 있다.
또한, 본 명세서에서 이미지는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 구강 모델 또는 3차원 이미지가 될 수 있다.
또한, 본 명세서에서 데이터는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 카메라를 이용하여 획득된 로우 데이터(raw data) 등을 의미할 수 있다.
구체적으로, 로우 데이터는 구강 이미지를 생성하기 위해서 획득되는 데이터로, 구강 스캐너(intraoral scanner)를 이용하여 대상체인 환자의 구강 내를 스캔(scan)할 때 구강 스캐너에 포함되는 적어도 하나의 이미지 센서에서 획득되는 데이터(예를 들어, 2차원 데이터)가 될 수 있다. 구강 스캐너에서 획득되는 로우 데이터는, 스캔 데이터 또는 2차원 이미지 데이터로 언급될 수도 있다. 로우 데이터는, 구강 스캐너를 이용하여 대상체를 스캔할 때 복수의 카메라들에 의해 획득되는 서로 다른 시점의 2차원 이미지들을 의미할 수 있다.
본 명세서에서 대상체(object)는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 대상체는 적어도 하나의 치아를 포함하는 구강을 포함할 수 있다. 이와 함께, 또는 이와 별개로, 대상체는 구강을 본 뜬 석고 모델, 틀니나 의치 등의 덴쳐(denture), 이(teeth) 형상의 덴티폼(dentiform) 등을 포함할 수 있다. 예컨대, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 교정 장치, 임플란트, 크라운, 인레이, 온레이, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 여기서, 교정 장치는 브라켓, 어태치먼트(attachment), 교정용 나사, 설측 교정 장치, 및 가철식 교정 유지 장치 중 적어도 하나를 포함할 수 있다.
전술한 바와 같이, 구강 스캐너에서 획득된 2차원 스캔 데이터에 근거하여 3차원 구강 모델을 생성할 수 있다. 3차원 구강 모델은 치과 치료에 이용되는 인공 구조물의 생성을 위하여, 기공소 등으로 전송될 수 있다.
3차원 구강 모델을 전송하는데 있어서, 치과의는 환자의 치과 치료와 관련되는 특이 사항이나 요청 사항 등의 부가 정보를 기공소로 전달하고자 하는 경우가 있을 수 있다. 이를 위해, 치과의는 전달하고자 하는 부가 정보가 적힌 문서를 기공소로 전달하거나, 부가 정보를 포함하는 이메일이나 문자, 파일 등을 통신망을 이용하여 기공소로 전송할 수 있다.
그러나, 문서, 이메일, 파일 등은 모두 3차원 구강 모델과는 별도로 작성되고 전달된다는 점에서, 3차원 구강 모델에 맞지 않는 잘못된 정보가 전달될 가능성이 있다. 또한, 기공소는 3차원 구강 모델과 별도로 이러한 부가 정보를 수신하여 이를 3차원 구강 모델과 함께 관리하여야 한다는 점에서 관리가 번거롭다는 문제가 있다.
그러므로, 개시된 실시예는 전술한 문제점을 극복하기 위해서, 3차원 구강 모델과 같은 구강 이미지에 부가 정보를 포함시켜 함께 전송할 수 있도록 하는 방법 및 장치를 제공한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 구강 이미지 처리 시스템은 3차원 스캐너(110), 및 3차원 스캐너(110)와 통신망(130)을 통해 결합된 구강 이미지 처리 장치(120)를 포함할 수 있다.
3차원 스캐너(110)는 대상체의 이미지를 획득하는 의료 장치이다. 대상체는 구강, 구강을 본 뜬 석고 모형, 덴쳐, 덴티폼 중 적어도 하나를 포함할 수 있다.
3차원 스캐너(110)는 테이블 스캐너와 구강 스캐너 중 적어도 하나를 포함할 수 있다. 테이블 스캐너는 대상체, 예컨대, 석고 모형이나 덴쳐, 덴티폼 등을 스캔하여 스캔 데이터를 획득할 수 있다. 테이블 스캐너는 테이블의 회전을 이용하여 대상체를 스캔함으로써 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다.
구강 스캐너는 사용자가 손으로 잡고 이동하면서 구강을 스캔하는 핸드 헬드(handheld)형일 수 있다. 3차원 스캐너(110)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 이미지를 획득할 수 있다. 또한, 3차원 스캐너(110)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 이미지 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔 할 수 있다. 3차원 스캐너(110)는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어 등을 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다.
3차원 스캐너(110)에서 획득된 2차원 이미지 데이터는 통신망(130)를 통하여 연결되는 구강 이미지 처리 장치(120)로 전송될 수 있다.
구강 이미지 처리 장치(120)는 3차원 스캐너(110)와 유선 또는 무선 통신망(130)을 통하여 연결되며, 3차원 스캐너(110)로부터 대상체를 스캔하여 획득된 2차원 이미지 데이터를 수신하고, 수신된 2차원 이미지 데이터에 근거하여 구강 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다.
구강 이미지 처리 장치(120)는 3차원 스캐너(110)에서 수신된 2차원 이미지 데이터에 근거하여, 2차원 이미지 데이터를 처리하여 생성한 정보 및 2차원 이미지 데이터를 처리하여 생성한 구강 이미지 중 적어도 하나를 생성하고, 생성된 정보 및 구강 이미지를 디스플레이(125)를 통하여 디스플레이 할 수 있다.
구강 이미지 처리 장치(120)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으나, 이에 한정되지 않는다.
구강 이미지 처리 장치(120)는 구강 이미지를 처리하기 위한 서버(또는 서버 장치) 등의 형태로 존재할 수도 있다.
3차원 스캐너(110)는 구강 스캔을 통하여 획득한 로우 데이터(raw data)를 그대로 구강 이미지 처리 장치(120)로 전송할 수 있다. 이 경우, 구강 이미지 처리 장치(120)는 수신된 로우 데이터에 근거하여 구강을 3차원적으로 나타내는 3차원 구강 이미지를 생성할 수 있다. 또한, '3차원 구강 이미지'는 수신된 로우 데이터에 근거하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 생성될 수 있으므로, '3차원 구강 모델'로 호칭될 수도 있다. 이하에서는, 구강을 2차원 또는 3차원적으로 나타내는 모델 또는 이미지를 통칭하여, '구강 이미지'라 칭하도록 한다.
구강 이미지 처리 장치(120)는 생성된 구강 이미지를 분석 및/또는 처리하여 이를 디스플레이(125) 및/또는 외부 장치로 출력하거나 전송할 수 있다.
또 다른 예로, 3차원 스캐너(110)가 구강 스캔을 통하여 로우 데이터(raw data)를 획득하고, 획득된 로우 데이터를 가공하여 대상체인 구강에 대응되는 이미지를 생성하여 구강 이미지 처리 장치(120)로 전송할 수 있다.
실시 예에서, 3차원 스캐너(110)는 대상체에 패턴 광을 조사(project)하고 패턴 광이 조사된 대상체를 스캔함으로써, 패턴의 변형에 의한 삼각 계측의 원리를 이용하여 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다.
실시 예에서, 3차원 스캐너(110)는 공초점(confocal) 방식을 이용하여 대상체에 대한 3차원 데이터를 획득할 수도 있다. 공초점 방식은 3차원 표면 측정을 위한 비파괴 광학 영상화 기법으로, 핀홀 구조를 이용하여 공간해상도가 높은 광학 단면 이미지를 획득할 수 있다. 3차원 스캐너(110)는 축 방향을 따라 획득한 2차원 이미지를 스택(stack)하여 3차원 데이터를 획득할 수 있다.
그러나, 이는 실시 예로, 3차원 스캐너(110)는 전술한 방법 외에도 다양한 방식을 이용하여 로우 데이터로부터 구강 이미지를 획득할 수 있다. 3차원 스캐너(110)는 3차원 데이터를 구강 이미지 처리 장치(120)로 전송할 수 있다. 이 경우, 구강 이미지 처리 장치(120)는 수신된 이미지를 분석, 처리, 가공, 디스플레이 및/또는 전송할 수 있다.
도 2는 실시 예에 따라, 구강 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
실시 예에서, 3차원 스캐너(110)는 적어도 하나 이상의 카메라를 이용하여 이미지를 획득하고, 획득한 이미지에 기반하여 3차원 데이터를 획득할 수 있다. 도 2에서, 3차원 스캐너(110)는 광학식 3차원 스캐너일 수 있다. 3차원 스캐너(110)는 대상체(210)의 표면에 대한 3차원 데이터를 획득하기 위해, 양안시 구조광(structured light with stereo vision) 방식을 이용할 수 있다.
3차원 스캐너(110)는 두 개 이상의 카메라(230, 240)와 구조광(structured light)(225)을 투사할 수 있는 프로젝터(220)를 포함할 수 있다. 실시 예에서, 3차원 스캐너(110)는 대상체(210)에게 구조광(225)을 투사하고, 좌안 시야(left Field of View)에 대응되는 L 카메라(230)과 우안 시야(Right Field of View)에 대응되는 R 카메라(240) 각각에서 좌안 시야에 대응되는 L 이미지(235) 및 우안 시야에 대응되는 R 이미지(245)를 획득할 수 있다. L 이미지(235) 및 R 이미지(245)는, 대상체(210)의 표면을 나타내는 3차원 이미지 프레임으로 재구성될 수 있다.
3차원 스캐너(110)는 대상체(210)에 대한 L 이미지(235) 및 R 이미지(245)를 포함하는 2차원 이미지 프레임을 연속적으로 획득할 수 있다. 3차원 스캐너(110) 또는 구강 이미지 처리 장치(120)는, L 이미지(235) 및 R 이미지(245)를 포함하는 2차원 이미지 프레임으로부터 대상체(210)의 표면 형상을 나타내는 3차원 이미지 프레임을 획득할 수 있다. 도 2에서는, 3차원 스캐너(110)가 두 개의 카메라(230, 240)를 이용하여 획득한 두 개의 이미지로부터 3차원 데이터를 획득하는 것을 설명하였으나, 이는 하나의 실시 예로, 3차원 스캐너(110)는 두 개의 카메라(230, 240) 중 어느 하나의 카메라만을 이용하여 이미지를 획득할 수도 있다.
3차원 스캐너(110)는, 대상체(210) 주위를 이동하면서 일정한 시간 간격(예를 들어, 초당 10~30 프레임)으로 대상체(210)를 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 3차원 스캐너(110) 또는 구강 이미지 처리 장치(120)는 복수의 2차원 이미지 프레임들로부터 복수의 3차원 이미지 프레임들을 획득할 수 있다.
구강 이미지 처리 장치(120)는, 복수의 3차원 이미지 프레임들을 병합(merge) 또는 위치 정렬(align)함으로써 대상체(210) 전체에 대한 3차원 구강 모델을 획득할 수 있다.
도 3은 실시 예에 따른 구강 이미지 처리 장치의 내부 블록도이다.
구강 이미지 처리 장치(300)는 데이터 처리 장치로도 호칭될 수 있다.
도 3의 구강 이미지 처리 장치(300)는 도 1의 구강 이미지 처리 장치(120)의 일 실시 예일 수 있다. 따라서, 도 1의 구강 이미지 처리 장치(120)에 대해 설명한 내용과 중복된 부분에 대한 설명은 생략한다.
구강 이미지 처리 장치(300)는 3차원 스캐너(110)로부터 수신한 2차원 이미지 데이터를 이용하여 구강 이미지를 생성, 처리, 가공, 디스플레이 및/또는 전송할 수 있는 전자 장치일 수 있다.
도 3을 참조하면, 구강 이미지 처리 장치(300)는 프로세서(310), 메모리(320) 및 사용자 입력부(330)를 포함할 수 있다.
구체적으로, 구강 이미지 처리 장치(300)는 사용자 입력부(330), 하나 이상의 인스트럭션을 저장하는 메모리(320), 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서(310)를 포함한다. 그리고, 프로세서(310)는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 구강 이미지를 획득하고, 상기 사용자 입력부를 통해 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득한다.
예를 들어, 실시 예에 따른 메모리(320)는 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(320)는 프로세서(310)가 실행하는 적어도 하나의 인스트럭션이나 프로그램을 저장하고 있을 수 있다.
또한, 메모리(320)는 3차원 스캐너(110)로부터 수신되는 데이터, 예를 들어, 구강 스캔을 통하여 획득된 로우 데이터 등을 저장할 수 있다. 또는, 메모리(320)는 구강을 3차원적으로 나타내는 구강 이미지를 저장할 수 있다.
실시 예에서, 메모리(320)는 구강 이미지에서 부가 정보 입력 영역을 식별하기 위한 하나 이상의 인스트럭션을 포함할 수 있다.
실시 예에서, 프로세서(310)가 뉴럴 네트워크를 이용하여 부가 정보 입력 영역을 식별하는 경우, 메모리(320)는 뉴럴 네트워크를 저장할 수 있다.
실시 예에서, 메모리(320)는 부가 정보 입력을 위한 전용 소프트웨어를 저장할 수 있다. 부가 정보 입력을 위한 전용 소프트웨어는 전용 프로그램, 전용 툴(tool), 또는 전용 어플리케이션 등으로 호칭될 수 있다.
실시 예에서, 메모리(320)는 구강 이미지에 부가 정보를 임베딩하기 위한 하나 이상의 인스트럭션을 포함할 수 있다.
실시 예에 따른 사용자 입력부(330)는 구강 이미지 처리 장치(300)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(330)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지정 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 사용자 입력부(330)는 음성 인식을 위한 음성 인식 장치를 포함할 수 있다. 예를 들어, 음성 인식 장치는 마이크로폰이 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(310)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.
실시 예에서, 사용자 입력부(330)는 치과의 등의 사용자로부터 부가 정보를 입력 받을 수 있다. 부가 정보는 사용자가 구강 이미지에 부수적으로 기록하고자 하는 정보를 의미할 수 있다. 예컨대, 부가 정보는 구강과 관련된 정보나 환자와 관련된 정보, 기타 요청 사항 등을 포함할 수 있다. 또 다른 예로, 부가 정보는 구강 이미지에 근거하여 인공 구조물을 제작할 때 이용 또는 참조되는 정보를 포함할 수 있다.
치과의는 사용자 입력부(330)를 이용하여 3차원 스캔 데이터에 포함된 치아나 치은과 관련하여 코멘트하고자 하는 내용 등을 부가 정보로 입력할 수 있다. 예컨대, 사용자(예를 들어, 치과의)는 키보드 등을 이용하여 문자로 된 부가 정보를 타이핑하거나 또는 마우스나 터치 패널 등을 이용하여 이미지 등을 부가 정보로 생성하고 이를 부가 정보로 입력할 수 있다.
부가 정보는 기호, 문자, 이미지 및 색상 중 적어도 하나를 포함할 수 있다. 부가 정보에 포함된 문자는 한글, 알파벳, 한자 등의 언어 표기 문자, 특수 문자, 숫자, 구두점 중 적어도 하나를 포함할 수 있다. 이외에도, 부가 정보는 도형, 화살표, 선, 패턴, 기호 중 적어도 하나를 포함할 수 있다. 예를 들어, 부가 정보는 환자에 대한 정보를 나타내는 문자 및 기호의 조합이 될 수 있다. 또한, 부가 정보는 2차원 또는 3차원적으로 표현될 수 있다. 예를 들어, 부가 정보는 환자에 대한 정보를 나타내는 텍스트로 2차원 상에서 표현되는 정보가 될 수 있다.
사용자는 부가 정보 입력을 위한 프로그램이나 툴, 또는 어플리케이션으로 등을 이용하여 부가 정보를 입력하고, 이를 편집할 수 있다.
실시 예에 따른 프로세서(310)는 구강 이미지 처리 장치(300) 전반을 제어할 수 있다. 프로세서(310)는 적어도 하나의 인스트럭션을 실행하여 의도하는 동작이 수행되도록 제어할 수 있다. 여기서, 적어도 하나의 인스트럭션은 프로세서(310)와 별도로 구강 이미지 처리 장치(300) 내에 포함되는 메모리(320) 또는 프로세서(310)내에 포함되는 내부 메모리(미도시)에 저장되어 있을 수 있다.
구체적으로, 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 구강 이미지 처리 장치(300) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(310)가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서(310)가 소정 동작들이 수행되도록 구강 이미지 처리 장치(300) 내부에 포함된 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다.
실시 예에서, 프로세서(310)는 제1 구강 이미지를 획득할 수 있다. 제1 구강 이미지는 대상체를 스캔하여 획득한 데이터를 기반으로 생성된 구강 이미지일 수 있다. 제1 구강 이미지는 3차원 스캔 모델일 수 있다. 3차원 스캔 모델은 3차원 스캔 데이터로도 호칭될 수 있다. 제1 구강 이미지는 구강을 직접 스캔하여 획득한 이미지일 수 있다. 또는 제1 구강 이미지는 테이블 스캐너로 석고 모형을 스캔하여 획득한 데이터일 수도 있다. 프로세서(310)는 3차원 스캐너(110)로부터 수신한 2차원 스캔 데이터를 3차원적으로 모델링하여 3차원 스캔 모델을 획득할 수 있다. 구체적으로, 제1 구강 이미지는 부가 정보가 삽입되지 않은 3차원 스캔 모델이 될 수 있다.
실시 예에서, 프로세서(310)는 사용자 입력부(330)를 통해 입력된 부가 정보를 제1 구강 이미지에 임베딩할 수 있다. 이하에서는, 제1 구강 이미지에 부가 정보를 임베딩하여 생성한 이미지를 ‘제2 구강 이미지’라 칭하도록 한다.
이를 위해, 프로세서(310)는 제1 구강 이미지에서 부가 정보를 입력할 수 있는 영역이 어디인지를 식별할 수 있다. 프로세서(310)는 자동으로, 또는 수동으로, 제1 구강 이미지에서 부가 정보가 입력될 수 있는 영역이 어디인지를 식별할 수 있다. 이하, 부가 정보가 입력될 수 있는 영역을 부가 정보 입력 영역으로 호칭하기로 한다.
제1 구강 이미지는 대상체, 예컨대, 환자의 구강을 스캔하여 생성된 이미지이므로, 치아나 치은과 같은 구강 정보가 포함되어 있다. 따라서, 프로세서(310)는 제1 구강 이미지 내에서 치아나 치은 등을 가리지 않는 위치를 부가 정보 입력 영역으로 식별할 수 있다. 실시 예에서, 프로세서(310)는 제1 구강 이미지에서 치아 및 치은 중 적어도 하나를 포함하는 영역을 자동으로 인식할 수 있다. 프로세서(310)는 제1 구강 이미지에서, 치아 및 치은 중 적어도 하나를 포함하는 영역을 마스킹(masking)하고, 마스킹한 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
실시 예에서, 프로세서(310)는 사용자 입력부(330)를 통해 타겟이 되는 치아 및 치은 중 적어도 하나를 선택 받을 수 있다. 예컨대, 환자의 치아 중, 상악의 우측 앞니 영역이 치료해야 할 중요한 영역인 경우, 사용자는 사용자 입력부(330)를 이용하여 상악의 우측 앞니를 타겟이 되는 치아로 선택할 수 있다. 프로세서(310)는 타겟으로 선택된 치아나 치은을 가리지 않는 영역에서 부가 정보 입력 영역을 식별할 수 있다. 위 예에서, 프로세서(310)는 사용자로부터 선택된 상악의 우측 앞니로부터 소정 범위 내의 영역을 마스킹하고, 마스킹한 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
실시 예에서, 프로세서(310)는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 신경망, 즉, 뉴럴 네트워크를 이용하여, 제1 구강 이미지로부터 부가 정보 입력 영역을 식별할 수도 있다. 개시된 실시 예에서 이용되는 신경망은 심층 신경망(DNN: Deep Neural Network)일 수 있다. 또한, 심층 신경망(DNN)은 컨볼루션 신경망(CNN: Convolution Neural Network)으로 형성될 수 있다. 컨볼루션 신경망은, 컨볼루션 연산에 근거한 연산을 수행하는 신경망을 지칭하는 것으로, 컨볼루션 연산 및 다른 방식의 연산을 종합적으로 수행하는 단일 신경망 또는 복수개의 신경망이 결합된 형태의 신경망일 수 있다.
개시된 실시 예에서, 신경망은, 데이터 인식 모델로 구현되고, 학습 데이터를 이용하여 학습(training)된 신경망일 수 있다. 여기서, 학습 데이터는 구강 이미지들일 수 있다. 신경망은 학습된 데이터 인식 모델을 이용하여 입력 데이터에 포함되는 특정 영역, 예를 들어, 치아나 치은 영역과 그 외의 영역을 구분할 수 있다. 여기서, 입력 이미지는 치료하려는 환자의 구강 이미지일 수 있다. 신경망은, 입력 이미지를 입력 받고, 치아나 치은을 추출하기 위한 컨볼루션 연산을 수행하여, 치아나 치은 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별한 출력 이미지를 생성할 수 있다.
예를 들어, 신경망은 프로세서(310) 내에 포함 또는 저장될 수 있다. 이 경우, 프로세서(310)는 내부의 신경망으로 구강 이미지를 입력하면, 신경망은 부가 정보 입력 영역을 식별한 결과를 출력할 수 있을 것이다.
또는, 신경망은 구강 이미지 처리 장치(300)와 별도의 외부 장치(예를 들어, 외부의 서버, 컴퓨팅 장치 등)에 포함될 수 있다. 이 경우, 프로세서(310)는 구강 이미지를 외부 장치로 전송할 수 있다. 그러면, 외부 장치는 수신된 구강 이미지를 외부 장치 내부에 포함되는 신경망으로 입력할 수 있다. 그러면, 신경망은 부가 정보 입력 영역을 식별한 결과를 출력할 수 있을 것이다. 계속하여, 외부 장치는 신경망의 출력 결과를 구강 이미지 처리 장치(300)로 전송할 수 있다. 그에 따라서, 프로세서(310)는 외부 장치에서 수신된 출력 결과에 근거하여 부가 정보 입력 영역을 식별할 수 있을 것이다.
실시 예에서, 프로세서(310)는 사용자 입력부(330)를 통해 입력된 부가 정보를 제1 구강 이미지에 임베딩할 수 있다.
제1 구강 이미지는 3차원 구강 모델인 반면, 사용자 입력부(330)를 통해 입력된 부가 정보는 2차원 데이터일 수 있다. 이 경우, 제1 구강 이미지와 부가 정보 간의 데이터 형식이나 확장자가 맞지 않는다. 실시 예에서, 프로세서(310)는 부가 정보를 3차원 구강 모델에 임베딩하기 위해 텍스쳐 매핑(texture mapping)을 수행할 수 있다. 텍스쳐 매핑은 2차원 데이터의 픽셀을 3차원 데이터의 표면으로 매핑하는 방법을 의미할 수 있다.
실시 예에서, 프로세서(310)는 텍스쳐 매핑을 수행하여, 3차원 스캔 데이터로 매핑되는 2차원 데이터 픽셀의 변수나 색상 값을 조절함으로써 3차원 스캔 데이터에 부가 정보를 임베딩할 수 있다.
다른 실시 예에서, 프로세서(310)는 3차원 스캔 데이터의 점(point)이나 정점(vertex) 등의 색상을 변경 또는 부여함으로써 부가 정보를 3차원 스캔 데이터에 임베딩할 수도 있다. 제1 구강 이미지는 3차원 스캔 데이터이므로 점이나 메쉬(mesh)로 표현될 수 있다. 실시 예에서, 프로세서(310)는 점으로 표현되는 3차원 스캔 데이터에 부가 정보를 임베딩하기 위해, 부가 정보에 포함된 문자 및 이미지의 윤곽선에 대응하는 위치에 있는 제1 구강 이미지의 점의 색상을 다른 색상으로 변경할 수 있다. 유사하게, 프로세서(310)는 3차원 스캔 데이터가 메쉬로 표현되는 경우, 메쉬에 포함된 정점(vertex)이나 정점으로 이루어진 폴리곤의 색상을 다른 색상으로 변경함으로써 부가 정보를 3차원 스캔 데이터에 임베딩할 수 있다.
이와 같이, 실시 예에 따르면, 구강 이미지 처리 장치(300)는 부가 정보 입력 영역을 식별할 수 있다.
또한, 실시 예에 따르면, 구강 이미지 처리 장치(300)는 부가 정보 입력 영역으로 입력되는 부가 정보를 3차원 스캔 데이터에 임베딩하여 제2 구강 이미지를 획득할 수 있다.
도 4는 실시 예에 따른 구강 이미지 처리 장치의 내부 블록도이다.
도 4의 구강 이미지 처리 장치(400)는 도 3의 구강 이미지 처리 장치(300)의 일 예일 수 있다.
도 4를 참조하면, 구강 이미지 처리 장치(400)는 프로세서(310), 메모리(320), 사용자 입력부(330) 외에도 통신 인터페이스(410), 영상 처리부(420) 및 디스플레이(430)를 더 포함할 수 있다.
도 4의 구강 이미지 처리 장치(400)에 포함된 프로세서(310), 메모리(320), 사용자 입력부(330)는 도 3의 구강 이미지 처리 장치(300)에 포함된 프로세서(310), 메모리(320), 사용자 입력부(330)와 수행하는 기능이 동일하므로 동일한 도면 부호를 사용하였다. 이하, 도 3의 구강 이미지 처리 장치(300)에 대해 설명한 내용과 중복되는 부분에 대한 설명은 생략한다.
실시 예에 따른 영상 처리부(420)는 이미지의 생성 및/또는 처리를 위한 동작들을 수행할 수 있다. 영상 처리부(420)는 3차원 스캐너(110)로부터 수신한 로우 데이터를 기반으로 제1 구강 이미지를 생성할 수 있다. 영상 처리부(420)는 2차원 스캔 데이터를 처리하여3차원 구강 모델을 생성할 수 있다.
실시 예에서, 영상 처리부(420)는 프로세서(310)의 제어에 따라, 텍스쳐 매핑을 수행하여 제1 구강 이미지로부터 제2 구강 이미지를 획득할 수 있다. 영상 처리부(420)는 3차원 스캔 데이터로 매핑되는 2차원 데이터 픽셀의 변수나 색상 값을 조절함으로써 3차원 스캔 데이터에 부가 정보를 임베딩함으로써 제2 구강 이미지를 획득할 수 있다.
다른 실시 예에서, 영상 처리부(420)는 프로세서(310)의 제어에 따라, 3차원 스캔 데이터의 점이나 정점 등의 색상을 변경함으로써 부가 정보를 3차원 스캔 데이터에 임베딩하여 제2 구강 이미지를 획득할 수 있다.
실시 예에 따른 디스플레이(430)는 구강 이미지를 출력할 수 있다. 디스플레이(430)는 3차원 스캐너(110)로부터 수신한 로우 데이터를 기반으로 생성된 구강 이미지를 화면에 출력할 수 있다. 또한, 디스플레이(430)는 환자의 치과 치료와 관련된 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
실시 예에서, 디스플레이(430)는 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면을 출력할 수 있다. 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면은 제1 구강 이미지를 포함하는 화면일 수 있다. 사용자는 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면에 대응하여 사용자 입력부(330)를 이용하여 제1 구강 이미지 내의 특정 영역을 부가 정보 입력 영역으로 선택할 수 있다. 예컨대, 사용자는 인터페이스 화면에 출력된 제1 구강 이미지에서 마우스나 키보드, 터치 패널 등을 이용하여 특정 영역을 포인팅함으로써 포인팅된 영역을 부가 정보 입력 영역으로 선택할 수 있다. 프로세서(310)는 사용자로부터 선택된 영역을 부가 정보 입력 영역으로 식별할 수 있다.
실시 예에서, 디스플레이(430)는 식별된 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면을 출력할 수 있다. 프로세서(310)는 사용자로부터 선택된 지점에, 해당 지점이 부가 정보 입력 영역으로 선택된 영역임을 표시하는 정보를 출력할 수 있다. 프로세서(310)는 도형이나 화살표, 선, 패턴, 기호 등을 이용하여 사용자에게 부가 정보 입력 영역의 위치를 표시할 수 있다. 또한, 프로세서(310)는 제1 구강 이미지의 원래 색상과 다른 색상이나 원래의 투명도와 다른 투명도 등을 이용하여 사용자에게 부가 정보 입력 영역의 위치를 표시할 수도 있다.
사용자는 사용자 입력부(330)를 이용하여 부가 정보 입력 영역에 부가 정보를 입력할 수 있다. 사용자는 키보드 등을 이용하여 원하는 문자를 입력하거나, 그림판 등을 이용하여 원하는 이미지를 부가 정보로 입력할 수도 있다. 또한, 사용자는 사용자 입력부(330)를 이용하여 부가 정보를 편집할 수도 있다. 예컨대, 사용자는 부가 정보의 폰트 색상이나 글자 크기 등을 편집할 수 있다.
실시 예에서, 디스플레이(430)는 부가 정보 입력 영역에 사용자 입력부(330)를 통해 입력된 부가 정보를 출력할 수 있다. 디스플레이(430)는 부가 정보 입력 영역에 부가 정보가 표시된 사용자 인터페이스 화면을 출력할 수 있다.
실시 예에서, 사용자 입력부(330)를 통해 입력 받은 부가 정보의 크기가 부가 정보 입력 영역의 범위를 벗어나거나, 또는 소정 크기 이상인 경우, 또는 부가 정보가 표시된 부가 정보 입력 영역이 복수 개인 경우, 디스플레이(430)는 입력된 부가 정보를 모두 화면에 출력하는 대신, 부가 정보 입력 영역의 위치만을 표시하는 식별자를 부가 정보 입력 영역의 위치에 출력하거나, 또는 부가 정보 입력 영역 중 일부만을 출력할 수도 있다.
실시 예에 따른 통신 인터페이스(410)는 적어도 하나의 외부 전자 장치와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(410)는 프로세서(310)의 제어에 따라서 3차원 스캐너(110)와 통신을 수행할 수 있다. 실시 예에서, 통신 인터페이스(410)는 3차원 스캐너(110)로부터 2차원 이미지 데이터를 수신할 수 있다. 또한, 통신 인터페이스(410)는 제어 정보를 3차원 스캐너(110)로 전송할 수도 있다.
실시 예에서, 통신 인터페이스(410)는 프로세서(310)의 제어에 따라서 유무선의 통신 네트워크를 통하여 연결되는 외부의 전자 장치 또는 서버 등과 통신을 수행할 수 있다. 외부의 전자 장치 또는 서버는 기공소 등이 운영하는 장치나 서버일 수 있다. 통신 인터페이스(410)는 3차원 스캐너(110)로부터 획득한 이미지 데이터를 기반으로 생성된 제1 구강 이미지를 기공소 등이 운영하는 서버나 전자 장치로 전송할 수 있다. 또한, 실시 예에서, 통신 인터페이스(410)는 제1 구강 이미지에 부가 정보가 임베딩된 제2 구강 이미지를 기공소 등이 운영하는 서버나 전자 장치로 전송할 수 있다.
통신 인터페이스(410)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스(410)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다. 구체적으로, 통신 인터페이스(410)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 예컨대, 통신 인터페이스(410)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스(410)는 3차원 스캐너(110)나 기공소 등이 운영하는 외부 전자 장치 등과 유선으로 통신할 수도 있다. 이를 위해 통신 인터페이스(410)는 3차원 스캐너(110)나 외부 전자 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 통신 인터페이스(410)는 적어도 하나의 포트를 통하여 유선 연결된 3차원 스캐너(110)나 외부 전자 장치와 통신을 수행할 수 있다.
도 5는 실시 예에 따라, 획득된 제2 구강 이미지를 도시한 도면이다.
도 5를 참조하면 제2 구강 이미지(500)는 환자의 상악을 3차원적으로 나타내는 구강 이미지일 수 있다. 도 5에 도시된 바와 같이, 제2 구강 이미지(500)는 임베딩된 부가 정보(510)를 포함할 수 있다. 도 5에서는, 부가 정보(510)가 치과 치료를 받는 환자의 성명에 대한 정보인 경우를 예로 들어 도시하였다.
제2 구강 이미지(500)는 제1 구강 이미지로부터 획득될 수 있다. 구강 이미지 처리 장치(400)는 환자의 상악을 스캔하여 생성된 로우 데이터를 3차원적으로 모델링하여 제1 구강 이미지를 획득할 수 있다.
제1 구강 이미지는 3차원 스캔 데이터일 수 있다. 3차원 스캔 데이터는 일정한 형태의 포맷을 가질 수 있다. 예컨대, 3차원 스캔 데이터는 STL, OBJ, PLY 등의 포맷을 가질 수 있다. 다만, 이는 하나의 실시 예로, 제1 구강 이미지의 데이터 포맷이 이에 한정되는 것은 아니다.
구강 이미지 처리 장치(400)는 사용자 입력부(330)를 통해 부가 정보를 입력 받을 수 있다. 사용자 입력부(330)를 통해 입력된 부가 정보는 3차원 스캔 데이터와는 다른 포맷을 갖는 파일일 수 있다. 예컨대, 부가 정보는 doc, hwp, jpg, pdf, txt 등의 확장자를 갖는 파일일 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 텍스쳐 매핑을 수행하여 부가 정보를 제1 구강 이미지에 임베딩하여 제2 구강 이미지(500)를 획득할 수 있다. 3차원 스캔 데이터인 제1 구강 이미지에 매핑되는 소스 데이터는 2차원 이미지일 수 있다. 텍스쳐 매핑은 2차원 이미지 상의 소정 픽셀의 위치, 즉, 2차원 이미지 상에서 U축 및 V축 좌표 값이 (u, v)인 픽셀을 3차원 이미지 상에서 X축, Y축, Z축 좌표 값이 각각 (x, y, z)인 픽셀로 매핑함으로써, 2차원 이미지를 3차원 모델의 표면에 프로젝션하는 모델링 방법이다.
구강 이미지 처리 장치(400)는 3차원 스캔 데이터에 매핑되는 소스 데이터, 즉 2차원 이미지에서, 부가 정보에 대응하는 위치에 있는 픽셀의 색상이나 기타 변수, 즉, 파라미터 값을 다른 값으로 조절할 수 있다. 구강 이미지 처리 장치(400)는 픽셀 색상이나 파라미터 값이 조절된 2차원 이미지를 3차원 스캔 데이터에 매핑함으로써, 부가 정보가 3차원 스캔 데이터에 임베딩되도록 할 수 있다.
다른 실시 예에서, 구강 이미지 처리 장치(400)는 3차원 스캔 데이터의 점이나 정점 등의 색상을 변경함으로써 부가 정보를 3차원 스캔 데이터에 임베딩할 수도 있다. 이에 대해서는 도 7 내지 도 9를 참조하여 보다 구체적으로 설명하기로 한다.
도 5를 참조하면, 제2 구강 이미지(500)에 포함된 부가 정보(510)는 3차원 스캔 데이터에 맞게 임베딩되어 있음을 알 수 있다. 즉, 제2 구강 이미지(500)는 임베딩된 부가 정보(510)를 포함하는 3차원 스캔 데이터일 수 있다. 구강 이미지 처리 장치(400)는 제2 구강 이미지(500)를 외부 전자 장치나 서버 등으로 전송할 수 있다.
이와 같이, 실시 예에 의하면, 구강 이미지 처리 장치(400)는 외부 전자 장치나 서버 등으로 부가 정보를 전송하고자 하는 경우, 스캔 데이터와 별도의 파일이나 문서 등을 작성하여 전달할 필요 없이, 제2 구강 이미지(500) 하나만을 전송할 수 있다. 기공소 등이 운영하는 외부 장치나 서버 등은 구강 이미지 처리 장치(400)로부터 수신한 제2 구강 이미지(500)로부터, 구강에 대한 이미지뿐 아니라 임베딩된 부가 정보(510) 또한 함께 이용할 수 있다.
도 6은 실시 예에 따라, 부가 정보 입력 영역을 포함하는 사용자 인터페이스 화면을 도시한 도면이다.
실시 예에서, 구강 이미지 처리 장치(400)는 환자의 상악을 3차원적으로 나타내는 구강 이미지(610)를 획득할 수 있다. 구강 이미지 처리 장치(400)는 구강 이미지(610)를 포함하는 사용자 인터페이스 화면(600)을 생성하고, 사용자 인터페이스 화면(600)을 디스플레이(430)를 통하여 시각적으로 출력할 수 있다.
사용자 인터페이스 화면(600)은 구강 이미지(610)에 대한 편집 또는 변경을 위한 적어도 하나의 메뉴를 포함하는 메뉴바(630)를 더 포함할 수 있다. 예를 들어, 메뉴바(630)는 구강 이미지(610)의 확대, 축소, 전체 화면으로 보기, 이전 이미지 보기, 각도나 위치 변경 등을 포함하는 메뉴들을 포함할 수 있다.
실시 예에서, 메뉴바(630)는 부가 정보 입력을 위한 메뉴(631)를 더 포함할 수 있다. 사용자는 부가 정보를 입력하기 위해 메뉴바(630)에서 부가 정보 입력을 위한 메뉴(631)를 선택할 수 있다. 사용자로부터 부가 정보 입력을 위한 메뉴(631)가 선택되면, 구강 이미지 처리 장치(400)는 부가 정보 입력을 위한 부가 정보 입력 영역(640)을 사용자 인터페이스 화면(600)에 출력할 수 있다.
이를 위해, 먼저, 구강 이미지 처리 장치(400)는 부가 정보 입력 영역을 식별할 수 있다. 부가 정보 입력 영역은 부가 정보가 입력될 수 있는 영역을 의미할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 사용자 인터페이스 화면(600)에서 구강 영역(611)을 자동으로 인식할 수 있다. 구강 영역(611)은 치아 및 치은 중 적어도 하나를 포함하는 영역을 의미할 수 있다. 구강 이미지 처리 장치(400)는 사용자 인터페이스 화면(600)에 포함된 영역 중, 구강 영역(611)을 마스킹하고, 마스킹한 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
또는 구강 이미지 처리 장치(400)는 사용자로부터 치료 대상인 치아나 치은을 선택 받을 수 있다. 이 경우, 구강 이미지 처리 장치(400)는 사용자로부터 선택 받은 치아나 치은에서 소정 범위 이상 벗어난 영역에서 부가 정보 입력 영역을 식별할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 뉴럴 네트워크를 이용하여, 사용자 인터페이스 화면(600)으로부터 부가 정보 입력 영역을 식별할 수도 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 식별된 부가 정보 입력 영역을 사용자 인터페이스 화면(600)에 출력할 수 있다. 구강 이미지 처리 장치(400)는 도형, 화살표, 선, 도트, 패턴, 기호, 주변 색상과 다른 색상, 또는 주변의 투명도와 다른 투명도, 깜박이는 커서 등을 이용하여 부가 정보 입력 영역을 표시할 수 있다.
예컨대, 도 6에 도시된 바와 같이, 구강 이미지 처리 장치(400)는 구강 영역(611) 외의 영역 중, 구강 영역(611) 안쪽에 위치한 영역을 부가 정보 입력 영역으로 식별할 수 있다. 구강 이미지 처리 장치(400)는 구강 영역(611) 안쪽의 임의의 위치를 제1 부가 정보 입력 영역(640-1)으로 식별하고, 식별된 영역을 사각형 형상으로 사용자 인터페이스 화면(600)에 출력할 수 있다.
또는 구강 이미지 처리 장치(400)는 구강 영역(611)의 경계 안쪽의 영역 전체를 제2 부가 정보 입력 영역(640-2)으로 식별하고, 식별된 영역을 다각형 형상으로 사용자 인터페이스 화면(600)에 출력할 수 있다.
또는 구강 이미지 처리 장치(400)는 구강 영역(611) 외의 영역 중, 구강 영역(611) 바깥쪽의 임의의 위치를 제3 부가 정보 입력 영역(640-3) 또는 제4 부가 정보 입력 영역(640-4)으로 식별하고, 식별된 부가 정보 입력 영역(640-3, 640-4)을 사용자 인터페이스 화면(600)에 출력할 수도 있다.
다른 실시 예에서, 구강 이미지 처리 장치(400)는 사용자로부터 직접 부가 정보 입력 영역을 선택 받을 수도 있다. 예컨대, 사용자가 마우스나 키보드, 터치 패널 등을 이용하여 사용자 인터페이스 화면(600)의 특정 위치를 클릭하거나 터치하는 경우 구강 이미지 처리 장치(400)는 사용자가 선택한 특정 위치를 부가 정보 입력 영역으로 식별하고, 식별된 영역에 부가 정보 입력 영역을 표시할 수 있다. 구강 이미지 처리 장치(400)는 사용자로부터 선택된 영역이 구강 영역(611)이거나 구강 영역(611)과 인접한 영역인 경우, 또는 치료 대상이 되는 치아나 치은과 소정 범위 내의 영역인 경우, 해당 영역을 부가 정보 입력 영역으로 선택할 수 없음을 표시하거나, 해당 영역과 인접한 다른 영역에 부가 정보 입력 영역을 생성하거나, 또는 별도 표시 없이 해당 영역에 부가 정보 입력 영역을 생성하지 않을 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 사용자로부터 부가 정보를 입력 받고, 입력 받은 부가 정보를 현재 사용자 인터페이스 화면(600)에 출력된 부가 정보 입력 영역(640)에 표시할 수 있다. 예컨대, 현재 사용자 인터페이스 화면(600)에 제1 부가 정보 입력 영역(640-1)이 표시된 경우, 구강 이미지 처리 장치(400)는 사용자로부터 입력 받은 부가 정보를 제1 부가 정보 입력 영역(640-1)에 표시하여 출력할 수 있다. 이때, 제1 부가 정보 입력 영역(640-1)에 표시되는 부가 정보는 구강 이미지(610)의 굴곡에 맞게 표현되거나, 음각 또는 양각으로 표현될 수도 있다.
사용자는 구강 이미지 처리 장치(400)가 제공하는, 부가 정보 입력을 위한 프로그램이나 툴, 또는 어플리케이션으로 등을 이용하여 부가 정보를 입력하고, 이를 편집할 수 있다. 부가 정보는 언어 표기 문자, 특수 문자, 숫자, 구두점, 도형, 화살표, 선, 패턴, 기호 등의 다양한 형태를 가질 수 있다.
구강 이미지 처리 장치(400)는 사용자가 다양한 형태로 부가 정보를 입력 및 편집할 수 있도록 사용자 인터페이스 화면(600)에 부가 정보 입력 및 편집을 위한 메뉴(635)를 더 포함할 수 있다. 부가 정보 입력 및 편집을 위한 메뉴(635)는 부가 정보의 타입이나 폰트의 크기, 색상, 투명도 등을 조절하거나 특수 문자나 기호 등을 선택할 수 있는 다양한 메뉴들을 포함할 수 있으며 이에 한정되는 것은 아니다. 사용자는 사용자 인터페이스 화면(600)에서 부가 정보 입력 및 편집을 위한 메뉴(635)를 선택하여 원하는 타입의 폰트 및 원하는 크기로 부가 정보를 입력할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 입력 받은 부가 정보가 소정 크기 이상인 경우이거나, 또는 부가 정보가 표시된 부가 정보 입력 영역이 복수개인 경우, 입력 받은 부가 정보를 전부 다 화면에 출력하지 않을 수 있다. 대신, 구강 이미지 처리 장치(400)는 부가 정보 입력 영역의 크기를 축소하여 출력하거나, 부가 정보 입력 영역 중 일부만을 출력하거나, 또는 부가 정보 입력 영역의 위치를 표시하는 식별자만을 사용자 인터페이스 화면(600)에 출력할 수 있다. 부가 정보 입력 영역의 위치를 표시하는 식별자는 예컨대 말풍선이나 이모티콘, 아이콘 등을 포함할 수 있다.
예컨대, 도 6에서, 제4 부가 정보 입력 영역(640-4)에 입력된 부가 정보가 길어서, 제4 부가 정보 입력 영역(640-4)의 크기 또한 부가 정보 길이에 따라 커져 구강 영역(611)을 가릴 염려가 있는 경우, 구강 이미지 처리 장치(400)는 제4 부가 정보 입력 영역(640-4) 전체를 화면에 출력하는 대신, 제4 부가 정보 입력 영역(640-4)의 위치를 표시하는 말풍선 형태의 식별자(640-4’)만을 사용자 인터페이스 화면(600)에 출력할 수 있다. 이후, 사용자가 마우스나 키보드 등을 이용하여 식별자(640-4’)를 클릭하거나 커서를 갖다 대는 경우, 구강 이미지 처리 장치(400)는 제4 부가 정보 입력 영역(640-4)에 입력된 부가 정보 전체가 사용자 인터페이스 화면(600)에 출력되도록 할 수 있다.
이와 같이, 실시 예에 의하면, 구강 이미지 처리 장치(400)는 자동으로 또는 수동으로 부가 정보 입력 영역을 식별할 수 있다. 또한, 구강 이미지 처리 장치(400)는 다양한 형태로 부가 정보를 입력 받을 수 있다. 또한, 구강 이미지 처리 장치(400)는 식별된 부가 정보 입력 영역에 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면을 출력할 수 있다. 또한, 구강 이미지 처리 장치(400)는 사용자로부터 입력된 부가 정보가 부가 정보 입력 영역에 표시된 사용자 인터페이스 화면을 출력할 수 있다.
도 7은 일 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
실시 예에서, 구강 이미지 처리 장치(400)는 제1 구강 이미지에 부가 정보(710)를 임베딩하여 제2 구강 이미지(700)를 획득할 수 있다. 제1 구강 이미지 및 제2 구강 이미지는 모두 3차원 스캔 데이터일 수 있다. 3차원 스캔 데이터는 점군(Point cloud) 데이터로 표현되거나 또는 점군 데이터를 참조해서 삼각화(triangulation) 등의 기법으로 생성된 메쉬 데이터로 표현될 수 있다.
도 7은 제2 구강 이미지(700)를 확대하여 도시한 것으로, 제2 구강 이미지가 수많은 점군으로 표현된 경우를 도시한다.
부가 정보는 문자나 숫자, 이미지 등을 포함할 수 있다. 예컨대, 부가 정보가 문자로 이루어져 있는 경우, 하나의 독립된 글자는 이를 형성하는 가장 간결한 기본 구조들이 모여 형성될 수 있다. 여기서 기본 구조들은 선이나 점 등을 포함할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(710)를 제1 구강 이미지에 임베딩하기 위해, 부가 정보(710)에 포함된 문자나 숫자, 이미지 등을 이루는 기본 구조를 식별할 수 있다. 구강 이미지 처리 장치(400)는 선이나 점 등의 기본 구조에 대응하는 위치에 있는 제1 구강 이미지 상의 점들의 색상을 다른 색상으로 변경할 수 있다. 즉, 구강 이미지 처리 장치(400)는 부가 정보(710)가 임베드될 위치에 있는 3차원 스캔 데이터 상의 점들의 색상을 원래의 색상과 다른 색상으로 변경함으로써 부가 정보(710)가 스캔 데이터에 임베딩되어 표시된 제2 구강 이미지(700)를 획득할 수 있다.
도 8은 다른 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
실시 예에서, 구강 이미지 처리 장치(400)는 제1 구강 이미지에 부가 정보(810)를 임베딩하여 제2 구강 이미지(800)를 획득할 수 있다.
도 8은 제2 구강 이미지(800)를 확대하여 도시한 것으로, 제2 구강 이미지(800)는 수많은 메쉬(mesh)들로 이루어진 3차원 스캔 데이터일 수 있다. 메쉬는 폴리곤(polygon)이라고 불리는 최소 단위의 다각형들로 구성될 수 있다. 폴리곤은 예컨대 삼각형일 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(810)에 포함된 문자나 이미지 등을 이루는 기본 구조를 식별하고, 그 기본 구조에 대응하는 위치에 있는 제1 구강 이미지 상의 메쉬의 색상을 변경함으로써 부가 정보(810)를 스캔 데이터에 임베딩할 수 있다. 메쉬의 색상을 변경하여 부가 정보(810)를 스캔 데이터에 임베딩하는 방법에 대해서는, 이하, 도 9를 참조하여 보다 상세히 살펴보기로 한다.
도 9는 실시 예에 따라, 메쉬의 색상을 변경하여 부가 정보를 스캔 데이터에 임베딩하는 것을 설명하기 위한 도면이다.
도 9는 도 8의 제2 구강 이미지(800)를 더 확대한 도면이다.
도 9는 부가 정보(911, 913)가 임베딩된 제2 구강 이미지(910, 920)를 도시한 것으로, 제2 구강 이미지(910, 920)가 메쉬(mesh)들로 이루어진 3차원 스캔 데이터인 경우를 도시한다. 메쉬를 이루는 삼각형들의 각 꼭지점은 정점(vertex)으로 호칭될 수 있다. 각각의 정점은 각각의 색상을 띠고 있으며, 연결된 두 정점의 색상이 다른 경우, 두 정점 사이의 삼각형은 서로 다른 두 색상이 선형 보간(linear interpolated) 및/또는 그래디언트(gradient)된 색상으로 표현될 수 있다. 연결된 두 정점의 색상이 다른 경우를 표현하는 방법은 이에 한정되지 않는다. 또한, 연결된 삼각형을 이루는 세 정점의 색상이 동일한 경우, 삼각형 표면의 색상은 세 정점의 색상과 동일한 색상으로 표현될 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(911, 913)가 지나는 위치에 인접한 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 변경 또는 부여함으로써 제1 구강 이미지에 부가 정보(911, 913)를 임베딩할 수 있다. 부가 정보(911, 913)를 이루는 선이 소정 두께를 갖는 경우, 부가 정보(911, 913)가 지나는 위치에 인접한 정점은 소정 두께를 갖는 선의 양쪽에 위치하면서 부가 정보(911, 913)를 이루는 선에 가장 가까이 위치한 정점을 의미할 수 있다.
도 9의 상부 도면에 도시된 바와 같이, 부가 정보(911)가 지나는 지점에 인접한 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 제1 색상으로 변경 또는 부여할 경우, 동일한 정점들로 이루어진 삼각형은 동일한 색상을 갖게 된다. 즉, 도 9의 상부 도면에서와 같이 부가 정보(911)가 지나는 위치에 인접한 정점들로 이루어진 삼각형은 모두 제1 색상을 갖게 되어 다른 영역과 구별될 수 있다. 다만, 제1 색상을 갖는 정점과 제2 색상을 갖는 정점을 모두 포함하는 삼각형은 제1 색상과 제2 색상이 선형 보간 및/또는 그래디언트된 색상으로 표현되게 된다. 도 9의 상부 도면에 도시된 방식으로 부가 정보(911)를 임베딩하는 방식은, 메쉬의 밀도가 높을수록 부가 정보(911)를 대응하는 위치에 보다 정확히 임베딩할 수 있는 방식이다. 반면, 메쉬의 밀도가 낮은 경우에는 부가 정보(911)가 지나는 위치와 제1 구강 이미지 내의 메쉬에 포함된 정점의 색상 변화의 매칭도가 낮아질 수 있다.
다른 실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(911, 913)가 지나는 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 변경 또는 부여함으로써 제1 구강 이미지에 부가 정보(911, 913)를 임베딩할 수 있다. 즉, 구강 이미지 처리 장치(400)는 부가 정보(911, 913)를 이루는 선이 지나는 메쉬에 포함된 정점들의 색상을 원래의 색상과는 다른 색상으로 변경 또는 부여함으로써 제1 구강 이미지에 부가 정보(911, 913)를 임베딩할 수 있다.
도 9의 하부 도면은 부가 정보(913)가 지나는 위치에 대응하는 위치에 있는, 제1 구강 이미지 내의 삼각형들을 스플릿하여, 삼각형들의 수를 늘리는 방법을 도시한다. 도 9의 하부 도면을 참조하면, 구강 이미지 처리 장치(400)는 부가 정보(913)가 지나는 지점에 대응하는 위치에 있는 제1 구강 이미지에서, 부가 정보(913)와 메쉬가 만나는 위치에 새로운 정점들을 추가할 수 있다. 즉, 구강 이미지 처리 장치(400)는 소정의 두께를 갖는 부가 정보(913)의 양쪽 경계선과 주변 삼각형들이 맞닿은, 경계(에지)가 교차하는 위치에 정점들을 추가할 수 있다. 이 경우, 정점들이 이루는 삼각형들의 수 또한 늘어나게 된다. 구강 이미지 처리 장치(400)는 부가 정보(913)가 지나는 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 제1 색상으로 변경 또는 부여함으로써, 동일한 정점들로 이루어진 삼각형이 동일한 색상을 갖도록 하여 다른 영역과 구별되도록 할 수 있다. 도 9의 하부 도면에 따르면 동일한 정점들로 이루어진 삼각형들의 수가 도 9의 상부 도면에 따른 경우보다 더 많아지게 되어 부가 정보(913)를 제1 구강 이미지 내의 대응하는 위치에 보다 정확히 임베딩할 수 있게 된다.
다만, 도 9의 하부 도면에서도 도 9의 상부 도면에서와 마찬가지로 제1 색상을 갖는 정점과 제2 색상을 갖는 정점을 함께 포함하는 삼각형은 제1 색상과 제2 색상이 선형 보간 및/또는 그래디언트된 색상으로 표현되게 된다. 실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(913)를 이루는 선이 소정 두께를 갖는 경우 그 선의 양쪽 경계선(913-1, 913-2)과 근접한 위치에 오프셋 라인(offset line, 914-1, 914-2)을 추가로 형성할 수 있다. 또한, 오프셋 라인(914-1, 914-2)과 메쉬가 만나는 지점에 새로운 정점들을 추가할 수 있다. 이 경우, 부가 정보(913)를 이루는 선의 양쪽 경계선(913-1, 913-2)과 오프셋 라인(914-1, 914-2) 사이에도 삼각형들이 추가로 형성되게 된다. 부가 정보(913)를 이루는 선의 양쪽 경계선(913-1, 913-2)과 오프셋 라인(914-1, 914-2) 간의 간격이 좁아질수록 그래디언트된 색상으로 표현되는 삼각형들의 면적이 작아지게 되어 보다 정확히 부가 정보(913)를 3차원 스캔 데이터에 임베딩할 수 있게 된다.
다만, 전술한 방법은 실시 예로, 구강 이미지 처리 장치(400)는 이외에도 다양한 방법들을 이용하여 제1 구강 이미지에 부가 정보를 임베딩하여 제2 구강 이미지를 획득할 수 있다.
도 10은 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 도시한 순서도이다.
도 10을 참조하면, 구강 이미지 처리 장치는 3차원 스캐너로부터 수신한 로우 데이터를 처리하여, 3차원 구강 이미지를 획득할 수 있다(단계 1010).
구강 이미지 처리 장치는 3차원 구강 이미지에서 부가 정보 입력 영역을 식별할 수 있다(단계 1020).
구강 이미지 처리 장치는 사용자로부터 부가 정보 입력 영역을 직접 입력 받거나, 또는 자동으로 부가 정보 입력 영역을 식별할 수 있다.
구강 이미지 처리 장치는 3차원 구강 이미지에서, 구강 영역을 마스킹하고, 구강 영역 외의 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
또는 구강 이미지 처리 장치는 사용자로부터 치료 대상으로 선택된 치아나 치은으로부터 소정 범위 이상 벗어난 영역에서 부가 정보 입력 영역을 식별할 수 있다.
구강 이미지 처리 장치는 사용자로부터 부가 정보를 입력 받을 수 있다.
구강 이미지 처리 장치는 사용자로부터 입력된 부가 정보를 부가 정보 입력 영역에 임베딩할 수 있다(단계 1030).
구강 이미지 처리 장치는 구강 이미지로 매핑되는 2차원 이미지의 픽셀의 변수나 색상 값을 부가 정보에 대응하는 값으로 대체함으로써, 부가 정보를 구강 이미지에 임베딩할 수 있다. 또는, 구강 이미지 처리 장치는 부가 정보에 포함된 문자 및 이미지 중 적어도 하나의 윤곽선에 대응하는 위치에 있는 구강 이미지의 점이나 정점, 및 정점으로 이루어진 삼각형 중 적어도 하나의 색상을 변경하여, 부가 정보를 구강 이미지에 임베딩할 수 있다.
본 개시의 일 실시 예에 따른 구강 이미지의 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예는, 구강 이미지의 처리 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 될 수 있다.
또한, 전술한 본 개시의 실시 예에 따른 구강 이미지 처리 방법은 제1 구강 이미지를 획득하는 단계 및 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 장치에서 수행하는 구강 이미지 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 구강 이미지의 처리 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 구체적으로, 개시된 실시 예에 따른 컴퓨터 프로그램 제품은 개시된 실시 예에 따른 구강 이미지의 처리 방법을 수행하기 위해 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 저장 매체를 포함할 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (12)

  1. 구강 이미지 처리 방법에 있어서,
    제1 구강 이미지를 획득하는 단계; 및
    입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 방법.
  2. 제1 항에 있어서, 상기 제1 구강 이미지에서 부가 정보를 표시할 수 있는 부가 정보 입력 영역을 식별하는 단계를 더 포함하는, 구강 이미지 처리 방법.
  3. 제2 항에 있어서, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 제1 구강 이미지의 구강 영역 외의 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  4. 제2 항에 있어서, 타겟이 되는 치아 및 치은 중 적어도 하나를 선택 받는 단계를 더 포함하고,
    상기 부가 정보 입력 영역을 식별하는 단계는 상기 선택된 치아 및 치은 중 적어도 하나로부터 소정 범위 내의 영역을 제외한 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  5. 제2 항에 있어서, 상기 부가 정보 입력 영역을 식별하는 단계는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 뉴럴 네트워크를 이용하여 상기 제1 구강 이미지로부터 상기 부가 정보 입력 영역을 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  6. 제2 항에 있어서, 상기 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면을 출력하는 단계를 더 포함하고,
    상기 부가 정보 입력 영역을 식별하는 단계는 상기 사용자 인터페이스 화면에 대응하여, 선택된 영역을 상기 부가 정보 입력 영역으로 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  7. 제2 항에 있어서, 상기 식별된 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면, 및 상기 식별된 부가 정보 입력 영역 내에 상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면 중 적어도 하나의 화면을 출력하는 단계를 더 포함하는, 구강 이미지 처리 방법.
  8. 제7 항에 있어서, 상기 입력된 부가 정보가 소정 크기 이상인 경우 및 상기 부가 정보가 표시된 상기 부가 정보 입력 영역이 복수 개인 경우 중 적어도 하나인 경우,
    상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면을 출력하는 단계는 상기 부가 정보 대신 상기 부가 정보 입력 영역의 위치를 표시하는 식별자를 출력하거나 또는 상기 부가 정보 입력 영역의 크기를 축소하여 출력하는 단계를 포함하는, 구강 이미지 처리 방법.
  9. 제1 항에 있어서, 상기 부가 정보는 문자 및 이미지 중 적어도 하나를 포함하는, 구강 이미지 처리 방법.
  10. 제1 항에 있어서,
    상기 제1 구강 이미지는 3차원 스캔 데이터이고,
    상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 제1 구강 이미지로 매핑되는 2차원 이미지의 픽셀의 변수나 색상 값을 상기 부가 정보에 대응하는 값으로 대체함으로써, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 방법.
  11. 제1 항에 있어서,
    상기 제1 구강 이미지는 점 및 메쉬(mesh) 중 적어도 하나로 표현되는 3차원 스캔 데이터이고,
    상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 부가 정보에 포함된 문자 및 이미지 중 적어도 하나의 윤곽선에 대응하는 위치에 있는 상기 제1 구강 이미지의 점, 정점(vertex), 및 상기 정점으로 이루어진 폴리곤 중 적어도 하나의 색상을 변경하여, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 방법.
  12. 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 구강 이미지를 획득하고,
    입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는, 구강 이미지 처리 장치.
KR1020210052364A 2021-04-22 2021-04-22 구강 이미지 처리 장치 및 구강 이미지 처리 방법 KR102544203B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210052364A KR102544203B1 (ko) 2021-04-22 2021-04-22 구강 이미지 처리 장치 및 구강 이미지 처리 방법
EP22792031.1A EP4327772A1 (en) 2021-04-22 2022-04-20 Intraoral image processing device and intraoral image processing method
PCT/KR2022/005665 WO2022225332A1 (ko) 2021-04-22 2022-04-20 구강 이미지 처리 장치 및 구강 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210052364A KR102544203B1 (ko) 2021-04-22 2021-04-22 구강 이미지 처리 장치 및 구강 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20220145598A true KR20220145598A (ko) 2022-10-31
KR102544203B1 KR102544203B1 (ko) 2023-06-16

Family

ID=83722991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210052364A KR102544203B1 (ko) 2021-04-22 2021-04-22 구강 이미지 처리 장치 및 구강 이미지 처리 방법

Country Status (3)

Country Link
EP (1) EP4327772A1 (ko)
KR (1) KR102544203B1 (ko)
WO (1) WO2022225332A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080049894A1 (en) * 2006-07-31 2008-02-28 Fujifilm Corporation Dental radiation image display apparatus
JP2015126820A (ja) * 2013-12-27 2015-07-09 株式会社アドバンス 口腔内表示システム
KR20200129509A (ko) * 2019-05-09 2020-11-18 오스템임플란트 주식회사 치아 부가정보 제공 방법 및 그 장치
KR20200143273A (ko) * 2019-06-13 2020-12-23 오스템임플란트 주식회사 치아 영상 위에 진료 내역을 누적 표시하는 진료 정보 표시 장치 및 방법
KR20210006244A (ko) 2019-07-08 2021-01-18 서울대학교치과병원 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416984B2 (en) * 2011-01-20 2013-04-09 Carestream Health, Inc. Automatic tooth charting using digital images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080049894A1 (en) * 2006-07-31 2008-02-28 Fujifilm Corporation Dental radiation image display apparatus
JP2015126820A (ja) * 2013-12-27 2015-07-09 株式会社アドバンス 口腔内表示システム
KR20200129509A (ko) * 2019-05-09 2020-11-18 오스템임플란트 주식회사 치아 부가정보 제공 방법 및 그 장치
KR20200143273A (ko) * 2019-06-13 2020-12-23 오스템임플란트 주식회사 치아 영상 위에 진료 내역을 누적 표시하는 진료 정보 표시 장치 및 방법
KR20210006244A (ko) 2019-07-08 2021-01-18 서울대학교치과병원 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치

Also Published As

Publication number Publication date
EP4327772A1 (en) 2024-02-28
KR102544203B1 (ko) 2023-06-16
WO2022225332A1 (ko) 2022-10-27

Similar Documents

Publication Publication Date Title
US11344392B2 (en) Computer implemented method for modifying a digital three-dimensional model of a dentition
US11354873B2 (en) Method and system for dynamic adjustment of a model
JP6936826B2 (ja) 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
CN105025839B (zh) 使用口内扫描仪控制计算机程序的方法和设备
KR20210147412A (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102544203B1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
US20230071852A1 (en) Data processing apparatus and method thereof
KR102582709B1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
KR20220059908A (ko) 데이터 처리 장치 및 데이터 처리 방법
KR102673346B1 (ko) 삼차원 구강 모델 처리 장치 및 삼차원 구강 모델 처리 방법
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102460621B1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
KR102680644B1 (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
KR102605094B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
KR102613531B1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR102626888B1 (ko) 삼차원 구강 모델 처리 장치 및 삼차원 구강 모델 처리 방법
US20230401804A1 (en) Data processing device and data processing method
KR20230055381A (ko) 데이터 처리 장치 및 데이터 처리 방법
KR20230007909A (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
KR20230029554A (ko) 이미지 처리 장치, 및 이미지 처리 방법
EP4318306A1 (en) Data processing device and data processing method
KR20230037434A (ko) 데이터 처리 장치 및 데이터 처리 방법
KR20230014628A (ko) 이미지 처리 장치, 및 이미지 처리 방법
KR20220021752A (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR20220127764A (ko) 구강 이미지 내의 선택 영역을 식별하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant