KR20190092699A - 치과환자 상담용 시뮬레이션 시스템 및 방법 - Google Patents

치과환자 상담용 시뮬레이션 시스템 및 방법 Download PDF

Info

Publication number
KR20190092699A
KR20190092699A KR1020180011756A KR20180011756A KR20190092699A KR 20190092699 A KR20190092699 A KR 20190092699A KR 1020180011756 A KR1020180011756 A KR 1020180011756A KR 20180011756 A KR20180011756 A KR 20180011756A KR 20190092699 A KR20190092699 A KR 20190092699A
Authority
KR
South Korea
Prior art keywords
patient
tooth
image
model
consultation
Prior art date
Application number
KR1020180011756A
Other languages
English (en)
Inventor
윤여경
이선하
고주영
노진군
Original Assignee
주식회사 지르코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지르코리아 filed Critical 주식회사 지르코리아
Priority to KR1020180011756A priority Critical patent/KR20190092699A/ko
Publication of KR20190092699A publication Critical patent/KR20190092699A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 치아의 모양 및 SHADE 수정 기능 및 복합기능을 추가하여 보철물 종류 선택 등 전반적인 상담이 가능한 3D 프로그램을 제공하고, 상담 내용의 Interactive한 OUT PUT 지원 솔루션과, 서버를 구축하여 안정적인 서비스가 가능한 종합 덴탈 솔루션 시스템을 통해 치아가 손상된 환자가 치과에 방문 시 치아 치료 후 환자의 이미지를 가상으로 프로그램으로서 환자의 정면사진, 개구기를 착용한 사진을 촬영 한 뒤 프로그램의 개구기 사진에서 환자의 치아부분을 추출 하여 손상된 치아를 이미지 보정하여 저장한 뒤 정면사진에서 환자의 치아부분을 추출하고 보정한 치아이미지로 대체 하여 가상의 치아 치료 후 모습을 보여줄 수 있는 치과환자 상담용 시뮬레이션 시스템 및 방법에 관한 것이다.

Description

치과환자 상담용 시뮬레이션 시스템 및 방법{Simulation system and method for dental patient consultation}
본 발명은 치과환자 상담용 시뮤레이션에 관한 것으로, 보다 상세하게는 치아가 손상된 환자가 치과에 방문 시 치아 치료 후 환자의 이미지를 가상으로 프로그램으로서 환자의 정면사진, 개구기를 착용한 사진을 촬영 한 뒤 프로그램의 개구기 사진에서 환자의 치아부분을 추출 하여 손상된 치아를 이미지 보정하여 저장한 뒤 정면사진에서 환자의 치아부분을 추출하고 보정한 치아이미지로 대체 하여 가상의 치아 치료 후 모습을 보여줄 수 있는 치과환자 상담용 시뮬레이션 시스템 및 방법에 관한 것이다.
의료 진료의 목적으로 사용되는 데이터들을 얻기 위해서는 디지털 카메라, 휴대전화 카메라 등으로 사진을 촬영하여 2D 비트맵 이미지 데이터를 획득하고, CT(computed tomography, 컴퓨터 단층 촬영) 및 MRI(magneticresonance imaging, 자기공명영상) 촬영 등을 통하여 복수 개의 2D 단층 이미지 데이터를 수집하는 방법 등을 사용한다. 이때, 각각의 이미지 데이터는 서로 다른 원리로 생성되므로 그로부터 얻을 수 있는 데이터의 성격이 서로 다르며, 그 활용 또는 응용되는 방법 내지 영역도 각각 다르다.
따라서, 픽셀(pixel) 또는 복셀(voxel)로 구성된 2D 비트맵 이미지 데이터 또는 2D 단층 이미지 데이터들을 이용하여 생성한 볼륨모델 그 자체로는 이를 이용하여 새로운 모델을 제작하거나 시뮬레이션을 수행하는 것과 같은 3D CAD 모델 기반의 프로세스가 불가능 하다는 문제점이 있었다.
이를 해결하고자 2D 단층 이미지 데이터들을 이용하여 영역화(segmentation), 재구성(reconstruction) 작업을 하여 3D CAD 모델을 생성하였지만, 이는 사실적인 얼굴표현이 안되어 있는 단일 색상의 모델이었다.
이에, 환자의 얼굴 사진 이미지를 텍스쳐 매핑 기술을 이용하여 단일 색상의 모델에 적용시키는 방법이 사용 되었지만, 이 또한 단층 이미지 촬영(CT 등)과 얼굴 사진 촬영 시 서로 다른 장비의 특성, 환자의 움직임, 카메라 렌즈와 환자가 이루는 각도 등에 의한 두 장비의 서로 다른 결과물로부터 발생되는 텍스쳐 매핑의 오차가 크게 발생할 수 있다는 문제점이 있었다.
특허문헌 1 : 대한민국 공개특허 10-2006-0100737호 - 인터넷을 이용한 치과 환자 진료 서비스 방법 및 그 시스템 특허문헌 2 : 대한민국 공개특허 10-2002-0071546호 - 치과용 통합 진단 시스템
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 치아의 모양 및 SHADE 수정 기능 및 복합기능을 추가하여 보철물 종류 선택 등 전반적인 상담이 가능한 3D 프로그램을 제공하고, 상담 내용의 Interactive한 OUT PUT 지원 솔루션과, 서버를 구축하여 안정적인 서비스가 가능한 종합 덴탈 솔루션 시스템을 통해 치아가 손상된 환자가 치과에 방문 시 치아 치료 후 환자의 이미지를 가상으로 프로그램으로서 환자의 정면사진, 개구기를 착용한 사진을 촬영 한 뒤 프로그램의 개구기 사진에서 환자의 치아부분을 추출 하여 손상된 치아를 이미지 보정하여 저장한 뒤 정면사진에서 환자의 치아부분을 추출하고 보정한 치아이미지로 대체 하여 가상의 치아 치료 후 모습을 보여줄 수 있는 치과환자 상담용 시뮬레이션 시스템 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명 치과환자 상담용 시뮬레이션 시스템은 상담, 진료 시 환자정보를 관리 할 수 있는 기능으로, 환자정보 등록, 수정, 제거 가능한 환자관리와, 상담, 진료에 관한 기록을 열람, 수정, 제거하는 환자 진료를 관리하는 PC의 전자차트; 의사가 진료 시 테블릿PC를 통해 손 글씨로 수기메모를 통해 진료를 할 수 있는 손 글씨 입력 기능과, 환자의 치아 색깔의 비교를 위한 비교 쉐이드가 카메라 촬영 시 같이 보여져 촬영되는 쉐이드 카메라 및 촬영된 이미지 또는 수기메모 이미지 파일의 업로드, 다운로드 모듈을 포함하는 모바일 전자차트; 상기 전자차트와 상기 모바일 전자차트에 설치되어 촬영한 이미지를 불러오는 이미지 로더와, 촬영된 이미지가 돌아가 있을 경우 이미지를 회전하여 정방향으로 정렬할 수 있는 이미지 정렬기와, 이미지의 치아부분을 교체하기 위해 치아부분을 설정할 수 있는 영역 추출기와, 많이 사용되는 대표적 치아형태를 미리 제작하여 빠르게 환자의 사진에 적용해 볼 수 있도록 제작한 치아 템플릿과, 환자의 치아를 기반으로 치아의 외곽선을 조절하여 치료된 치아를 가상으로 제작하여 적용할 수 있는 템플릿 커스텀 및 편집기를 통해 제작된 가상의 치료 후 이미지를 치료 전과 비교하여 볼 수 있는 Before & After를 수행하는 가상 이미지 시뮬레이션 프로그램; 상기 전자차트와 상기 모바일 전자차트에 설치되어 3D 모델을 가상공간 에서 확인 할 수 있는 모듈로 이동, 회전, 크기 등을 조절하여 관측 가능하도록 하는 3D 모델 뷰어와, 3D 모델의 절단 단면을 볼 수 있는 단면 절단 모듈과, 3D 모델의 두께를 측정하는 두께 측정 모듈 및 3D 파일의 업로드, 다운로드를 수행하는 모델 업로더, 다운로더를 포함하는 3D 모델 뷰어 프로그램; 및 시스템 전반 운영에 사용되는 Rest Web API인 시스템 운영 API와 3D 파일의 업로드, 다운로드 모듈인 3D 모델 다운로더, 업로더 및 이미지 파일의 업로드 다운로드 모듈인 이미지 파일 다운, 업로드로 구성되는 APi 및 서버를 포함하여 구성됨을 특징으로 한다.
여기서 치과환자 상담용 시뮬레이션 시스템에서, 손 글씨 입력기능은 사용자가 터치 펜 또는 손을 이용하여 의뢰 요구사항에 대해 수기로 내용을 기록할 수 있는 기능으로 치아 그림 등의 배경 입력기능을 포함한 형태로 개발되되, 상기 손 글씨 입력기능은 스마트폰 환경에서 드래그 입력 이벤트를 통해 얻어진 좌표를 기반으로 글씨 이미지를 생성하고, 자연스러운 손 글씨 이미지 생성을 위해 드래그 과정에서 이전 좌표로의 벡터와 생성 좌표로의 벡터를 통해 조절점을 생성하여 Bezier 커브를 통해 곡선형태의 이미지를 얻을 수 있고, Redo, Undo(되돌리기, 다시실행) 기능을 위해서는 그려진 선의 색깔, 위치좌표등의 데이터를 스택으로 관리하여 최상위 그리기를 취소 또는 재 그리기 기능을 수행하는 더블 버퍼 이미지를 이용한 빠른 그리기 기능과, 치아 기공에서 치아 색 선정에 대한 비교 척도로써, 기공 시 사용되는 치아 색깔을 단계별로 구분하여 제작된 가이드 물체를 환자의 사진과 동시에 촬영하여 기공사에게 전달하여 사용되는 쉐이드를 위하여 어플상에서 쉐이드의 단계별 이미지를 제작하여 적재 하여 환자 치아 촬영 시 치아 색상에 따른 쉐이드 이미지를 Overlay 하여 환자의 치아색상을 판단할 수 있도록 도와주는 쉐이드 카메라 기능이 추가되되, 상기 쉐이드는 치아기공업계에서 사용되는 Vita Classic 버전의 쉐이드 색상을 기반으로 A1 ~ D3 까지 15단계의 색상 변화가 가능하며, 전치부인 12개의 치아 해당하는 모델로 맵핑되어 원하는 색상과 치아를 선택하여 사진을 촬영 할 수 있도록 하고, 쉐이드 기능 선택 시 화면 좌측 상단에 치아모델을 선택할 수 있는 모델 선택창이 나타나며, 좌측 하단에 쉐이드의 변화를 선택할 수 있는 토글로 쉐이드를 변화시킬 수 있으며, 치아모델의 터치 & 드래그로 위치를 이동 시킬 수 있으며 Pinch 제스처를 통해 모델의 크기를 조절할 수 있도록 된 것을 특징으로 한다.
또한 상기와 같은 목적을 달성하기 위하여 본 발명 치과환자 상담용 시뮬레이션 방법은 모바일에서는 환자 상담 내용을 수기로 작성 할 수 있는 기능과 카메라 기능을 이용하여 환자의 치아와 색상 비교를 위한 쉐이드 가이드 이미지를 추가하여 촬영된 이미지 첨부하는 단계; PC에서는 병원 계정의 관리 환자를 리스트 형태로 표시하는 환자 검색과, 상기 환자정보 입력, 최초상담정보 입력, 치료 전 사진 이미지 입력을 수행하는 환자추가와, 상기 환자 정보, 환자 상담 내용, 환자의 치료 전, 치료 후 이미지를 입력하는 환자 세부 정보와, 상기 환자의 치아 부분 사진을 기반으로 손상된 치아 이미지를 수정해 저장하는 치아 템플릿 생성과, 상기 환자의 정면 사진에서 치아부분을 제거 한 뒤 본인 치아 또는 제작되어있는 치아 이미지로 교체하여 환자의 치료 후 이미지를 가상으로 생성하는 가상 치아 치료 이미지 생성 기능을 제공하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
여기서 상기 치아 템플릿 생성은, 환자 치아 템플릿환자 세부정보 화면에서 내 치아 이미지 생성을 클릭하면, 환자의 치아가 보여지는 개구기 사진이 보여지며, 사진 회전을 통해 치아이미지를 정렬 후 치아부분만을 추출 할 수 있는 화면인 이미지 정렬 및 작업 부분 추출 화면이 생성되고, 치아 편집 화면 추출 영역 그리기 버튼을 통해 추출영역지정하여 영역 추출 버튼을 통해 추출된 치아영역에서 손상 치아를 편집할 수 있는 화면인 치아 편집 화면이 표시되고, 수정 후 저장하면 환자 세부 정보 화면이 표시됨을 특징으로 한다.
본 발명의 실시 예에 따르면 다음과 같은 효과가 있다.
첫째, 치아가 손상된 환자가 치과에 방문 시 치아 치료 후 환자의 이미지를 가상으로 프로그램으로서 환자의 정면사진, 개구기를 착용한 사진을 촬영 한 뒤 프로그램의 개구기 사진에서 환자의 치아부분을 추출 하여 손상된 치아를 이미지 보정하여 저장한 뒤 정면사진에서 환자의 치아부분을 추출하고 보정한 치아이미지로 대체 하여 가상의 치아 치료 후 모습을 보여줄 수 있다.
둘째, 기공소에 의뢰한 치아 모델을 3D로 미리 확인하여 치료 후의 환자의 치아 형태를 예측할 수 있다.
도 1은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템을 설명하기 위한 도면이다.
도 2는 도 1에 나타낸 시뮬레이션 시스템의 구성을 상세히 설명하기 위한 도면이다.
도 3은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 모델 단면 보기 기능을 설명하기 위한 흐름도이다
도 4는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 절두 평면 생성과정을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 이용되는 HalfEdge Structure를 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 절단 단면에 대한 Face 분리의 예를 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 모델 단면보기의 예를 보여주는 도면이다.
도 11은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 모델 두께 측정을 설명하기 위한 흐름도이다.
도 12는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 사용자 드래그 입력 기반의 모델 두께 측정의 예를 설명하기 위한 도면이다.
도 13 및 도 14는 도 12에 나타낸 사용자 드래그 입력 기반의 두께 측정에 대한 3D 모델 단면 보기 결과화면을 나타낸 도면이다.
도 15는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 치료 후 가상 이미지 시뮬레이션 편집기 흐름을 설명하기 위한 도면이다.
도 16 내지 도 19는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 외곽선 및 경계 추출을 설명하기 위한 도면이다.
도 20 내지 도 23은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 치아 잇몸 색상 변화 기능을 설명하기 위한 도면이다.
도 24는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 PC와 모바일(스마프 패드 등)의 주요 프로그램 기능을 설명하기 위한 도면이다.
도 25는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 관리 흐름을 설명하기 위한 도면이다.
도 26 내지 도 28은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 관리 화면의 예를 보여주는 도면이다.
도 29 내지 도 33은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 치아 템플릿 만들기 흐름의 일예를 보여주는 도면이다.
도 34 내지 도 37은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자의 손상 치아 수정 방법의 흐름을 보여주는 도면이다.
도 38 내지 도 43은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 치아 템플릿 만들기 흐름의 다른 예를 보여주는 도면이다.
도 44 내지 도 46은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 모델 부가 기능을 설명하기 위한 도면이다.
도 47은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 쉐이드 카메라 및 수기 필기 노트 기능을 설명하기 위한 도면이다.
본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
도 1은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템을 설명하기 위한 도면이고, 도 2는 도 1에 나타낸 시뮬레이션 시스템의 구성을 상세히 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템은 도 1 및 도 2에 나타낸 바와 같이, 환자가 병원에 내원 시 상담 진료에 앞서 환자의 사진을 찍고 치아 치료 후의 변화 모습을 시뮬레이션 할 수 있는 프로그램을 포함한다.
해당 기능을 위해 이미지 정렬, 치아 부분 추출, 치아부분 대체 템플릿 및 커스텀 템플릿 제작, Before & After 이미지 생성 등의 모듈을 포함한 프로그램을 제작한다.
또한 이후 치료과정의 내용을 기록 관리할 수 있는 환자별 전자차트 프로그램을 개발하며, 기공소에서 디자인한 3D 치아 모델을 3D 뷰어를 통해 미리 확인하여 상담에 활용 할 수 있는 시스템을 개발한다.
이를 위하여 본 발명은 도 2에서와 같이 환자관리와 환자진료관리를 위한 전자차트, 손글씨 진료, 쉐이드 카메라 및 이미지 파일 다운, 업로드를 수행하는 모바일 전자차트, 이미지 로더, 이미지 정렬기, 영역 추출기, 치아 템플릿, 템플릿 커스텀, 치아 잇몸색 변환기 및 Before & After를 수행하는 가상 이미지 시뮬레이션, 3D 모델 뷰어, 단면측정, 두께 측정 모델, 업로드 다운로드를 제공하는 3D 모델 뷰어 및 시스템 운영 API. 3D 모델 다운, 업로드, 이미지 파일 다운, 업로드를 제공하는 APi 및 서버를 포함하여 구성된다.
이러한 전자차트는 치과의 PC로 구성될 수 있고, 모바일 전자차트는 스마트 패드나 스마트 폰 등으로 구성될 수 있으며, 가상 이미지 시뮬레이션 프로그램 및 3D 모델 뷰어 프로그램은 전자차트, 모바일 전자차트에 다운로드 받아 설치될 수 있고, 전자차트와 모바일 전자차트는 APi 및 서버와 통상의 인터넷(와이파이, 3G 내지 5G 통신망)을 통해 데이터를 송수신할 수 있다.
이를 표 1을 통해 정리하면,
Figure pat00001
과 같다.
치과/기공소별 계정관리, 환자진료, 치료 후 사진 공유, 3D 모델 정보등의 통신을 위한 서버 구축 및 Rest API 개발하였다. Api는 일반 입,출력 Api와 3D 대용량 파일을 전송 가능한 Multipart 업로드 Api로 나누어 개발하였다. 일반 입,출력 Api는 데이터의 제어 성격에 따라 표 2와 같이 4가지로 구분된다.
Figure pat00002
일반 입출력 Api는 서버와 클라이언트간의 시스템 운영에 필요한 데이터 교환을 위해 사용되며 각 요청별로 4개의 타입중에 선택하여 필요 기능을 제작하여 활용한다.
Multipart 업로드는 대형 파일 데이터 객체를 여러개의 부분(버킷)으로 나누어 연속적으로 업로드 할 수 있는 방법으로 3D 모델 데이터와 치료 후 가상 이미지 사진 파일의 업로드 시 사용한다.
도 3은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 모델 단면 보기 기능을 설명하기 위한 흐름도이다
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 모델 단면 보기 기능은 도 3에 나타낸 바와 같이, 치과의 PC 나 스마트 기기를 통해 자르기 기능 선택 후 자르는 단면 드래그, 드래그 시작점 및 종료점 3D 공간 맵핑, 카메라 좌표, 드래그 시작점, 종료점으로 3차원 절단 평념 생성, 절단 평면 관통하는 에지 조사 및 충돌점 조사, 에지 절단 및 페이스 재구성, 절단 평면 하단에 위치하는 페이스 제거 및 절단된 단면 모델 렌더링을 구성된다. 이에 대하여는 후술하는 도 24 내지 도 47에서 보다 상세히 설명하기로 한다.
도 4는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 절두 평면 생성과정을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 절두 평면 생성과정은 도 4에 나타낸 바와 같은데, 모델 단면 관측을 위해 사용자 드래그 입력을 통한 절단 라인의 시작점과 종료점을 3D 공간의 카메라 평면으로 맵핑시켜 3D 좌표를 추출한다.
이후 추출된 2개의 3D 좌표와 카메라의 위치 좌표를 포함하는 3개의 점을 이용하여 평면의 방정식을 만든다.
이를 위한 평면 방정식은 식1과 같이 나타낼 수 있다.
Figure pat00003
생성된 평면의 방정식을 이용하면 모델을 구성하는 버텍스 들의 3D 평면과의 위상정보(평면의 위쪽, 아래쪽, 평면상에 존재하는지)를 확인 할 수 있게 되며 해당정보를 이용해 평면을 기점으로 Face들의 표시여부를 측정할 수 있다
한 개의 Face를 구성하는 3개의 정점들 모두 평면의 위쪽 또는 아래쪽에 분포되어 Face의 Visibility가 확실히 정해지는 Face들이 존재하지만 평면상에 걸쳐져있는 Face들은 평면에 대해 분리되어 재구성 될 필요가 있다. 평면상에 존재하는 Face들의 분리를 위해서 Face분리 알고리즘을 개발하였다.
도 5 및 도 6은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 이용되는 HalfEdge Structure를 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 이용되는 HalfEdge Structure는 우선, 도 5에서와 같이 HalfEdge Structure는 3D 모델의 구성방법으로 3D 모델을 Face, Edge, HalfEdge, Vertex로 구성하는 DataStructure이다. HalfEdge는 Vertex를 시작점으로 다음 Vertex로 향하는 방향성이 있는 Edge로 구성된다. 각 HalfEdge는 시작점의 Vertex를 갖으며 반대방향으로의 HalfEdge, HalfEdge가 속해있는 Face, 다음 HalfEdge 로의 포인터를 가지고 있어 공간상의 인접한 구성요소로의 접근이 용이한 장점이 있다.
그리고 도 6과 같은 HalfEdge Structure의 인접 엣지 검색의 예를 나타내고 있다.
도 7 및 도 8은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 절단 단면에 대한 Face 분리의 예를 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 절단 단면에 대한 Face 분리의 예는 도 7 및 도 8에 나타낸 바와 같은데, 평면의 방정식을 통해 모델을 구성하는 Face의 엣지의 시작점과 끝점을 조사하여 평면을 통과하는 엣지들을 검사한다. 추출한 충돌 엣지 중 하나를 선택하여 충돌점을 추출하며, 엣지의 양쪽 버텍스 중 하나를 선택하여 버텍스와 연결된 다른 엣지들의 충돌여부를 검사한다. 이 경우 2가지 Case가 존재 하는데 첫 번째는 이전의 충돌 엣지를 제외한 다른 충돌엣지가 있을 경우로 충돌점을 추출하고, Face를 분할 한 뒤, 다음 버택스로 이동하여 충돌엣지를 다시 검색한다. 두 번째는 충돌 엣지가 존재하지 않을 경우로 이전의 버텍스로 돌아와서 충돌 엣지가 존재하는지 다시 검색을 반복한다.
충돌점을 지나는 모든 엣지에 대한 Face 분할이 종료되면 절단 평면상의 위상에 따라 평면상의 위쪽, 아레쪽에 해당하는 Face들을 리스트를 선별적으로 렌더링한다.
한편 도 9 및 도 10에서는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 모델 단면보기의 예를 보여주고 있는데, 도 9는 모바일(예로써 스마프 패드)에서의 3D 모델 단면 보기 결과화면이고, 도 10은 PC에서의 3D 모델 단면 보기 결과화면이다.
도 11은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 모델 두께 측정 방법을 설명하기 위한 흐름도이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 모델 두께 측정 방법은 도 11에 나타낸 바와 같이 모델 절단 단면을 생성하고, 거리 측정 위치에 사용자 드래그를 입력하고, 드래그 시작점 치 종료점 3D 절단 평면 공간을 맵핑하며, 시작점에서 종료점. 종료점에서 시작점까지의 모델과의 충돌점을 조사하여 두 충돌점 사이의 거리를 측정한다. 이때 모바일 환경에서 2개의 측정점을 터치를 기반으로 지정하여 모델의 거리를 측정하는 경우 3D 모델의 특정위치를 정확히 선정하기는 쉽지 못하다. 따라서 드래그 기반의 입력방식을 통해 손쉬운 방법으로 모델의 두께를 측정하는 기능을 개발하였다.
도 12는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 사용자 드래그 입력 기반의 모델 두께 측정의 예를 설명하기 위한 도면이고, 도 13 및 도 14는 도 12에 나타낸 사용자 드래그 입력 기반의 두께 측정에 대한 3D 모델 단면 보기 결과화면을 나타낸 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 사용자 드래그 입력 기반의 모델 두께 측정의 예는 도 12에 나타낸 바와 같이, 모델 단면 절단 기능을 이용해 잘려진 단면이 나타나 있는 화면에서 거리를 측정하려는 단면 부분에 드래그를 이용해 직선으로 사용자가 입력한다.
화면 디스플레이상의 시작점과 종료점은 3D 공간의 잘려진 평면 위의 점으로 맵핑되어 사용자가 보이는 시점에 일치하는 평면상의 점을 도출한다.
평면으로 맵핑된 시작점, 종료점은 시작점에서 종료점 방향으로, 종료점에서 시작점방향으로 향하는 직선의 방정식을 구하고 직선의 방정식을 통해 처음으로 모델과 접하게 되는 점들을 구한 후 두 점사이의 거리를 계산하여 모델의 두께를 측정하게 된다.
한편 도 12 및 도 13에서는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 모델 단면보기의 예를 보여주고 있는데, 도 12는 모바일(예로써 스마프 패드)에서의 3D 모델 단면 보기 결과화면이고, 도 13은 PC에서의 3D 모델 단면 보기 결과화면이다.
도 15는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 치료 후 가상 이미지 시뮬레이션 편집 방법을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 치료 후 가상 이미지 시뮬레이션 편집 방법은 도 15에 나타낸 바와 같은데, 치과 치료 후 변경된 환자의 이미지를 제작 할 수 있는 프로그램으로, 환자의 이미지를 카메라로 촬영한 후 환자의 이미지를 정렬시킨다. 정확한 정렬을 위해 가로축 세로축에 해당하는 정준선을 프로그램 내에 표시가 가능하며, 양눈의 위치의 교차점을 기준으로 삼아 촬영 이미지를 회전시켜 정렬한다.
이후 환자의 입 영역에 대한 이미지 교체 작업을 위해, 입 영역 이미지를 추출하며, 치료 후의 이미지생성을 위해 기존 치아부분을 제거한다. 제거된 치아 부분은 프로그램내에 마련된 기성 치아 템플릿으로 교체함으로서 빠르게 치과 치료 후의 이미지를 생성하여 볼 수 있으며, 각각 치아별로 크기 모양등을 조정할 수 있으며, 치아와 잇몸의 색깔등을 조절하여 가상의 치료 후 이미지를 생성한다.
본 발명에서는 입 모양 추출 기능을 표 3에서와 같이 제공한다.
Figure pat00004
도 16 내지 도 19는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 외곽선 및 경계 추출을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 외곽선 및 경계 추출은 우선 도 16에서와 같이 Bezier 커브를 적용한 외곽선 영역 생성은 조절점 커브를 이용한 부드러운 형태의 외곽선 추출에서 펜 기능은 추출점 입력을 통해 이전 추출점과의 연결을 통해 외곽선을 생성한다. 기본적인 추출점을 이용한 영역 선택방식의 경우 추출점들이 직선으로 연결되어 정확한 영역지정을 위한 부분에서는 많은 추출점을 입력하여야 한다.
이에 대한 개선방안으로 추출점을 추가할 때에 기존 추출점 들의 방향 벡터를 고려하여 Bezier 커브를 생성함으로서 적은 추출점을 입력하더라도 부드러운 형태의 곡선모양의 추출영역이 선택되어 시간을 단축하는 기능을 개발하였다. 또한 추출점들을 모두 입력하여 추출영역을 생성한 후 추출점의 삭제, 추가, 이동이 가능하며, 추출점을 선택 시 곡선의 각도를 조절할 수 있는 조절점을 추가하여 커브각도를 조정하여 세밀한 추출영역을 도 17에서와 같은 조절점을 이용한 외곽선 영역 커브 수정 결과화면을 만들 수 있다.
한편 도 18에서는 반자동 경계 추출에 대하여 도시되어 있는데, 개선된 치아 이미지를 만들기 위해선 촬영된 환자 이미지에서 치아부분을 제거할 수 있어야 한다. 하지만 이미지 상에서 정확한 치아부분을 추출하기 위해서는 사용자가 입모양에 대한 부분들을 정밀하게 체크하여야 하며 이에 따라 많은 시간이 소요된다. 간편하고 정확한 경계추출 위해 본 시스템에서는 Inteligent Scissors 알고리즘을 이용하여 구현하였다.
Intelligent Scissors 알고리즘은 사용자의 간단한 마우스의 포인터의 움직임으로 객체의 경계 추적이 가능하게 하는 방법으로 Local Cost가 계산된 이미지 맵에서 시작점을 기준으로 이웃하는 8개의 픽셀 중에서 경계로 판단되는 픽셀로 이동하면서 경계선을 찾는 과정이다. 이는 Dijkstra가 고안해낸 최단거리 길 찾기 알고리즘을 2차원 영상에 적용한 것으로 Local Costs는 강한 경계일수록 낮은 값을 가지게 된다.
점(Pixel) p에서 점 q로의 Local Cost를 l(p,q)로 하면 l(p,q) 의 값은 다음과 같다.
Figure pat00005
Figure pat00006
는 Laplacian Zero-Crossing이며
Figure pat00007
는 Gradient Magnitude,
Figure pat00008
는 Gradient Direction 임. 여기서 각각의
Figure pat00009
,
Figure pat00010
,
Figure pat00011
의 값을 0.43, 0.14, 0.43으로 가중치를 주었다.
Laplacian 은 2차 미분관련 경계선 추출 기법으로 점차적으로 밝기 값이 변하는 부분에 반응하는 것을 둔화시킴과 동시에 경계를 더욱 강조한다. 하지만 경계 부분에서 + → -, - → + 으로 변하는 부분을 갖게된다. 이러한 부호의 변화를 Zero-Crossing 이라고 하는데, 영교차를 제거해야 한다. 그러나 영교차 지점을 정확하게 파악할 수 없음으로 일정한 블록을 잡아 블록내의 합을 지정한 경계값 이상이면 에지 값인 1로 정하고 아니면 0으로 정하였다.
Figure pat00012
Gradient Magnitude는
Figure pat00013
로서 경계선의 강도를 가리킨다. 2차원 영상에서 물체의 경계 부분에서는 경사가 급격한 밝기 변화를 보이게 된다.
Figure pat00014
Gradient Direction은 edge의 방향을 뜻함. 경계의 방향
Figure pat00015
이다.
Figure pat00016
Figure pat00017
Figure pat00018
,
Figure pat00019
해당 방법을 통해 구해진
Figure pat00020
(Local Cost)값은 첫 번째 점을 선택했을 때 첫 번째 점의 픽셀과 방향, 경계 강도에 따른 유사값으로 수치가 0에 가까울수록 연관도가 높은 값이다. 사용자가 마우스 포인터를 위치한 지점까지 경로중 Local Cost 값의 총합이 가장 적은 경로를 최단거리 알고리즘을 통해 구해 내게 된다. 해당 경로를 통해 경계부분을 반자동 적으로 생성할 수 있다.
도 19는 이러한 반자동 경계 추출 결과화면이다.
도 20 내지 도 23은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 치아 잇몸 색상 변화 방법을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 치아 잇몸 색상 변화 방법은 도 20에서 와 같이 치아 템플릿은 사용자의 치아 색상과의 차이를 조절 하기 위해 색상 필터를 이용한 치아 잇몸 색깔 변화 기능을 개발하였다.
색상변화는 색상 필터 레이어와 치아 형태에 해당하는 마스크 필터를 거쳐 사용자에게 변화된 색상을 보여준다.
색상 필터 레이어는 변화하려는 색이 포함되어 있는 필터로 변화하려는 색상의 원색 + 조절하려는 수치에 해당하는 Alpha체널값으로 이루어진다.
치아 템플릿은 배경이 투명 처리된 이미지에 템플릿별 치아 형태가 그려진 이미지를 사용한다. 해당 과정에서 Alpha체널값의 비교를 통해 치아를 나타내는 이미지와 배경이 구분되며, 색상 변화 기능 시 색상 필터에 지정된 색상과 치아 이미지 픽셀의 색상 합성을 통해 변화된 색상을 적용 시킨다.
여기서 도 21은 치아 밝기 색상 변화이고, 도 22는 잇몸 밝기 색상 변화를 보여주고 있다.
예를 들어 치아 밝기와 잇몸 밝기 변화 기능은 하얀색과 검은색에 해당하는 FFFFFF와 000000 필터값을 사용하였다. 슬라이더의 중간값을 기본값으로 설정하고 좌측이동 시 어두운필터, 우측으로 이동시 밝은색의 필터를 활용하여 치아색상을 변화시킨다.
치아 색상 변화 기능은 노란색에 해당하는 FFFF00와 FFFFFF 필터값을 사용하였다. 슬라이더의 중간값을 기본값으로 설정하고 좌측이동 시 노란필터, 우측으로 이동시 밝은색의 필터를 활용하여 치아색상을 변화시킨다.
도 24는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 PC와 모바일(스마프 패드 등)의 주요 프로그램 기능을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 PC와 모바일(스마프 패드 등)의 주요 프로그램 기능은 손 글씨 입력 기능과, 쉐이드 카메라 기능이 있다.
여기서, 손 글씨 입력기능은 기존 아날로그 방식의 치아 기공의뢰 시 치아 그림위에 요구 및 특이사항을 표현하여 기공의뢰를 진행하는 것이 일반적인 방법이다. 손 글씨 기능은 사용자가 터치 펜 또는 손을 이용하여 의뢰 요구사항에 대해 수기로 내용을 기록할 수 있는 기능으로 치아 그림 등의 배경 입력기능을 포함한 형태로 개발하였다. 이러한 주요 기능은 도 24에 나타낸 바와 같다.
손 글씨 기능은 스마트폰 환경에서 드래그 입력 이벤트를 통해 얻어진 좌표를 기반으로 글씨 이미지를 생성한다. 하지만 연속적인 데이터의 집합으로 만들어지는 손 글씨 이미지를 만드는데 있어 드래그 입력 이벤트를 통해 얻어지는 좌표는 이벤트 루프를 통해 얻어진 불연속적인 데이터이며, 이벤트의 발생 주기에 따라 화면상의 드래그 좌표를 얻어오기 때문에 시스템 성능 및 바쁜 상태에 따라 손 글씨의 추적 좌표가 크게 차이가 나게 된다.
이에 대한 보완으로 자연스러운 손 글씨 이미지 생성을 위해 드래그 과정에서 이전 좌표로의 벡터와 생성 좌표로의 벡터를 통해 조절점을 생성하여 Bezier 커브를 통해 곡선형태의 이미지를 얻을 수 있다.
한편 더블 버퍼 이미지를 이용한 빠른 그리기 기능이 있는데, Redo, Undo(되돌리기, 다시실행) 기능을 위해서는 그려진 선의 색깔, 위치좌표등의 데이터를 스택으로 관리하여 최상위 그리기를 취소 또는 재 그리기 기능을 수행한다.
펜을 이용한 그리기과정 중 많은 양의 그리기를 수행할 시 속도가 느려지는 단점이 있다. 이에 대한 대안으로 더블 버퍼링 기능을 개발하여 속도 문제를 해결하였다.
더블 버퍼는 백 버퍼에 사용자가 입력한 좌표에 해당하는 손글씨를 그리고 그리기과정이 완료된 후 사용자에게 보여지는 버퍼인 프론트버퍼에 주입하여 사용자에게 보여진다. 이를 통해 그리기 과정에서 나타나는 속도저하, 깜빡임 문제등을 해결할 수 있다.
한편 쉐이드 카메라는 치아 기공에서 치아 색 선정에 대한 비교 척도이다. 쉐이드는 기공 시 사용되는 치아 색깔을 단계별로 구분하여 제작된 가이드 물체를 환자의 사진과 동시에 촬영하여 기공사에게 전달하여 사용된다. 쉐이드 카메라 기능은 이에 대한 도움 기능으로 어플상에서 쉐이드의 단계별 이미지를 제작하여 적재 하였으며, 환자 치아 촬영 시 치아 색상에 따른 쉐이드 이미지를 Overlay 하여 환자의 치아색상을 판단할 수 있도록 도와주는 기능을 한다.
쉐이드는 치아기공업계에서 사용되는 Vita Classic 버전의 쉐이드 색상을 기반으로 A1 ~ D3 까지 15단계의 색상 변화가 가능하며, 전치부인 12개의 치아 해당하는 모델로 맵핑되어 원하는 색상과 치아를 선택하여 사진을 촬영 할 수 있다.
화면 좌측 상단에 치아모델을 선택할 수 있는 모델 선택창이 나타나며, 좌측 하단에 쉐이드의 변화를 선택할 수 있는 토글로 쉐이드를 변화시킬 수 있다. 또한 치아모델의 터치 & 드래그로 위치를 이동 시킬 수 있으며 Pinch 제스처를 통해 모델의 크기를 조절할 수 있다. 촬영버튼을 누를시 이미지 형태로 저장된다.
도 25는 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 관리 방법을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 관리 방법은 도 25에 나타낸 바와 같이 모바일에서는 환자 상담 내용을 수기로 작성 할 수 있는 기능과 카메라 기능을 이용하여 환자의 치아와 색상 비교를 위한 쉐이드 가이드 이미지를 추가하여 촬영된 이미지 첨부하고, PC에서는 병원 계정의 관리 환자를 리스트 형태로 표시하는 환자 검색과, 환자정보 (성명, 성별, 생년월일, 담당자) 입력, 최초상담정보 (상담일자, 상담내용) 입력, 치료 전 사진 이미지(정면사진, 개구기 착용사진) 입력을 수행하는 환자추가 화면, 환자 정보, 환자 상담 내용(일자 별 리스트 형태로 표시), 환자의 치료 전, 치료 후 이미지를 입력하는 환자 세부 정보 화면, 환자의 치아 부분 사진을 기반으로 손상된 치아 이미지를 수정해 저장하는 치아 템플릿 생성 기능, 환자의 정면 사진에서 치아부분을 제거 한 뒤 본인 치아 또는 제작되어있는 치아 이미지로 교체 하여 환자의 치료 후 이미지를 가상으로 생성하는 가상 치아 치료 이미지 생성 기능 등이 제공된다.
도 26 내지 도 28은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 관리 화면의 예를 보여주는 도면으로, 도 26에서는 병원에서 관리되는 환자 목록이 리스트 형태로 나타나는 화면으로, 환자명 입력을 통해 특정 환자를 검색할 수 있고, 환자 추가 버튼을 통해 환자 추가 페이지로 이동할 수 있으며, 환자 리스트항목 중 하나를 클릭하면 환자 세부 내용페이지를 볼 수 있다. 그리고 병원 명 버튼을 눌러 거래처 추가, 신규 거래 요청 등을 할 수 있는 환자 검색화면을 보여주고 있다.
도 27에서는 환자 추가 화면을 보여주고 있는데, 환자 추가 화면에서는 환자의 성명, 성별, 생년월일, 담당자 에 해당하는 환자정보 내용을 입력하고, 상담일자 상담내용을 작성하여 최초 상담 내용을 입력하며, 가상이미지 생성을 위한 환자의 정면사진, 개구기 착용사진을 등록 할 수 있다. 환자 추가 버튼을 누르면 환자 검색화면에 등록된다.
도 28에서는 환자 세부 정보 화면의 예를 보여주고 있는데, 상단에는 환자의 성명, 성별, 생년월일, 담당자 에 해당하는 환자정보를 확인 할 수 있다. 또한 중단에는 환자의 치료 후 가상이미지 생성을 위한 버튼과 환자 치아의 3D 모델을 확인 할 수 있는 버튼, 스마트폰에서 수기로 작성된 노트 이미지를 확인 할 수 있는 버튼이 있다.
그리고 내 치아로 이미지 생성은 촬영된 개구기 사진을 기반으로 손상된 치아를 수정하여 저장 할 수 있는 기능 시작하고, 가상 이미지 생성은 정면사진의 치아부분을 추출한 후, 내 치아로 이미지 생성 버튼을 통해 제작된 수정 치아 또는 프로그램에 등록되어 있는 치아템플릿을 이용해 추출된 부분을 대체 하여 치료 후 이미지를 생성할 수 있는 기능 시작하며, 3D 모델 보기는 3D 보철물 기공이 필요한 경우 제작된 3D 치아모델을 3D 가상공간에서 확인 할 수 있는 기능이고, 노트 보기는 스마트폰에서 작성한 수기 상담내용을 확인 할 수 있는 기능이고, 화면의 우측에서 리스트 형태로 환자의 상담내용을 확인 할 수 있으며 상담 내용 추가 시 상담내용을 추가 작성할 수 있는 다이얼로그가 생성된다.
한편 화면의 하단서 환자의 정면사진, 손상부분을 교체한 가상이미지사진, 치료 후 사진을 확인할 수 있다.
도 29 내지 도 33은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 치아 템플릿 만들기 방법의 일예를 보여주는 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 치아 템플릿 만들기 방법의 일예는 도 29에 나타낸 바와 같이, 환자 세부정보 화면에서 내 치아 이미지 생성을 클릭하면, 환자의 치아가 보여지는 개구기 사진이 보여지며, 사진 회전을 통해 치아이미지를 정렬 후 치아부분만을 추출 할 수 있는 화면인 이미지 정렬 및 작업 부분 추출 화면이 생성되고, 치아 편집 화면 추출 영역 그리기 버튼을 통해 추출영역지정하고, 영역 추출 버튼을 통해 추출된 치아영역에서 손상 치아를 편집할 수 있는 화면인 치아 편집 화면이 표시되고, 수정 후 저장하면 환자 세부 정보 화면이 표시된다.
도 34 내지 도 37은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자의 손상 치아 수정 방법의 흐름을 보여주는 도면이다.
도 34는 이미지 정렬 및 작업 부분 추출 화면 (본인 치아 템플릿 만들기)로써, 환자의 개구기 착용 화면을 기반으로 정면사진에서 교체 시킬 환자의 치아 부분 사진을 생성하기 위한 첫 번째 화면으로 치아부분에 대한 수정 전에 치아영역만을 분리하는 화면과, 환자의 사진이 기울어져 있는 경우 회전 기능을 통해 사진을 회전 시킬 수 있다.
추출영역 그리기를 클릭하면 사진이 투명한 검은색으로 전환되며 사용자는 드레그를 통해 수정작업이 이루어지는 치아부분을 선택할 수 있다.
추출영역 설정 뒤 영역 추출 버튼을 통해 해당부분을 추출하여 치아수정 편집에 사용할 수 있다.
이미지 불러오기 버튼을 통해서 개구기 사진을 교체 할 수 있다.
도 35에서는 추출된 개구기 사진의 치아 영역에서 손상된 치아를 보정 편집하는 화인 치아 편집 화면을 보여주고 있다.
도 36에서는 치아 이미지의 경계 지점을 클릭하여 외곽선 영역을 지정하고, 경계지점 클릭 시 이전 클릭점으로 부터 새로운 클릭점 까지 부드러운 곡선으로 연결되며, 외곽영역 선택한 후 시작점을 클릭하면 클릭했던 지점들을 기반으로 폐곡선 영역이 지정되고, 폐곡선 영역 지정이 완료되면 클릭 지점에 대해 조절점이 생성되며, 조절점 클릭시 커브의 각도를 조절할 수 있는 커브 조절점이 표시되는 커브라인과, 이미지 상의 치아 부분을 선택하기 위한 방법으로 커브라인 선택방법과 자석추출 방법이 존재하는데, 지정된 영역은 복사 또는 치아색 채우기, 치아색 저장하기 기능을 통해 치아 이미지 수정 작업에 사용되는 치아 영역 지정(치아 편집 화면)을 보여주고 있다.
그리고 도 37에서는 Intelligent Scissors 기법을 이용한 외곽선 영역 지정 방법으로, 자석 추출 버튼을 클릭한 후 사진의 치아 외곽선 부분을 클릭하면 첫번째 외곽선 클릭 후 외곽영역 근처부분으로 마우스를 드레그 하면 치아의 외곽영역의 외곽선 픽셀에 따라 반자동으로 영역이 지정되고, 치아의 외곽 영역에 따라 드레그 기능 수행후 시작점을 클릭하면 폐곡선 영역을 선택하며, 해당 영역을 수정할 수 있는 조절점이 생성되는 화면과, 이미지 상의 치아 부분을 선택하기 위한 방법으로 커브라인 선택방법과 자석추출 방법이 존재하는데, 지정된 영역은 복사 또는 치아색 채우기, 치아색 저장하기 기능을 통해 치아 이미지 수정 작업에 사용되는 치아 영역 지정(치아 편집 화면)이 표시된다.
도 38 내지 도 43은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 치아 템플릿 만들기 흐름의 다른 예를 보여주는 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 환자 치아 템플릿 만들기 흐름의 다른 예는 도 38 내지 도 43에 나타낸 바와 같은데, 환자세부정보 화면에서 내 치아로 이미지 생성을 클릭하면, 이미지 정렬 및 작업 부분 추출 화면인 환자의 정면사진을 기반으로 사진 회전을 통해 정렬 후 제거 시킬 치아부분을 추출 할 수 있는 화면이 도 39에서와 같이 표시되고, 추출 영역 그리기 버튼을 통해 추출영역지정하면 영역 추출 버튼을 통해 추출되고, 그에 따라 추출된 치아영역에서 치아 영역 부분을 지정하여 삭제 시킬 수 있는 화면인 치아 제거 화면이 도 40에서와 같이 표시된다.
그리고 수정 후 저장을 클릭하면 환자 정면사진에서 치아 영역이 제거된 부분에 수정된 치아이미지를 삽입하여 보정된 정면사진을 생성 할 수 있는 화면인 치아 부분교체 화면이 도 41 및 도 42에서와 같이 생성되고, 템플릿 치아를 활용한 수정 완료 버튼을 클릭하면 수정 전 정면사진과 수정완료 된 사진을 비교할 수 있는 화면인 수정사진 완성 화면이 도 43과 같이 표시된다. 이러한 도 43에서 사용자 치아를 클릭하면 치아 제거 부분에 본인 치아 만들기를 통해 생성된 치아 이미지가 나타나고, 환자의 사진과 어울릴 수 있도록 사용자 치아 이미지의 크기와 위치를 조절하며, 사용자 치아는 밝기와 색상을 조절할 수 있고, 이미지 조절 후 완료 버튼을 클릭하면 수정 전 사진과 수정 후 이미지를 비교할 수 있는 완성 페이지가 나타나게 된다.
도 44 내지 도 46은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 모델 부가 기능을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 3D 모델 부가 기능은 우선 도 44에서와 같이 3D 모델 보기가 있는데, 모델 보기 버튼을 클릭하면 3D 모델 보기화면으로 전환되고, 페이지가 나온 후 모델 로딩 화면을 거친 후 3D 모델이 렌더링 된다. 사용자는 한손가락 스와이프 제스처를 통해 모델 회전, 핀치제스처를 통해 확대축소, 두손가락 스와이프 제스처를 통해 이동을 할 수 있다. 우측상단의 버튼을 통해 이동된 모델을 원점으로 다시 돌릴 수 있으며, 좌측 메뉴를 통해 부가 기능을 활용할 수 있다.
부가 기능으로는 좌측 메뉴의 모델버튼을 누르면 화면에 표시된 3D 모델의 목록이 나오게 되며 우측의 버튼을 통해 보이기/안보이기를 설정 할 수 있다
한편 도 45는 3D 모델 추가 및 확인 기능으로 3D 모델보기 버튼을 누르면 3D 가상공간 화면이 나타나며, STL 3D 파일목록을 드레그&드롭 형태로 프로그램 위에 놓거나, STL 파일추가 버튼을 통한 파일 선택으로 3D 모델이 로딩된다.
그리고 불러온 3D 모델은 마우스 움직임을 통해 회전, 확대, 축소 이동 등의 시점이동이 가능하다.
또한 도 46은 3D 모델보기 부가 기능 자르기 및 거리측정인데, 자르기 버튼을 이용하여 모델의 단면을 관측할 수 있다. 그리고 자르기 버튼을 누른 후 3D 화면에서 자를 단면을 드레그를 통해 입력한다. 모델은 드레그 방향으로 잘리게 되며, 잘려진 모델은 반전 버튼을 통해 단면의 우측이 보이느냐 좌측이 보이느냐를 설정할 수 있다.
단면을 자른 후 거리측정 버튼을 통해 거리를 측정 할 수 있고, 거리 측정 버튼을 누른 후 드레그입력을 통해 시작점을 설정한다, 이후 드레그 좌표의 이동에 따라 선이 그려지며 선을 관통하는 모델의 길이는 녹색선으로 표시되며 녹색선의 모델상의 거리가 우측에 mm로 표시된다.
한편 자른 단면은 실행취소 버튼을 통해 원래 모델로 복귀할 수 있다.
도 47은 본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 쉐이드 카메라 및 수기 필기 노트 기능을 설명하기 위한 도면이다.
본 발명에 따른 치과환자 상담용 시뮬레이션 시스템에서 쉐이드 카메라 및 수기 필기 노트 기능은 도 47에 나타낸 바와 같이, 치과 진료시 사용되는 치아 템플릿(쉐이드) 와 비교를 통해 치아색깔을 결정할 수 있는 기능이 포함된 사진캡쳐기능과, 좌측의 슬라이드 버튼을 통해 치아색깔 조정 가능하고, 치아를 드레그로 이동하여 비교가능 핀치 제스처를 이용해 치아크기 조절 가능하며, 상단의 버튼을 통해 치아번호에 따른 치아이미지 변경가능하고, 우측의 카메라 버튼을 통해 촬영하는 쉐이드 카메라 기능을 제공한다.
또한 그림자료 위에 설명 또는 아날로그식 수기 작성을 통해 특이사항을 전달할 수 있는 기능과으로, 노트 추가 버튼 선택 시 노트종류를 선택할 수 있고, 팬, 지우개, 되돌리기, 다시하기 기능을 사용할 수 있고 배경에 이미지를 삽입할 수 있으며, 팬, 지우개 버튼을 다시 선택 시 팬과 지우개의 옵션을 설정할 수 있고, 작성이 완료되면 저장버튼을 통해 이미지로 변환되어 첨부파일로 사용되는 수기 필기 노트 기능을 제공한다.
이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (4)

  1. 상담, 진료 시 환자정보를 관리 할 수 있는 기능으로, 환자정보 등록, 수정, 제거 가능한 환자관리와, 상담, 진료에 관한 기록을 열람, 수정, 제거하는 환자 진료를 관리하는 PC의 전자차트;
    의사가 진료 시 테블릿PC를 통해 손 글씨로 수기메모를 통해 진료를 할 수 있는 손 글씨 입력 기능과, 환자의 치아 색깔의 비교를 위한 비교 쉐이드가 카메라 촬영 시 같이 보여져 촬영되는 쉐이드 카메라 및 촬영된 이미지 또는 수기메모 이미지 파일의 업로드, 다운로드 모듈을 포함하는 모바일 전자차트;
    상기 전자차트와 상기 모바일 전자차트에 설치되어 촬영한 이미지를 불러오는 이미지 로더와, 촬영된 이미지가 돌아가 있을 경우 이미지를 회전하여 정방향으로 정렬할 수 있는 이미지 정렬기와, 이미지의 치아부분을 교체하기 위해 치아부분을 설정할 수 있는 영역 추출기와, 많이 사용되는 대표적 치아형태를 미리 제작하여 빠르게 환자의 사진에 적용해 볼 수 있도록 제작한 치아 템플릿과, 환자의 치아를 기반으로 치아의 외곽선을 조절하여 치료된 치아를 가상으로 제작하여 적용할 수 있는 템플릿 커스텀 및 편집기를 통해 제작된 가상의 치료 후 이미지를 치료 전과 비교하여 볼 수 있는 Before & After를 수행하는 가상 이미지 시뮬레이션 프로그램;
    상기 전자차트와 상기 모바일 전자차트에 설치되어 3D 모델을 가상공간 에서 확인 할 수 있는 모듈로 이동, 회전, 크기 등을 조절하여 관측 가능하도록 하는 3D 모델 뷰어와, 3D 모델의 절단 단면을 볼 수 있는 단면 절단 모듈과, 3D 모델의 두께를 측정하는 두께 측정 모듈 및 3D 파일의 업로드, 다운로드를 수행하는 모델 업로더, 다운로더를 포함하는 3D 모델 뷰어 프로그램; 및
    시스템 전반 운영에 사용되는 Rest Web API인 시스템 운영 API와 3D 파일의 업로드, 다운로드 모듈인 3D 모델 다운로더, 업로더 및 이미지 파일의 업로드 다운로드 모듈인 이미지 파일 다운, 업로드로 구성되는 APi 및 서버를 포함하여 구성됨을 특징으로 하는 치과환자 상담용 시뮬레이션 시스템.
  2. 청구항 1에 있어서,
    상기 치과환자 상담용 시뮬레이션 시스템에서,
    상기 손 글씨 입력기능은 사용자가 터치 펜 또는 손을 이용하여 의뢰 요구사항에 대해 수기로 내용을 기록할 수 있는 기능으로 치아 그림 등의 배경 입력기능을 포함한 형태로 개발되되,
    상기 손 글씨 입력기능은 스마트폰 환경에서 드래그 입력 이벤트를 통해 얻어진 좌표를 기반으로 글씨 이미지를 생성하고, 자연스러운 손 글씨 이미지 생성을 위해 드래그 과정에서 이전 좌표로의 벡터와 생성 좌표로의 벡터를 통해 조절점을 생성하여 Bezier 커브를 통해 곡선형태의 이미지를 얻을 수 있고,
    Redo, Undo(되돌리기, 다시실행) 기능을 위해서는 그려진 선의 색깔, 위치좌표등의 데이터를 스택으로 관리하여 최상위 그리기를 취소 또는 재 그리기 기능을 수행하는 더블 버퍼 이미지를 이용한 빠른 그리기 기능과,
    치아 기공에서 치아 색 선정에 대한 비교 척도로써, 기공 시 사용되는 치아 색깔을 단계별로 구분하여 제작된 가이드 물체를 환자의 사진과 동시에 촬영하여 기공사에게 전달하여 사용되는 쉐이드를 위하여 어플상에서 쉐이드의 단계별 이미지를 제작하여 적재 하여 환자 치아 촬영 시 치아 색상에 따른 쉐이드 이미지를 Overlay 하여 환자의 치아색상을 판단할 수 있도록 도와주는 쉐이드 카메라 기능이 추가되되,
    상기 쉐이드는 치아기공업계에서 사용되는 Vita Classic 버전의 쉐이드 색상을 기반으로 A1 ~ D3 까지 15단계의 색상 변화가 가능하며, 전치부인 12개의 치아 해당하는 모델로 맵핑되어 원하는 색상과 치아를 선택하여 사진을 촬영 할 수 있도록 하고, 쉐이드 기능 선택 시 화면 좌측 상단에 치아모델을 선택할 수 있는 모델 선택창이 나타나며, 좌측 하단에 쉐이드의 변화를 선택할 수 있는 토글로 쉐이드를 변화시킬 수 있으며, 치아모델의 터치 & 드래그로 위치를 이동 시킬 수 있으며 Pinch 제스처를 통해 모델의 크기를 조절할 수 있도록 된 것을 특징으로 하는 치과환자 상담용 시뮬레이션 시스템.

  3. 청구항 1 또는 청구항 2의 치과환자 상담용 시뮬레이션 시스템을 이용한 시뮬레이션 방법으로,
    모바일에서는 환자 상담 내용을 수기로 작성 할 수 있는 기능과 카메라 기능을 이용하여 환자의 치아와 색상 비교를 위한 쉐이드 가이드 이미지를 추가하여 촬영된 이미지 첨부하는 단계;
    PC에서는 병원 계정의 관리 환자를 리스트 형태로 표시하는 환자 검색과,
    상기 환자정보 입력, 최초상담정보 입력, 치료 전 사진 이미지 입력을 수행하는 환자추가와,
    상기 환자 정보, 환자 상담 내용, 환자의 치료 전, 치료 후 이미지를 입력하는 환자 세부 정보와,
    상기 환자의 치아 부분 사진을 기반으로 손상된 치아 이미지를 수정해 저장하는 치아 템플릿 생성과,
    상기 환자의 정면 사진에서 치아부분을 제거 한 뒤 본인 치아 또는 제작되어있는 치아 이미지로 교체하여 환자의 치료 후 이미지를 가상으로 생성하는 가상 치아 치료 이미지 생성 기능을 제공하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 치과환자 상담용 시뮬레이션 방법.
  4. 청구항 3에 있어서,
    상기 치아 템플릿 생성은,
    환자 치아 템플릿환자 세부정보 화면에서 내 치아 이미지 생성을 클릭하면, 환자의 치아가 보여지는 개구기 사진이 보여지며, 사진 회전을 통해 치아이미지를 정렬 후 치아부분만을 추출 할 수 있는 화면인 이미지 정렬 및 작업 부분 추출 화면이 생성되고, 치아 편집 화면 추출 영역 그리기 버튼을 통해 추출영역지정하여 영역 추출 버튼을 통해 추출된 치아영역에서 손상 치아를 편집할 수 있는 화면인 치아 편집 화면이 표시되고, 수정 후 저장하면 환자 세부 정보 화면이 표시됨을 특징으로 하는 치과환자 상담용 시뮬레이션 방법.
KR1020180011756A 2018-01-31 2018-01-31 치과환자 상담용 시뮬레이션 시스템 및 방법 KR20190092699A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180011756A KR20190092699A (ko) 2018-01-31 2018-01-31 치과환자 상담용 시뮬레이션 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180011756A KR20190092699A (ko) 2018-01-31 2018-01-31 치과환자 상담용 시뮬레이션 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190092699A true KR20190092699A (ko) 2019-08-08

Family

ID=67613456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180011756A KR20190092699A (ko) 2018-01-31 2018-01-31 치과환자 상담용 시뮬레이션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190092699A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102187361B1 (ko) 2020-07-08 2020-12-04 원태희 치과치료 상담 시스템
WO2021250578A1 (en) * 2020-06-09 2021-12-16 Oral Tech Ai Pty Ltd Computer-implemented detection and processing of oral features
KR20220107773A (ko) * 2021-01-26 2022-08-02 주식회사 메디트 삼차원 구강 모델을 처리하는 방법 및 장치
KR20230005708A (ko) 2021-07-01 2023-01-10 오스템임플란트 주식회사 전자차트의 메모 기능 제공 방법 및 이를 위한 장치
CN117711611A (zh) * 2024-02-05 2024-03-15 四川省医学科学院·四川省人民医院 一种基于场景融合和mr的MDT远程会诊系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071546A (ko) 2001-03-07 2002-09-13 (주)메디코텍 치과용 통합 진단 시스템
KR20060100737A (ko) 2005-03-18 2006-09-21 양계식 인터넷을 이용한 치과 환자 진료 서비스 방법 및 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071546A (ko) 2001-03-07 2002-09-13 (주)메디코텍 치과용 통합 진단 시스템
KR20060100737A (ko) 2005-03-18 2006-09-21 양계식 인터넷을 이용한 치과 환자 진료 서비스 방법 및 그 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250578A1 (en) * 2020-06-09 2021-12-16 Oral Tech Ai Pty Ltd Computer-implemented detection and processing of oral features
KR102187361B1 (ko) 2020-07-08 2020-12-04 원태희 치과치료 상담 시스템
KR20220107773A (ko) * 2021-01-26 2022-08-02 주식회사 메디트 삼차원 구강 모델을 처리하는 방법 및 장치
WO2022164175A1 (ko) * 2021-01-26 2022-08-04 주식회사 메디트 삼차원 구강 모델을 처리하는 방법 및 장치
KR20230005708A (ko) 2021-07-01 2023-01-10 오스템임플란트 주식회사 전자차트의 메모 기능 제공 방법 및 이를 위한 장치
CN117711611A (zh) * 2024-02-05 2024-03-15 四川省医学科学院·四川省人民医院 一种基于场景融合和mr的MDT远程会诊系统及方法
CN117711611B (zh) * 2024-02-05 2024-04-19 四川省医学科学院·四川省人民医院 一种基于场景融合和mr的MDT远程会诊系统及方法

Similar Documents

Publication Publication Date Title
KR20190092699A (ko) 치과환자 상담용 시뮬레이션 시스템 및 방법
JP6837551B2 (ja) Ｈｍｄｓに基づく医学画像形成装置
US10643396B2 (en) Methods and software for creating a 3D image from images of multiple histological sections and for mapping anatomical information from a reference atlas to a histological image
US9262854B2 (en) Systems, methods, and media for creating multiple layers from an image
CN109036548A (zh) 基于混合现实三维可视化的辅助诊疗系统
US10127662B1 (en) Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images
US11416069B2 (en) Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
US10872460B1 (en) Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
CN105167793A (zh) 图像显示装置、显示控制装置及显示控制方法
CN108496205A (zh) 身体部分的三维模型
CN101689309A (zh) 视频数据和三维模型数据的同步视图
Magnani et al. Closing the seams: resolving frequently encountered issues in photogrammetric modelling
AU2018205182A1 (en) A method and apparatus for colouring of vector graphics
EP4170673A1 (en) Auto-focus tool for multimodality image review
US20220346888A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment
WO2008115368A2 (en) Digital system for plastic and cosmetic surgery
GB2512456A (en) Method and apparatus for providing virtual device planning
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
KR20120015689A (ko) 치아 보철 시뮬레이션 시스템 및 방법
Parsa et al. Current and future photography techniques in aesthetic surgery
CN111383328B (zh) 一种面向乳腺癌病灶的3d可视化方法及系统
CN111430012B (zh) 使用实时边缘感知刷来半自动地分割3d医学图像的系统和方法
US20160374785A1 (en) Method and Apparatus for Facial Visualization and Dental or Operational Planning
KR102223475B1 (ko) 다중 파노라믹 영상 표시방법 및 이를 위한 영상 표시장치
US20230054394A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application