KR102633421B1 - 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치 - Google Patents

증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR102633421B1
KR102633421B1 KR1020230032626A KR20230032626A KR102633421B1 KR 102633421 B1 KR102633421 B1 KR 102633421B1 KR 1020230032626 A KR1020230032626 A KR 1020230032626A KR 20230032626 A KR20230032626 A KR 20230032626A KR 102633421 B1 KR102633421 B1 KR 102633421B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
tooth
reality content
nerve
Prior art date
Application number
KR1020230032626A
Other languages
English (en)
Inventor
강필순
조현규
Original Assignee
경상국립대학교산학협력단
조현규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경상국립대학교산학협력단, 조현규 filed Critical 경상국립대학교산학협력단
Priority to KR1020230032626A priority Critical patent/KR102633421B1/ko
Application granted granted Critical
Publication of KR102633421B1 publication Critical patent/KR102633421B1/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C5/00Filling or capping teeth
    • A61C5/40Implements for surgical treatment of the roots or nerves of the teeth; Nerve needles; Methods or instruments for medication of the roots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치가 개시된다. 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 영상 획득 모듈, 상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 영상 병합 모듈, 상기 생성된 병합 영상 및 기 생성된 신경 치료 정보를 기반으로 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 제작 모듈 및 증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 신경 치료 가이드를 제공하는 증강현실 콘텐츠 제공 모듈을 포함한다.

Description

증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치{METHOD FOR GUIDING ENDODONTIC TREATMENT USING AUGMENTED REALITY AND APPARATUS FOR EXECUTING THE METHOD}
본 발명의 실시예들은 증강현실을 이용한 신경 치료 가이드 기술과 관련된다.
치아에는 그 내부에 치수가 자리한다. 치수는 신경과 혈관이 풍부한 연조직을 말하는데, 이뿌리 즉 치근의 끝까지 뻗어 있으며, 이뿌리 끝의 좁은 구멍(치근 단공)을 통해 치근을 둘러싸고 있는 잇몸 뼈(치조골)속에 있는 치주인대의 혈관 및 신경과 연결된다.
한편, 충치나 어떤 자극에 이가 아프다고 느끼는 것은 이러한 자극으로부터 치아를 보호하도록 치수의 신경이 반응하여 나타내는 증상이다. 약한 자극에 대해서는 치수가 반응해도 다시 회복되어 특별한 치료 없이 지낼 수도 있다. 그러나 심한 우식증으로 치수까지 감염되거나 치아의 파절(fatigue) 등 외상으로 치수가 노출되면 세균에 감염되고 염증으로 이어진다. 이런 경우에는 심한 통증이 생기고, 치수는 회복할 수 없는 상태가 된다.
치아를 빼는 것은 이후 수복하는 데 부담이 커지므로 가능하면 치아를 빼지 않고 치아 내부의 연조직인 치수만 제거하여 통증이나 기타 증상을 없애고, 치아가 제자리에서 기능할 수 있도록 보존하는 방법이 신경 치료(근관 치료)이다.
기존에는 신경 치료를 위해, 먼저 치수 상부의 치아를 치과용 버(bur)를 이용하여 제거한 후 치아에서 치수를 제거하는 여러 종류의 신경 치료용 파일(File)을 사용하고 있다. 신경 치료용 파일은 치아의 상부에서부터 하부로 이동하여 치수를 제거한다.
그러나, 이러한 기구들의 안전한 사용은 임상 사례, 진료 조건 및 치과 의사의 교육에 크게 의존한다.
대한민국 등록특허공보 제10-1687821호(2016.12.20.)
본 발명의 실시예들은 신경 치료를 증강현실 기반으로 수행할 수 있도록 지원하는 증강현실을 이용한 신경 치료 가이드 방법을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 영상 획득 모듈, 상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 영상 병합 모듈, 상기 생성된 병합 영상 및 기 생성된 신경 치료 정보를 기반으로 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 제작 모듈 및 증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 신경 치료 가이드를 제공하는 증강현실 콘텐츠 제공 모듈을 포함하는 컴퓨팅 장치가 제공된다.
상기 증강현실 콘텐츠 제작 모듈은 상기 병합 영상을 기반으로 상기 환자의 치아 영역에 투영되는 3차원 객체를 생성하고, 신경 치료시 사용하는 실물 드라이버를 가상화하고, 상기 병합 영상에 기 생성된 신경 치료 정보를 저장하며, 상기 증강현실 콘텐츠는 상기 3차원 객체, 상기 가상화 드라이버 정보 및 상기 신경 치료 정보를 포함하며, 상기 신경 치료 정보는 치수강 개방(Access Opening)을 위한 치아 삭제 정보, 신경관의 신경 제거, 신경관의 확대와 성형 및 충전을 위한 신경관 정보를 포함할 수 있다.
상기 3차원 객체는 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 중 하나 이상을 포함하며, 상기 치아 삭제 정보는 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상에 대한 정보를 포함하며, 상기 신경관 정보는 신경관의 위치, 입구, 방향, 길이 및 형상에 대한 정보를 포함하며, 상기 증강현실 콘텐츠 제공 모듈은 상기 실물 드라이버의 종류에 따라 상기 3차원 객체 및 상기 신경 치료 정보를 기반으로 치아 삭제 단계, 신경관의 신경 제거 및 신경관의 확대와 성형 단계 및 신경관 충전 단계 중 하나의 단계를 제공하는 상기 신경 치료 가이드를 상기 사용자에게 제공할 수 있다.
상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며, 상기 증강현실 콘텐츠 제공 모듈은 상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 치과용 버로 판단된 경우, 상기 3차원 객체 및 상기 치아 삭제 정보를 기반으로 상기 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상을 표시하여 제공하는 상기 치아 삭제 단계를 상기 사용자에게 제공할 수 있다.
상기 치아 삭제 단계는 상기 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상을 기반으로 상기 치수강 개방 치아에서 삭제될 영역을 기 설정된 제1 색으로 표시하고, 치아 삭제가 진행됨에 따라 상기 삭제될 영역에서 상기 사용자에 의해 삭제된 영역을 점선으로 표시하고, 상기 치수강 개방 치아의 삭제 양 및 삭제 형상을 기반으로 치아 삭제가 완료된 것으로 판단되는 경우, 상기 치수강 개방 치아를 기 설정된 제2 색으로 표시할 수 있다.
상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며, 상기 증강현실 콘텐츠 제공 모듈은 상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 신경 치료용 파일로 판단된 경우, 상기 가상화 드라이버의 방향 및 위치와 상기 신경관의 위치 및 길이를 각각 비교하여 상기 비교 결과에 따라 상기 가상화 드라이버의 색을 표시하여 제공하는 상기 신경관의 신경 제거 및 신경관의 확대와 성형 단계를 상기 사용자에게 제공할 수 있다.
상기 신경관의 신경 제거 및 신경관의 확대와 성형 단계는 상기 가상화 드라이버의 위치가 상기 신경관의 위치의 연장선 상에 위치하는 것으로 판단되는 경우, 상기 가상화 드라이버를 기 설정된 제1 색으로 표시하고, 상기 가상화 드라이버의 이동에 따라 상기 가상화 드라이버의 위치와 상기 신경관의 길이가 중첩되는 부분을 추출하여 상기 추출한 부분을 기 설정된 제2 색으로 표시하고, 상기 가상화 드라이버의 위치와 상기 신경관의 길이가 기 설정된 기준 이상 중첩되는 것으로 판단되는 경우, 상기 제2 색으로 표시된 부분을 점등시키고, 상기 가상화 드라이버의 위치와 상기 신경관의 길이가 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버를 상기 제2 색으로 변환하여 표시할 수 있다.
상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며, 상기 증강현실 콘텐츠 제공 모듈은 상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 신경관 충전재로 판단된 경우, 상기 가상화 드라이버의 위치와 상기 신경관의 길이를 비교하여 상기 신경관을 따라 삽입되는 가상화 드라이버의 이동 경로를 표시하여 제공하는 상기 신경관 충전 단계를 상기 사용자에게 제공할 수 있다.
상기 영상 병합 모듈은 상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트가 매칭되도록 상기 구강 영상 및 상기 투과 영상을 병합할 수 있다.
상기 영상 병합 모듈은 상기 구강 영상 및 상기 투과 영상이 입력되는 경우, 이미 학습된 영상 병합 모델을 기반으로 머신 러닝(Machine Learning)을 수행하여 상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트를 기반으로 상기 병합 영상을 생성할 수 있다.
상기 투과 영상의 기 설정된 포인트는 상기 환자가 스탠트(stent)를 착용하고 촬영하여 상기 스탠트를 기반으로 설정되며, 상기 스탠트는 상기 기 설정된 포인트를 가지는 구강 영상을 기반으로 3D 프린터를 이용하여 제작되어 상기 구강 영상과 동일한 포인트를 가질 수 있다.
상기 영상 병합 모듈은 상기 구강 영상에 설정된 포인트와 상기 투과 영상에 설정된 포인트의 좌표를 각각 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 각 영상의 좌표를 동기화하여 상기 구강 영상과 상기 투과 영상을 상호 병합할 수 있다.
상기 촬영 영상은 상기 환자가 상기 스탠트를 착용하고 촬영되며, 상기 증강현실 콘텐츠 제공 모듈은 상기 촬영 영상의 스탠트를 기반으로 상기 촬영 영상에 설정된 포인트와 상기 병합 영상에 설정된 포인트의 좌표를 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 각 영상의 좌표를 동기화하여 상기 촬영 영상에 상기 증강현실 콘텐츠를 투영할 수 있다.
상기 증강현실 장치는 상기 사용자에 의해 착용되는 안경 형태의 착용 기기, 및 상기 환자의 치아 영역을 촬영하고, 상기 신경 치료 가이드를 상기 사용자에게 제공하는 증강현실 기기를 포함할 수 있다.
본 발명의 실시예들에 따르면, 증강현실 콘텐츠를 통하여 제공되는 가이드를 참고하여 신경 치료를 진행함으로써, 과도한 치수강 개방(Access Opening)을 방지할 수 있으며, 신경 치료용 파일이 근관 내측으로 과도하게 삽입되는 것을 방지할 수 있다. 이에, 어떠한 전문 의료진을 통하더라도 안정적으로 신경 치료를 진행할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드 장치를 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드가 제공되는 증강현실 장치를 설명하기 위한 도면
도 3 내지 도 5는 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드가 제공되는 화면을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드 방법을 설명하기 위한 흐름도
도 7은 일 실시예에 따르면 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드 장치(100)를 설명하기 위한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드 장치(100)는 영상 획득 모듈(200), 영상 병합 모듈(300), 증강현실 콘텐츠 제작 모듈(400) 및 증강현실 콘텐츠 제공 모듈(500)을 포함할 수 있다.
영상 획득 모듈(200)은 환자의 구강 내부에 대한 구강 영상 및 투과 영상을 획득할 수 있다. 구체적으로, 영상 획득 모듈(200)은 환자의 구강 내부에 구강내 3D 스캐너(Intra-Oral 3D scanner)를 삽입하고 구강 내부를 스캔하여 환자에 대한 구강 영상(스캔 영상)를 획득할 수 있다. 또한, 영상 획득 모듈(200)은 치과용 CT(computed tomography) 장치를 이용하여 환자에 대한 투과 영상(CT 영상)를 획득할 수 있다. 한편, 여기서는 3D 스캐닝 장비로서 구간내 3D 스캐너를 이용하였으나, 이에 한정되는 것은 아니며, CMM(Coordinate Measuring Machine), 레이저 스캔, 광학식 스캔 등 다양한 스캐닝 장비가 이용될 수 있다. 또한, 여기서는 투과 영상이 CT 장치를 이용하여 촬영된 것으로 설명하였으나, 이에 한정되는 것은 아니며, 방사선 촬영을 통해 촬영된 영상, 예를 들어, X-ray, MRI 등일 수도 있다.
영상 병합 모듈(300)은 구강 영상 및 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성할 수 있다. 구체적으로, 영상 병합 모듈(300)은 구강 영상 및 투과 영상 각각에 기 설정된 포인트를 추출하고, 추출된 포인트가 매칭되도록 구강 영상 및 투과 영상을 병합할 수 있다.
한편, 기 설정된 포인트는 스탠트(stent)를 이용하여 설정될 수 있다. 여기서, 스탠트는 신경 치료시 신경 치료 치아의 주변 치아를 보호하기 위한 보조기구로서, 구강 영상을 기반으로 3D 프린터를 이용하여 제작될 수 있다.
본 발명에서는 획득한 구강 영상에 포인트를 설정(예를 들어, 3개의 포인트)하고, 포인트가 설정된 구강 영상을 기반으로 스탠트를 제작할 수 있다. 또한, 투과 영상은 환자의 구강 내에 포인트가 설정된 스탠트를 착용하고 촬영될 수 있다. 이에 따라, 투과 영상에는 구강 영상에 설정된 포인트와 동일한 위치에 포인트가 설정될 수 있다.
즉, 영상 병합 모듈(300)은 구강 영상에 설정된 포인트와 투과 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 구강 영상과 투과 영상을 상호 병합할 수 있다. 여기서, 기 설정된 포인트는 3개 이상일 수 있다. 예를 들어, 기 설정된 포인트가 3개인 경우, 상하로 이격되어 배치된 제1 포인트 및 제2 포인트와, 제1 포인트 및 제2 포인트 중 어느 하나와 좌우로 이격되어 배치된 제3 포인트로 설정될 수 있다.
이와 같이, 병합 영상을 생성시마다 서로 다른 영상 병합 기준점이 제공되는 것이 아니라, 환자의 스탠트를 이용하여 영상 병합 기준점(포인트)를 제공함으로써, 영상 병합 과정이 단순화될 수 있다.
한편, 영상 병합 모듈(300)은 구강 영상 및 투과 영상을 기반으로 머신 러닝(machine learning) 기반의 기술을 이용하여 영상을 병합할 수 있다. 예를 들어, 영상 병합 모듈(300)은 구강 영상 및 투과 영상이 입력되는 경우, 이미 학습된 영상 병합 모델을 기반으로 머신 러닝을 수행하여 영상을 병합할 수 있다. 여기서, 영상 병합 모델은 구강 영상 및 투과 영상을 입력받고, 구강 영상 및 투과 영상 각각에 기 설정된 포인트를 추출하고, 추출된 포인트를 기반으로 병합 영상을 생성하도록 학습될 수 있다.
증강현실 콘텐츠 제작 모듈(400)은 병합 영상을 기반으로 환자의 치아영역에 투영되는 3차원 객체를 생성할 수 있다. 여기서, 3차원 객체는 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체를 포함할 수 있다. 또한, 증강현실 콘텐츠 제작 모듈(400)은 신경 치료시 사용하는 실물 드라이버(예를 들어, 치과용 버(bur), 신경 치료용 파일(file) 또는 신경관 충전재)를 가상화할 수 있다. 또한, 증강현실 콘텐츠 제작 모듈(400)은 병합 영상에 기 생성된 신경 치료 정보를 저장할 수 있다. 여기서, 신경 치료 정보는 치수강 개방(Access Opening)을 위한 치아 삭제 정보, 신경관의 신경 제거, 신경관의 확대와 성형 및 충전을 위한 신경관 정보를 포함할 수 있다. 예를 들어, 치아 삭제 정보는 치수강 개방을 위한 치아의 삭제 위치, 삭제 양 및 삭제 형상 등을 포함할 수 있다. 또한, 신경관 정보는 신경관의 신경 제거, 신경관의 확대와 성형 및 충전을 위한 신경관 위치, 신경관 입구, 신경관 방향, 신경관 길이 및 신경관 형상 등을 포함할 수 있다. 이러한 치아 삭제 정보 및 신경관 정보는 신경 치료를 진행하기 전에 시술자가 환자의 CT 영상을 시술을 계획하면서 생성될 수 있다. 즉, 증강현실 콘텐츠 제작 모듈(400)은 3차원 객체, 가상화 드라이버 정보 및 신경 치료 정보를 포함하는 증강현실 콘텐츠를 생성할 수 있다.
증강현실 콘텐츠 제공 모듈(500)은 시술자로부터 신경 치료 가이드 시작신호가 수신되면, 증강현실 장치(600)로부터 촬영 영상을 획득하고, 획득된 촬영 영상에 증강현실 콘텐츠를 투영하여 시술자에게 신경 치료 가이드를 제공할 수 있다. 여기서, 촬영 영상은 신경 치료 시 증강현실 장치(600)를 통하여 촬영되는 실제 시술 영상일 수 있다.
예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 환자의 구강에 착용된 스탠트(또는 머신 러닝)를 기반으로 촬영 영상과 병합 영상을 매칭하여 결합함으로써, 3차원 객체 및 신경 치료 정보를 사용자의 구강에 정확하게 투영할 수 있다. 즉, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상의 스탠트(또는 머신 러닝)를 기반으로 촬영 영상에 설정된 포인트와 병합 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 촬영 영상에 3차원 객체 및 신경 치료 정보를 투영할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드가 제공되는 증강현실 장치를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 증강현실 장치(600)는 시술자에 의해 착용되는 안경 형태의 착용 기기(610) 및 신경 치료시 환자의 구강에 대한 신경 치료 과정을 촬영하고 증강현실 기반의 신경 치료 가이드를 제공하는 증강현실 기기(620)를 포함할 수 있다.
착용 기기(610)는 증강현실 장치(600)에 전원을 공급하기 위한 배터리부(611), 신경 치료 가이드 장치(100)와 통신하기 위한 통신부(612), 및 증강현실 기기(620)와 연결하기 위한 제1 커넥터부(613)를 포함할 수 있다.
이 때, 배터리부(611)는 외부의 전원에 의하여 충전되거나 배터리 교환을 위하여 탈부착될 수 있다.
통신부(612)는 증강현실 기기(620)로부터 촬영된 촬영 영상을 신경 치료 가이드 장치(100)로 전송할 수 있으며, 신경 치료 가이드 장치(100)로부터 신경 치료 가이드를 수신할 수 있다.
증강현실 기기(620)는 착용 기기와 연결하기 위한 제2 커넥터부(621), 신경 치료 시 환자의 구강에 대한 신경 치료 과정을 촬영하여 촬영 영상을 생성하는 카메라부(622), 및 신경 치료 가이드 장치(100)로부터 수신한 신경 치료 가이드를 출력하여 시술자에게 제공하기 위한 디스플레이부(623)를 포함할 수 있다. 한편, 증강현실 기기(620)는 증강현실 화면의 배율을 조정하기 위한 터치부(미도시)가 더 포함될 수 있다. 또한, 증강현실 기기(620)는 디스플레이부(623)를 착용 기기(610)에 근접시키기 위하여 길이, 각도 및 폭 조절 기능을 포함할 수 있다.
또한, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상에서 실물 드라이버(예를 들어, 치과용 버(bur), 신경 치료용 파일(file) 또는 신경관 충전재)에 구비된 증강현실 마크를 인식하여 가상 드라이버와 실물 드라이버를 매칭하여 촬영 영상에 가상 드라이버를 투영할 수 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드가 제공되는 화면을 설명하기 위한 도면이다.
도 3 내지 도 5에 도시된 바와 같이, 시술자에게 제공되는 신경 치료 가이드는 촬영 영상에 증강현실 콘텐츠를 투영하여 제공될 수 있다. 여기서, 증강현실 콘텐츠는 3차원 객체, 가상화 드라이버 정보 및 신경 치료 정보를 포함할 수 있다.
이 때, 증강현실 콘텐츠 제공 모듈(500)은 실물 드라이버에 따라 3차원 객체 및 신경 치료 정보를 기반으로 1)치아 삭제 단계, 2)신경관의 신경 제거 및 신경관의 확대와 성형 단계 및 3)신경관 충전 단계 중 하나의 단계를 가이드할 수 있다.
예시적인 실시예에서, 도 3과 같이, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상을 기반으로 인식된 실물 드라이버가 치과용 버로 판단된 경우, 3차원 객체 및 신경 치료 정보를 기반으로 치아 삭제 단계를 제공할 수 있다. 구체적으로, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상을 기반으로 인식된 실물 드라이버가 치과용 버로 판단된 경우, 3차원 객체 및 신경 치료 정보에 포함된 치아 삭제 정보를 기반으로 치수강 개방을 위한 치아의 삭제 위치, 삭제 양 및 삭제 형상을 제공하면서 치아 삭제 단계를 가이드할 수 있다. 예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 치수강 개방을 위한 치아의 삭제 위치, 삭제 양 및 삭제 형상을 기반으로 치수강 개방 치아에서 삭제될 부분을 사용자가 설정한 색(제1 색, 예를 들어, 초록색)으로 표시하여 시술자가 해당 색을 따라 치아 삭제를 진행할 수 있도록 할 수 있다. 또한, 증강현실 콘텐츠 제공 모듈(500)은 치아 삭제가 진행됨에 따라 치수강 개방 치아에서 시술자에 의해 삭제된 부분을 점선으로 표시(또는 삭제된 부분을 제외하여 표시)하여 치아의 삭제 상태를 실시간으로 확인할 수 있도록 할 수 있다. 즉, 도 3.(a)와 같이, 치수강 개방 치아에서 삭제될 부분을 사용자가 설정한 색으로 표시하여 시술자가 치수강 개방 치아의 위치, 삭제 양 및 삭제 형상을 인지하도록 할 수 있다. 또한, 도 3.(b)와 같이, 치아 삭제 단계가 진행됨에 따라 삭제된 부분을 점선으로 표시(또는 삭제된 부분을 제외하여 표시)하여 시술자가 치아의 삭제 상태를 실시간으로 확인하도록 할 수 있으며, 치아 삭제 단계가 완료된 부분의 경우, 치수강 개방 치아를 사용자가 설정한 다른 색(제2 색, 예를 들어, 빨간 색)으로 표시하여 시술자가 치아 삭제가 완료되었다는 것을 인지하도록 할 수 있다.
다른 예시적인 실시예에서, 도 4와 같이, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상을 기반으로 인식된 실물 드라이버가 신경 치료용 파일로 판단된 경우, 3차원 객체, 가상화 드라이버 정보 및 신경 치료 정보를 기반으로 신경관의 신경 제거 및 신경관의 확대와 성형 단계를 제공할 수 있다. 구체적으로, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상을 기반으로 인식된 실물 드라이버가 신경 치료용 파일로 판단된 경우, 가상화 드라이버의 방향 및 위치와 신경관의 위치 및 길이를 각각 비교하여 비교 결과에 따라 가상화 드라이버의 색 변화(또는 알림 소리, 3차원 화살표, 가상드라이버의 길이에 대한 기준과 방향을 제공하는 가상의 가이드)를 제공하여 신경관의 신경 제거 및 신경관의 확대와 성형 단계를 가이드할 수 있다. 예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버(신경 치료용 파일)의 위치가 신경관의 위치(예를 들어, 신경관 입구)의 연장선 상에 위치하는 것으로 판단된 경우, 가상화 드라이버를 기 설정된 제1 색(예를 들어, 초록색)으로 표시할 수 있다. 또한, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버의 이동에 따라 가상화 드라이버의 위치와 신경관의 길이가 중첩되는 부분을 추출하고, 추출한 부분을 기 설정된 제2 색(예를 들어, 빨간색)으로 표시할 수 있다. 또한, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버가 이동하여 가상화 드라이버의 위치와 신경관의 길이가 기 설정된 기준 이상 중첩되는 것으로 판단된 경우, 제2 색으로 표시된 부분(중첩되는 부분)을 점등시킬 수 있다. 또한, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버의 위치와 신경관의 길이가 일치하는 것으로 판단된 경우, 가상화 드라이버를 제2 색으로 표시할 수 있다. 즉, 시술자가 증강현실을 통하여 신경관의 형상을 파악하면서 신경 제거 및 신경관의 확대와 성형을 진행할 수 있으며, 가상화 드라이버의 위치 및 방향를 시술자가 식별할 수 있도록 하여 추가적인 장치 없이도 신경관의 신경 끝을 인지하도록 할 수 있다.
또 다른 예시적인 실시예에서, 도 5와 같이, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상을 기반으로 인식된 실물 드라이버가 신경관 충전재(예를 들어, GP cone(Gutta percha))로 판단된 경우, 3차원 객체, 가상화 드라이버 정보 및 신경 치료 정보를 기반으로 신경관 충전 단계를 제공할 수 있다. 구체적으로, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상을 기반으로 인식된 실물 드라이버가 신경관 충전재로 판단된 경우, 가상화 드라이버의 위치와 신경관의 길이를 각각 비교하여 신경관을 따라 삽입되는 가상화 드라이버의 이동 경로(예를 들어, 점선, 또는 3차원 화살표, 가상드라이버의 길이에 대한 기준과 방향을 제공하는 가상의 가이드)를 제공하여 신경관 충전 단계를 가이드할 수 있다. 예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버(신경관 충전재)의 이동에 따라 가상화 드라이버이 위치와 신경관의 길이가 중첩되는 부분을 추출하고, 추출한 부분을 제2 색으로 변환할 수 있다. 즉, 시술자가 증강현실을 통하여 신경관의 형상을 파악하면서 신경관 충전재가 삽입되는 정도를 하도록 할 수 있다.
따라서, 증강현실 콘텐츠를 통하여 제공되는 가이드를 참고하여 신경 치료를 진행함으로써, 과도한 치수강 개방(Access Opening)을 방지할 수 있으며, 신경 치료용 파일이 근관 내측으로 과도하게 삽입되는 것을 방지할 수 있다. 이에, 어떠한 전문 의료진을 통하더라도 안정적으로 신경 치료를 진행할 수 있는 효과가 있다.
한편, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상이 기 설정된 영역(예를 들어, 신경관 객체)을 포함하는 경우, 해당 영역이 기 설정된 배율로 확대된 영상을 화면의 일부분에 표시할 수 있다. 이 때, 시술자는 설정된 배율을 조절하기 위하여 증강현실 장치(600)에 구성된 터치부를 터치하여 배율을 조절할 수 있다.
도 6은 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드 방법을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 증강현실을 이용한 신경 치료 가이드 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 증강현실을 이용한 신경 치료 가이드 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
먼저, 컴퓨팅 장치(12)는 환자의 구강 내부에 대한 구강 영상 및 투과 영상을 획득한다(S602). 구체적으로, 컴퓨팅 장치(12)는 환자의 구강 내부에 구강내 3D 스캐너(Intra-Oral 3D scanner)를 삽입하고 구강 내부를 스캔하여 환자에 대한 구강 영상(스캔 영상)를 획득할 수 있다. 또한, 컴퓨팅 장치(12)는 치과용 CT(computed tomography) 장치를 이용하여 환자에 대한 투과 영상(CT 영상)를 획득할 수 있다.
그 다음, 컴퓨팅 장치(12)는 구강 영상 및 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성한다(S604). 구체적으로, 컴퓨팅 장치(12)는 구강 영상 및 투과 영상 각각에 기 설정된 포인트를 추출하고, 추출된 포인트가 매칭되도록 구강 영상 및 투과 영상을 병합할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 구강 영상에 설정된 포인트와 투과 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 구강 영상과 투과 영상을 상호 병합할 수 있다.
그 다음, 컴퓨팅 장치(12)는 병합 영상 및 신경 치료 정보를 기반으로 증강현실 콘텐츠를 생성한다(S606). 예를 들어, 컴퓨팅 장치(12)는 병합 영상을 기반으로 환자의 치아주변 영역에 투영되는 3차원 객체를 생성할 수 있다. 여기서, 3차원 객체는 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체를 포함할 수 있다. 또한, 컴퓨팅 장치(12)는 신경 치료시 사용하는 실물 드라이버(예를 들어, 치과용 버(bur), 신경 치료용 파일(file) 또는 신경관 충전재)를 가상화할 수 있다. 또한, 컴퓨팅 장치(12)는 병합 영상에 기 생성된 신경 치료 정보를 저장할 수 있다. 여기서, 신경 치료 정보는 치수강 개방(Access Opening)을 위한 치아 삭제 정보, 신경관의 신경 제거, 신경관의 확대와 성형 및 충전을 위한 신경관 정보를 포함할 수 있다. 예를 들어, 치아 삭제 정보는 치수강 개방을 위한 치아의 삭제 위치, 삭제 양 및 삭제 형상 등을 포함할 수 있다. 또한, 신경관 정보는 신경관의 신경 제거, 신경관의 확대와 성형 및 충전을 위한 신경관 위치, 신경관 입구, 신경관 방향, 신경관 길이 및 신경관 형상 등을 포함할 수 있다. 즉, 컴퓨팅 장치(12)는 3차원 객체, 가상화 드라이버 정보 및 신경 치료 정보를 포함하는 증강현실 콘텐츠를 생성할 수 있다.
그 다음, 컴퓨팅 장치(12)는 시술자로부터 신경 치료 가이드 시작신호가 수신되면, 증강현실 장치(600)로부터 촬영 영상을 획득하고, 획득된 촬영 영상에 증강현실 콘텐츠를 투영하여 시술자에게 신경 치료 가이드를 제공한다(S608). 예를 들어, 컴퓨팅 장치(12)는 환자의 구강에 착용된 스탠트(또는 머신 러닝)를 기반으로 촬영 영상과 병합 영상을 매칭하여 결합함으로써, 3차원 객체 및 신경 치료 정보를 사용자의 구강에 정확하게 투영할 수 있다. 즉, 컴퓨팅 장치(12)는 촬영 영상의 스탠트(또는 머신 러닝)를 기반으로 촬영 영상에 설정된 포인트와 병합 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 촬영 영상에 3차원 객체 및 신경 치료 정보를 투영할 수 있다. 또한, 컴퓨팅 장치(12)는 촬영 영상에서 실물 드라이버에 구비된 증강현실 마크를 인식하여 가상 드라이버와 실물 드라이버를 매칭하여 촬영 영상에 가상 드라이버를 투영할 수 있다.
도 7은 일 실시예에 따르면 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않은 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 증강현실을 이용한 신경 치료 가이드를 제공하기 위한 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 증강현실을 이용한 신경 치료 가이드 장치
200 : 영상 획득 모듈
300 : 영상 병합 모듈
400 : 증강현실 콘텐츠 제작 모듈
500 : 증강현실 콘텐츠 제공 모듈
600 : 증강현실 장치

Claims (20)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
    3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 영상 획득 모듈;
    상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 영상 병합 모듈;
    상기 생성된 병합 영상 및 기 생성된 신경 치료 정보를 기반으로 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 제작 모듈; 및
    증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 신경 치료 가이드를 제공하는 증강현실 콘텐츠 제공 모듈을 포함하며,
    상기 증강현실 콘텐츠 제작 모듈은,
    상기 병합 영상을 기반으로 상기 환자의 치아 영역에 투영되는 3차원 객체를 생성하고, 신경 치료시 사용하는 실물 드라이버를 가상화하고, 상기 병합 영상에 기 생성된 신경 치료 정보를 저장하며,
    상기 증강현실 콘텐츠는, 상기 3차원 객체, 상기 가상화 드라이버 정보 및 상기 신경 치료 정보를 포함하며,
    상기 신경 치료 정보는, 치수강 개방(Access Opening)을 위한 치아 삭제 정보, 신경관의 신경 제거, 신경관의 확대와 성형 및 충전을 위한 신경관 정보를 포함하며,
    상기 3차원 객체는, 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 중 하나 이상을 포함하며,
    상기 치아 삭제 정보는, 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상에 대한 정보를 포함하며,
    상기 신경관 정보는, 신경관의 위치, 입구, 방향, 길이 및 형상에 대한 정보를 포함하며,
    상기 증강현실 콘텐츠 제공 모듈은,
    상기 실물 드라이버의 종류에 따라 상기 3차원 객체 및 상기 신경 치료 정보를 기반으로 치아 삭제 단계, 신경관의 신경 제거 및 신경관의 확대와 성형 단계 및 신경관 충전 단계 중 하나의 단계를 제공하는 상기 신경 치료 가이드를 상기 사용자에게 제공하며,
    상기 실물 드라이버는 치과용 버(bur), 신경 치료용 파일(file) 및 신경관 충전재 중 하나 이상을 포함하며,
    상기 증강현실 콘텐츠 제공 모듈은,
    상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 치과용 버로 판단된 경우, 상기 3차원 객체 및 상기 치아 삭제 정보를 기반으로 상기 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상을 표시하여 제공하는 상기 치아 삭제 단계를 상기 사용자에게 제공하며,
    상기 치아 삭제 단계는,
    상기 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상을 기반으로 상기 치수강 개방 치아에서 삭제될 영역을 기 설정된 제1 색으로 표시하고,
    치아 삭제가 진행됨에 따라 상기 삭제될 영역에서 상기 사용자에 의해 삭제된 영역을 점선으로 표시하고,
    상기 치수강 개방 치아의 삭제 양 및 삭제 형상을 기반으로 치아 삭제가 완료된 것으로 판단되는 경우, 상기 치수강 개방 치아를 기 설정된 제2 색으로 표시하는, 컴퓨팅 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며,
    상기 증강현실 콘텐츠 제공 모듈은,
    상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 신경 치료용 파일로 판단된 경우, 상기 가상화 드라이버의 방향 및 위치와 상기 신경관의 위치 및 길이를 각각 비교하여 상기 비교 결과에 따라 상기 가상화 드라이버의 색을 표시하여 제공하는 상기 신경관의 신경 제거 및 신경관의 확대와 성형 단계를 상기 사용자에게 제공하는, 컴퓨팅 장치.
  7. 청구항 6에 있어서,
    상기 신경관의 신경 제거 및 신경관의 확대와 성형 단계는,
    상기 가상화 드라이버의 위치가 상기 신경관의 위치의 연장선 상에 위치하는 것으로 판단되는 경우, 상기 가상화 드라이버를 기 설정된 제1 색으로 표시하고,
    상기 가상화 드라이버의 이동에 따라 상기 가상화 드라이버의 위치와 상기 신경관의 길이가 중첩되는 부분을 추출하고,
    상기 가상화 드라이버의 위치와 상기 신경관의 길이가 기 설정된 기준 이상 중첩되는 것으로 판단되는 경우, 상기 추출한 부분을 제2 색으로 점등시키고,
    상기 가상화 드라이버의 위치와 상기 신경관의 길이가 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버를 상기 제2 색으로 변환하여 표시하는, 컴퓨팅 장치.
  8. 청구항 1에 있어서,
    상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며,
    상기 증강현실 콘텐츠 제공 모듈은,
    상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 신경관 충전재로 판단된 경우, 상기 가상화 드라이버의 위치와 상기 신경관의 길이를 비교하여 상기 신경관을 따라 삽입되는 가상화 드라이버의 이동 경로를 표시하여 제공하는 상기 신경관 충전 단계를 상기 사용자에게 제공하는, 컴퓨팅 장치.
  9. 청구항 1에 있어서,
    상기 영상 병합 모듈은,
    상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트가 매칭되도록 상기 구강 영상 및 상기 투과 영상을 병합하는, 컴퓨팅 장치.
  10. 청구항 9에 있어서,
    상기 영상 병합 모듈은,
    상기 구강 영상 및 상기 투과 영상이 입력되는 경우, 이미 학습된 영상 병합 모델을 기반으로 머신 러닝(Machine Learning)을 수행하여 상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트를 기반으로 상기 병합 영상을 생성하는, 컴퓨팅 장치.
  11. 청구항 9에 있어서,
    상기 투과 영상의 기 설정된 포인트는,
    상기 환자가 스탠트(stent)를 착용하고 촬영하여 상기 스탠트를 기반으로 설정되며,
    상기 스탠트는,
    상기 기 설정된 포인트를 가지는 구강 영상을 기반으로 3D 프린터를 이용하여 제작되어 상기 구강 영상과 동일한 포인트를 가지는, 컴퓨팅 장치.
  12. 청구항 11에 있어서,
    상기 영상 병합 모듈은,
    상기 구강 영상에 설정된 포인트와 상기 투과 영상에 설정된 포인트의 좌표를 각각 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 구강 영상의 좌표 및 상기 투과 영상의 좌표를 동기화하여 상기 구강 영상과 상기 투과 영상을 상호 병합하는, 컴퓨팅 장치.
  13. 청구항 11에 있어서,
    상기 촬영 영상은,
    상기 환자가 상기 스탠트를 착용하고 촬영되며,
    상기 증강현실 콘텐츠 제공 모듈은,
    상기 촬영 영상의 스탠트를 기반으로 상기 촬영 영상에 설정된 포인트와 상기 병합 영상에 설정된 포인트의 좌표를 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 구강 영상의 좌표 및 상기 투과 영상의 좌표를 동기화하여 상기 촬영 영상에 상기 증강현실 콘텐츠를 투영하는, 컴퓨팅 장치.
  14. 청구항 1에 있어서,
    상기 증강현실 장치는,
    상기 사용자에 의해 착용되는 안경 형태의 착용 기기, 및 상기 환자의 치아 영역을 촬영하고, 상기 신경 치료 가이드를 상기 사용자에게 제공하는 증강현실 기기를 포함하는, 컴퓨팅 장치.
  15. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 증강현실을 이용한 신경 치료 가이드 방법으로서,
    영상 획득 모듈에서, 3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 단계;
    영상 병합 모듈에서, 상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 단계;
    증강현실 콘텐츠 제작 모듈에서, 상기 생성된 병합 영상 및 기 생성된 신경 치료 정보를 기반으로 증강현실 콘텐츠를 생성하는 단계; 및
    증강현실 콘텐츠 제공 모듈에서, 증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 신경 치료 가이드를 제공하는 단계를 포함하며,
    상기 증강현실 콘텐츠를 생성하는 단계는,
    상기 증강현실 콘텐츠 제작 모듈에서, 상기 병합 영상을 기반으로 상기 환자의 치아 영역에 투영되는 3차원 객체를 생성하는 단계;
    상기 증강현실 콘텐츠 제작 모듈에서, 신경 치료시 사용하는 실물 드라이버를 가상화하는 단계; 및
    상기 증강현실 콘텐츠 제작 모듈에서, 상기 병합 영상에 기 생성된 신경 치료 정보를 저장하는 단계를 더 포함하며,
    상기 증강현실 콘텐츠는, 상기 3차원 객체, 상기 가상화 드라이버 정보 및 상기 신경 치료 정보를 포함하며,
    상기 신경 치료 정보는, 치수강 개방(Access Opening)을 위한 치아 삭제 정보, 신경관의 신경 제거, 신경관의 확대와 성형 및 충전을 위한 신경관 정보를 포함하며,
    상기 3차원 객체는, 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 중 하나 이상을 포함하며,
    상기 치아 삭제 정보는, 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상에 대한 정보를 포함하며,
    상기 신경관 정보는, 신경관의 위치, 입구, 방향, 길이 및 형상에 대한 정보를 포함하며,
    상기 신경 치료 가이드를 제공하는 단계는,
    상기 증강현실 콘텐츠 제공 모듈에서, 상기 실물 드라이버의 종류에 따라 상기 3차원 객체 및 상기 신경 치료 정보를 기반으로 치아 삭제 단계, 신경관의 신경 제거 및 신경관의 확대와 성형 단계 및 신경관 충전 단계 중 하나의 단계를 제공하는 단계를 더 포함하며,
    상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며,
    상기 치아 삭제 단계는,
    상기 증강현실 콘텐츠 제공 모듈에서, 상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 치과용 버로 판단된 경우, 상기 3차원 객체 및 상기 치아 삭제 정보를 기반으로 상기 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상을 표시하여 제공하며,
    상기 치아 삭제 단계는,
    상기 증강현실 콘텐츠 제공 모듈에서, 상기 치수강 개방 치아의 삭제 위치, 삭제 양 및 삭제 형상을 기반으로 상기 치수강 개방 치아에서 삭제될 영역을 기 설정된 제1 색으로 표시하여 제공하고,
    상기 증강현실 콘텐츠 제공 모듈에서, 치아 삭제가 진행됨에 따라 상기 삭제될 영역에서 상기 사용자에 의해 삭제된 영역을 점선으로 표시하여 제공하고,
    상기 증강현실 콘텐츠 제공 모듈에서, 상기 치수강 개방 치아의 삭제 양 및 삭제 형상을 기반으로 치아 삭제가 완료된 것으로 판단되는 경우, 상기 치수강 개방 치아를 기 설정된 제2 색으로 표시하여 제공하는, 증강현실을 이용한 신경 치료 가이드 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 청구항 15에 있어서,
    상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며,
    상기 신경관의 신경 제거 및 신경관의 확대와 성형 단계는,
    상기 증강현실 콘텐츠 제공 모듈에서, 상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 신경 치료용 파일로 판단된 경우, 상기 가상화 드라이버의 방향 및 위치와 상기 신경관의 위치 및 길이를 각각 비교하여 상기 비교 결과에 따라 상기 가상화 드라이버의 색을 표시하여 제공하는, 증강현실을 이용한 신경 치료 가이드 방법.
  20. 청구항 15에 있어서,
    상기 실물 드라이버는 치과용 버, 신경 치료용 파일 및 신경관 충전재 중 하나 이상을 포함하며,
    상기 신경관 충전 단계는,
    상기 증강현실 콘텐츠 제공 모듈에서, 상기 촬영 영상을 기반으로 인식된 실물 드라이버가 상기 신경관 충전재로 판단된 경우, 상기 가상화 드라이버의 위치와 상기 신경관의 길이를 비교하여 상기 신경관을 따라 삽입되는 가상화 드라이버의 이동 경로를 표시하여 제공하는, 증강현실을 이용한 신경 치료 가이드 방법.
KR1020230032626A 2023-03-13 2023-03-13 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치 KR102633421B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230032626A KR102633421B1 (ko) 2023-03-13 2023-03-13 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230032626A KR102633421B1 (ko) 2023-03-13 2023-03-13 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치

Publications (1)

Publication Number Publication Date
KR102633421B1 true KR102633421B1 (ko) 2024-02-06

Family

ID=89858188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230032626A KR102633421B1 (ko) 2023-03-13 2023-03-13 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치

Country Status (1)

Country Link
KR (1) KR102633421B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140322664A1 (en) * 2011-05-13 2014-10-30 Maillefer Instruments Holding Sarl Method and system for establishing the shape of the occlusal access cavity in endodontic treatment
US20160220105A1 (en) * 2015-02-03 2016-08-04 Francois Duret Device for viewing an interior of a mouth
KR101687821B1 (ko) 2016-09-22 2016-12-20 장원석 증강현실을 이용한 치과 수술 방법
US20190046276A1 (en) * 2016-02-26 2019-02-14 Trophy Guided surgery apparatus and method
KR20190100264A (ko) * 2016-12-23 2019-08-28 플란메카 오이 턱의 경조직의 움직임들을 추적하는 추적 피스들
US10736714B1 (en) * 2017-11-06 2020-08-11 Charles Maupin Computer-guided endodontic procedure
US20200315754A1 (en) * 2017-02-22 2020-10-08 Cyberdontics Inc. Automated dental treatment system
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140322664A1 (en) * 2011-05-13 2014-10-30 Maillefer Instruments Holding Sarl Method and system for establishing the shape of the occlusal access cavity in endodontic treatment
US20160220105A1 (en) * 2015-02-03 2016-08-04 Francois Duret Device for viewing an interior of a mouth
US20190046276A1 (en) * 2016-02-26 2019-02-14 Trophy Guided surgery apparatus and method
KR101687821B1 (ko) 2016-09-22 2016-12-20 장원석 증강현실을 이용한 치과 수술 방법
KR20190100264A (ko) * 2016-12-23 2019-08-28 플란메카 오이 턱의 경조직의 움직임들을 추적하는 추적 피스들
US20200315754A1 (en) * 2017-02-22 2020-10-08 Cyberdontics Inc. Automated dental treatment system
US10736714B1 (en) * 2017-11-06 2020-08-11 Charles Maupin Computer-guided endodontic procedure
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법

Similar Documents

Publication Publication Date Title
US11559377B2 (en) Augmented reality enhancements for dental practitioners
US10918458B2 (en) Dental preparation guide
CN107529968B (zh) 用于观察口腔内部的装置
JP5671734B2 (ja) 顔面解析を用いた特注歯セットアップのコンピュータ支援作成
KR102179777B1 (ko) 치아 삭제 안내 장치 및 방법
KR20200134036A (ko) 치식번호 부여 방법 및 이를 수행하는 치아영상 처리장치
KR102320857B1 (ko) 교정 디자인 방법 및 그 장치
US20220246269A1 (en) Implant surgery planning method using automatic placement of implant structure, user interface providing method therefor, and teeth image processing device therefor
JP2023099042A (ja) 表面誘導クロップを使用するボリュームレンダリング
KR102239358B1 (ko) 임플란트 중심선을 이용한 임플란트 식립 계획 수립 방법 및 이를 위한 치과영상 처리장치
KR102566541B1 (ko) 치과 교정치료 계획 수립방법 및 그 장치
KR102633421B1 (ko) 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치
CN104603859A (zh) 牙科补缀及赝复体数字建档与制作的方法及其教学训练
KR20200084982A (ko) 위험 인자를 고려한 픽스쳐 자동 식립이 가능한 치과용 임플란트 시술 계획 방법 및 그 장치
KR102584812B1 (ko) 증강현실을 이용한 치아 삭제 가이드 방법 및 이를 수행하기 위한 장치
KR102350098B1 (ko) 악궁라인 생성 방법 및 이를 위한 치과영상 처리장치
KR102633419B1 (ko) 증강현실을 이용한 임플란트 수술 가이드 방법 및 이를 수행하기 위한 장치
US11488305B2 (en) Segmentation device
CN114445561A (zh) 一种交互式牙齿三维图像的显示及更新方法、装置及系统
KR20210089473A (ko) 하악 운동 모델 생성 장치 및 방법
KR20210056141A (ko) 치열 이미지와 안모 이미지의 합성 장치 및 그 방법
KR102615791B1 (ko) 파노라믹 영상 표시 방법 및 이를 위한 치과영상 처리장치
CN116529833A (zh) 使用牙齿设置图形用户界面的数字牙齿设置方法及其装置
WO2022190105A1 (en) Enhancing dental video to ct model registration and augmented reality aided dental treatment
KR20210024356A (ko) 의료영상 정합 방법 및 그 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant