KR102657538B1 - Ai 기술을 활용한 치과 치료 시스템 및 방법 - Google Patents

Ai 기술을 활용한 치과 치료 시스템 및 방법 Download PDF

Info

Publication number
KR102657538B1
KR102657538B1 KR1020220043246A KR20220043246A KR102657538B1 KR 102657538 B1 KR102657538 B1 KR 102657538B1 KR 1020220043246 A KR1020220043246 A KR 1020220043246A KR 20220043246 A KR20220043246 A KR 20220043246A KR 102657538 B1 KR102657538 B1 KR 102657538B1
Authority
KR
South Korea
Prior art keywords
image
tooth
cbct
teeth
camera
Prior art date
Application number
KR1020220043246A
Other languages
English (en)
Other versions
KR20230144676A (ko
Inventor
임기웅
강신욱
Original Assignee
주식회사 유에이로보틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유에이로보틱스 filed Critical 주식회사 유에이로보틱스
Priority to KR1020220043246A priority Critical patent/KR102657538B1/ko
Priority to PCT/KR2022/007727 priority patent/WO2023195576A1/ko
Publication of KR20230144676A publication Critical patent/KR20230144676A/ko
Application granted granted Critical
Publication of KR102657538B1 publication Critical patent/KR102657538B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A61B6/512—Intraoral means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08—Machine parts specially adapted for dentistry
    • A61C1/12—Angle hand-pieces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08—Machine parts specially adapted for dentistry
    • A61C1/14—Tool-holders, i.e. operating tool holders, e.g. burr holders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08—Machine parts specially adapted for dentistry
    • A61C1/14—Tool-holders, i.e. operating tool holders, e.g. burr holders
    • A61C1/141—Tool-holders, i.e. operating tool holders, e.g. burr holders in an angled handpiece
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

본 발명은 AI 기술을 활용한 치과 치료 시스템 및 방법에 관한 것으로, 더욱 상세하게는 치과에서 사용하는 로봇팔 또는 핸드피스에 카메라를 각각 장착하고, 상기 카메라를 통하여 실시간으로 획득되는 영상과 CBCT에서 촬영된 이미지를 AI 기술을 이용하여 분석한 후, 로봇팔 또는 핸드피스가 시술할 치아, 잇몸 영역에서 벗어나면 주의를 주면서 안전하고 정밀하게 시술이 이루어질 수 있도록 한 AI 기술을 활용한 치과 치료 시스템 및 방법에 관한 것이다.
이를 위하여 환자의 치아 내부 턱뼈와 치아 위치를 촬영하는 CBCT 영상 촬영부; 로봇팔, 치아 밀링 및 임플란트 시술에 사용하는 시술도구를 선택하고, 선택된 시술도구에 설치되어 환자의 치아, 잇몸 영역을 실시간으로 획득하는 카메라; CBCT 영상 촬영부에서 미리 촬영된 이미지와 시술시 카메라를 통하여 실시간으로 획득되는 영상을 기반으로 하고, 시술할 치아, 잇몸 영역에 시술도구가 가까워지면 이를 인식한 후, 인식 결과에 따라 시술을 계속 진행할 것인지 주의를 알릴것인지를 결정하는 AI 서버를 포함하는 것이 주된 특징이다.

Description

AI 기술을 활용한 치과 치료 시스템 및 방법{Dental treatment system and method using AI technology}
본 발명은 AI 기술을 활용한 치과 치료 시스템 및 방법에 관한 것으로, 더욱 상세하게는 치과에서 사용하는 로봇팔 또는 핸드피스에 카메라를 각각 장착하고, 상기 카메라를 통하여 실시간으로 획득되는 영상과 CBCT에서 촬영된 이미지를 AI 기술을 이용하여 분석한 후, 로봇팔 또는 핸드피스가 시술할 치아, 잇몸 영역에서벗어나면 주의를 주면서 안전하고 정밀하게 시술이 이루어질 수 있도록 한 AI 기술을 활용한 치과 치료 시스템 및 방법에 관한 것이다.
최근 치아 밀링, 임플란트 시술, 보철치료 등과 같은 치과 치료의 경우, 컴퓨터 단층촬영(computerized tomography, CT) 및 기타 화상 스캔 방법들이 상용화되면서, 시술자는 턱뼈 구조를 침습성 절개 없이도 화상을 통해 관측할 수 있다. 또한, 촬영된 CT 및 기타 화상 스캔 이미지를 3차원으로 재구성하여 치과 의사에게 제공함으로써 효과적인 수술 전 계획 및 수술 과정 중 유도(guidance)와 같은 향상된 기술이 가능하다.
그러나, 치과의사가 실제로 시술할 때에는 CT 및 기타 화상 스캔 이미지를 활용할 수 없기 때문에 치아의 정렬이 불량하거나 위치가 적절치 못할 경우, 상기 치료에 실패하거나 다른 치아에 악영향 및/또는 근접 신경의 손상을 야기할 수도 있다.
또한, CBCT 영상 촬영은 치아 내부 턱뼈와 치아 위치까지 정확히 알 수 있어서 치과 치료에 많이 활용되고 있지만, 몸에 해로운 방사선을 이용하기 때문에 치과 의사가 과하게 노출될 위험이 있어서 실시간으로 보면서 장시간 시술하는데 문제가 발생한다.
상술한 단점들을 해결할 수 있는, 치과의사가 실제로 시술할 때에도 CT 및 기타 화상 스캔 이미지의 정보를 활용하여 수술 전 계획한 그대로 치과 의사가 정확하게 치료할 수 있도록 도와주는 치과 치료 시스템 및 방법에 대한 개발이 요구된다.
본 발명의 목적은 상기와 같은 문제점을 감안하여 안출한 것으로, 치과에서 사용하는 로봇팔 또는 핸드피스에 카메라를 각각 장착하고, 상기 카메라를 통하여 실시간으로 획득되는 영상과 CBCT에서 촬영된 이미지 또는 CBCT 이미지와 3D 스캐너 이미지를 정합한 이미지를 AI 기술을 이용하여 분석한 후, 로봇팔 또는 핸드피스가 시술할 치아, 잇몸 영역에서 벗어나면 주의를 주면서 시술이 이루어질 수 있도록 한 AI 기술을 활용한 치과 치료 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 카메라를 치과의사가 직접 시술하는 핸드피스에 장착하고, 시술시 치과의사가 실수로 다른 치아를 시술하는 것을 미리 안내함으로써, 안전하게 시술이 이루어질 수 있도록 한 AI 기술을 활용한 치과 치료 시스템 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 치과로봇의 로봇팔에 카메라를 장착하여 더욱 정밀하고 안전하게 시술이 이루어질 수 있도록 한 AI 기술을 활용한 치과 치료 시스템 및 방법을 제공하는 데 있다.
본 발명은 상기와 같은 목적을 달성하기 위한 수단으로, 환자의 치아 내부 턱뼈와 치아 위치를 촬영하는 CBCT 영상 촬영부; 로봇팔, 치아 밀링 및 임플란트 시술에 사용하는 시술도구를 선택하고, 선택된 시술도구에 설치되어 환자의 치아, 잇몸 영역을 실시간으로 획득하는 카메라; CBCT 영상 촬영부에서 미리 촬영된 이미지와 시술시 카메라를 통하여 실시간으로 획득되는 영상을 기반으로 하고, 시술할 치아, 잇몸 영역에 시술도구가 가까워지면 이를 인식한 후, 인식 결과에 따라 시술을 계속 진행할 것인지 주의를 알릴것인지를 결정하는 AI 서버를 포함하는 것과,
상기 시술도구에 설치되는 카메라는 소형카메라 또는 레이저센서나 IR센서가 포함된 거리 인식이 가능한 3D 카메라중 어느 하나인 것과,
상기 시술도구는 치과의사가 직접 사용하는 핸드피스로서, 카메라 상기 핸드피스에 장착 사용되고, 상기 시술도구는 치과로봇으로서, 카메라가 상기 치과로봇의 로봇팔에 장착 사용되는 것과,
CBCT 영상 촬영부를 이용하여 환자의 치아 내부 턱뼈와 치아 위치를 촬영하는 촬영단계; CBCT 영상 촬영부에서 촬영된 영상을 기반으로 한 영상 유도(guidance) 프로그램에서 시술할 치아, 잇몸 영역을 선택하는 시술영역 선택단계; CBCT 영상 촬영부에서 촬영된 영상을 기반으로 3차원 재구성된 이미지중에서 카메라에서 실시간으로 획득하는 2차원 이미지와 유사한 각도의 이미지를 자동으로 획득하는 이미지 획득단계; 이미지가 획득 완료되면 시술할 치아, 잇몸 영역에 대하여 3차원 목표 좌표, 진입 각도, 진입 깊이와 선택된 이미지를 AI분석하고 이를 AI서버에 전송하는 전송단계; AI 분석 결과값이 전송 완료된 상태에서 환자를 시술하는 시술단계를 포함하는 것과,
상기 시술단계에서, 치과의사가 직접 핸드피스로 시술을 시행하는 치과의사 시술단계; 핸드피스에 장착된 카메라는 실시간으로 치아, 잇몸 영역을 실시간으로 촬영하고, 촬영된 영상 및 치아, 잇몸과의 거리값을 AI서버에 전송하는 단계; 영상과 거리값 전송이 완료되면 CBCT 영상 촬영부에 촬영된 이미지를 기반으로 선택된 치아, 잇몸 영역과 카메라에서 실시간으로 촬영되는 영상 내의 치아, 잇몸과 동일하는지를 인식하는 인식단계; 치과의사가 선택한 치아, 잇몸 영역에 근접했을 때 일정 영역이면 정상으로 간주하고 시술을 진행케 하고 일정 영역을 벗어나면 주의를 경고하는 주의 알림단계를 포함하는 것과,
상기 주의 알림단계는 치과의사가 직접 시술시 일정 영역을 벗어나면 경고등, 경고음을 통하여 일정 영역을 벗어났다는 주의를 알리는 것과,
상기 시술단계에서, 치과로봇의 로봇팔에 장착된 카메라를 이용하여 시술을 시행하는 치과로봇 시술단계; 치과로봇 로봇팔에 장착된 카메라는 실시간으로 치아, 잇몸 영역을 실시간으로 촬영하고, 촬영된 영상 및 치아, 잇몸과의 거리값을 AI서버에 전송하는 단계; 영상과 거리값 전송이 완료되면 CBCT 영상 촬영부에 촬영된 이미지를 기반으로 선택된 치아, 잇몸 영역과 카메라에서 실시간으로 촬영되는 영상 내의 치아, 잇몸과 동일하는지를 인식하는 인식단계; 치과로봇이 선택한 치아, 잇몸 영역에 근접했을 때 일정 영역이면 정상으로 간주하고 시술을 진행케 하고 일정 영역을 벗어나면 주의를 경고하는 주의 알림단계를 포함하는 것과,
상기 주의 알림단계는 치과로봇이 시술시 일정 영역을 벗어나면 일시 정지시키고, 경고음을 통하여 일정 영역을 벗어났다는 주의를 알리는 것을 그 기술적 구성상의 기본 특징으로 한다.
이상에서 살펴본 바와 같이 본 발명에 따르면, 치과에서 사용하는 로봇팔 또는 핸드피스에 카메라를 각각 장착되어 있다. 따라서 상기 카메라를 통하여 실시간으로 획득되는 영상과 CBCT에서 촬영된 이미지를 AI 기술을 이용하여 분석한 후, 로봇팔 또는 핸드피스가 시술할 치아, 잇몸 영역에서 벗어나면 경고음, 경고등을 통하여 주의를 주기 때문에 더욱 안전하고 정밀한 시술이 이루어질 수 있는 등의 효과가 있는 것이다.
도1은 본 발명에 따른 치과 치료 시스템의 기본 구성도.
도2는 본 발명에 따른 치과로봇과 핸드피스와의 연결 구성도.
도3은 본 발명에 따른 CBCT 영상 촬영부에서 촬영된 이미지.
도4a, 도4b는 본 발명에 따른 3차원 재구성 프로그램을 이용한 수술전 계획과 선택된 CBCT 이미지.
도5는 본 발명에 따른 AI 기술의 인식 정확도를 높이기 위해 수술 전 치과 치료 시스템을 통해 자동 선택된 CBCT 이미지.
도6은 본 발명에 따른 카레라가 핸드피스에 장치된 상태를 나타낸 구성도.
도7은 본 발명에 따른 카메라가 로봇팔에 장치된 상태를 나타낸 구성도.
도 8, 8a, 8b, 8c, 8d는 본 발명에 따른 카메라를 통한 영상 내 AI 치아 인식 상태를 나타낸 구성도.
도9는 본 발명에 따른 AI 기술을 활용한 치과 치료 시스템의 구성도.
도10은 본 발명에 따른 AI 기술을 활용한 치과 치료 방법을 나타낸 흐름도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도1은 본 발명에 따른 치과 치료 시스템의 기본 구성도 이고, 도2는 본 발명에 따른 치과로봇과 핸드피스와의 연결 구성도이다.
도3은 본 발명에 따른 CBCT 영상 촬영부에서 촬영된 이미지 이고, 도4a, 도4b는 본 발명에 따른 3차원 재구성 프로그램을 이용한 수술전 계획과 선택된 CBCT 이미지 이며, 도5는 본 발명에 따른 AI 기술의 인식 정확도를 높이기 위해 수술 전 치과 치료 시스템을 통해 자동 선택된 CBCT 이미지이다.
도6은 본 발명에 따른 카레라가 핸드피스에 장치된 상태를 나타낸 구성도 이고, 도7은 본 발명에 따른 카메라가 로봇팔에 장치된 상태를 나타낸 구성도 이며, 도8, 8a, 8b, 8c, 8d는 본 발명에 따른 카메라를 통한 영상 내 AI 치아 인식 상태를 나타낸 구성도 이며, 도9는 본 발명에 따른 AI 기술을 활용한 치과 치료 시스템의 구성도 이며, 도10은 본 발명에 따른 AI 기술을 활용한 치과 치료 방법을 나타낸 흐름도이다.
먼저 본 발명을 실현하기 위해 사용되는 도1 내지 도2에서와 같이 치과로봇에 연결 사용되는 로봇팔(410), 치과의사가 직접 사용하는 핸드피스(400)에 대한 구성은 이미 사용되고 있는 기술 내용이므로 그에 대한 구체적인 설명은 생략하기로 한다. 이하에서 설명할 용어중 시술도구(400)는 치과로봇에 연결 사용되는 로봇팔(410), 치과의사가 직접 사용하는 핸드피스(420)를 지칭한다.
본 발명은 도1과 도2에 도시되는 바와 같이, 기본적으로 CBCT 영상 촬영부(200), 카메라(300) 및 AI 서버(100)로 이루어진다.
CBCT(콘빔 컴퓨터 단층촬영(cone-beam computed tomography; CBCT) 영상 촬영부(200)는 주로 임플란트 식립시, 상악동 거상술 진단 및 수술 방법을 판단할 때, 매복 사랑니, 과잉치, 턱관절 치료시, 치주질환 골파괴시, 치근단 절제술, 악교정 수술 평가시 사용되며, 환자의 치아 내부 턱뼈와 치아 위치를 촬영한다.
이와 같이 CBCT 영상 촬영부(200)에서 촬영된 영상 데이터로부터 3차원 파노라마영상 재구성된다. 즉, CBCT 촬영으로 얻은 DICOM 파일을 컴퓨터로 옮긴 후 3차원 영상 프로그램을 이용하여 파노라마방사선영상과 같은 형태의 CBCT-재구성 파노라마영상을 형성한다.
치과 의사가 3차원 영상 프로그램을 이용하여 시술할 위치와 각도를 정하게 되면 AI 기술의 인식 정확도를 높이기 위해 도4a, 도4b에서와 같이 선택된 치아 또는 잇몸의 표면에 해당되는 CBCT 이미지를 Axial을 기준으로 하여 자동으로 찾아서 하위에 표현하고, 이 이미지를 AI 서버(100)에 전송하여 실시간 카메라 영상과 비교하여 치아 인식이 가능하다. 또한, 도5에서와 같이 치과 의사가 프로그램에서 자동으로 선택된 이미지가 부정확하다고 느끼면 자동으로 선택된 CBCT 이미지의 앞 뒤 간격으로 촬영된 이미지들을 돌려 보면서 다른 CBCT 이미지를 선택하는 것이 가능하고, 선택된 이미지를 AI 서버(100)로 전송한다.
카메라(300)를 사용하기 위해서는 치아 밀링 및 임플란트 시술에 사용하는 시술도구(400)를 선택하고, 선택된 시술도구(400)에 설치한 후, 환자의 치아, 잇몸 영역을 실시간으로 획득하는 역할을 수행토록 한다.
시술도구(400)에 설치되는 카메라(300)는 소형카메라 또는 레이저센서나 IR센서가 포함된 거리 인식이 가능한 3D 카메라중 어느 하나가 선택 사용되며, 상황에 따라 가장 적합한 카메라(300)가 사용될 것이다.
상기, 시술도구(400는 도6에서와 같이 치과의사가 직접 사용하는 핸드피스(420)로서, 카메라(300) 상기 핸드피스(420)에 장착 사용된다. 또한, 상기 시술도구(400)는 도7에서와 같이 치과로봇으로서, 카메라(300)가 상기 치과로봇의 로봇팔(410)에 장착 사용된다. 이는 치과의사가 직접 시술을 진행할 때와 치과로봇이 시술을 진행할 때 본 발명의 목적을 모두 달성하기 위함이다.
상기 카메라(300)는 주로 드릴과 같은 방향에 설치 하는 것이 바람직하나, 실시간으로 영상을 촬영하여 소기의 목적을 달성할 수 있다면 로봇팔(410)과 핸드피스(420)를 연결하는 모듈측에 설치 사용할 수 있음을 밝혀둔다.
한편, CBCT 영상 촬영부(200)에서 촬영된 영상 중에서 3차원 영상 프로그램에서 선택된 이미지와, 카메라(300)에서 실시간으로 획득되는 영상에 AI 치아 인식 기술을 적용하거나 또는 정확한 수술을 위해 3D 프린터로 제작된 물체의 AI 인식을 통하여 수술 전 계획한 치아와 잇몸의 위치와 영역을 알 수 있다.
이를 더욱 상세하게 설명하면 CBCT 영상 촬영부(200)에서 촬영된 영상에서 선택된 치아는 턱뼈와 치아를 포함한 단단한 물질에 대해서 정확히 표시가 가능하고, 3차원으로 재구성하는 S/W 이미지이기 때문에 모든 영역의 이미지를 획득하는 것이 가능하다. 또한, 치아는 중심을 기준으로 번호가 있으며, 선택된 치아의 번호를 AI 서버(100)에 같이 보내기 ‹š문에 주변 치아 인식 또는 주변 잇몸 인식을 통해서도 선택된 치아 또는 잇몸을 인식하는 것이 가능하다.
로봇팔(410) 또는 핸드피스(420)에 부착된 카메라를(300) 통해 들어온 이미지는 2차원이고 입을 벌린 상태에서의 치아를 상,하의 위치에서 바라보는 이미지일 가능성이 높다. 따라서 CBCT 영상을 기반으로 3차원 재구성한 이미지 중에서 2차원 카메라 이미지와 유사한 각도의 이미지를 자동 획득할 수 있다.
이는, CBCT 영상으로 3차원 재구성된 이미지 중에서 치과 치료를 할 때 환자가 입을 벌리는 각도를 고려한 2차원 카메라 영상과 유사한 각도 이미지를 자동 선택해서 AI 인식 기술 및 이미지 분할(Segmentation) 기술의 인식률을 높여줄 수 있다.
또한, 인식률이 낮은 시술 부위의 위치를 상대적으로 알아내기 위해 치과의사가 선택한 시술 부위가 아닌 일부의 치아를 인식해서 거리값 관계를 통해 상대적으로 추정하는 것이 가능하다. 이를 위해서 도 8a와 같이 3차원 영상 프로그램에서는 CBCT 이미지 상에서 각 치아 중심의 3차원 좌표값(x, y, z)을 자동 또는 수동으로 획득할 수 있으며, CBCT이미지를 중심으로 RGB 카메라의 배율을 계산하고, 각 치아의 거리값을 이용하여 Closed-loop 알고리즘 등을 통해 일부 치아만 인식해도 치과의사가 원하는 시술 부위를 추정할 수 있다.
또한, 도 8b와 같이 치아와 잇몸은 대칭성을 가지고 있으며, 이를 이용해서 시술 부위가 아닌 일부의 치아를 인식해서 시술 부위를 추정할 수 있다.
또한, 도 8c와 같이 근래의 치과 임플란트 시술 중에는 3차원 영상 프로그램에서 시술할 부위를 정한 후에 환자의 치아와 일치하며 시술할 부위에만 구멍이 있는 투명한 플락스틱 물체를 3D 프린트 기술로 개별 환자마다 정확하게 제작해서 시술하는데, AI 기술을 활용하여 프리 가이드와 구멍을 인식하게 함으로써 도 8d와 같이 시술할 치아의 위치를 인식하는 것이 가능하다.
따라서, AI 치아 인식 기술을 활용하면 CBCT 영상에서 선택된 치아, 잇몸 영역이 실시간으로 획득되는 카메라(300) 영상과 동일한지 인식할 수 있다. 이와 같이 AI 치아 인식 기술을 통해서 치아를 인식할 수 있고, 추가적으로 이미지 분할(Segmentation) 기술을 통해서 획득한 각 치아의 형태를 통해서도 CBCT 영상에서 치아가 맞는지 비교를 통해서 인식이 가능하다.
또한, 임플란트 등의 치과 치료시에 이미 환자의 이빨이 제거된 상태이거나 몇 개 없는 경우에는 앞서 설명한 치아 인식과 함께 잇몸의 형태를 이미지 분할(Segmentation) 기술을 통해서 CBCT 영상 내의 유사점을 파악해서 확률이 높게 인식된 소수의 특징점(양 끝에 있는 어금니 인식)을 활용하여 네트워크를 통해 받은 3차원 목표 좌표, 진입 각도, 진입 깊이를 상대적 위치 계산을 통해 선택된 치아, 잇몸 또는 영역에 해당하는지 알 수 있다. 또한, 치아는 중심을 기준으로 번호가 있으며, 선택된 치아의 번호를 AI 서버에 같이 보내기 ‹š문에 주변 치아 인식 또는 주변 잇몸 인식을 통해서도 선택된 치아 또는 잇몸을 인식하는 것이 가능하다.
AI 서버(100)는 CBCT 영상 촬영부(200)에서 미리 촬영된 이미지와 시술시 카메라(300)를 통하여 실시간으로 획득되는 영상을 기반으로 하고, 시술할 치아, 잇몸 영역에 시술도구(400)가 가까워지면 이를 인식한 후, 인식 결과에 따라 시술을 계속 진행할 것인지 주의를 알릴것인지를 결정한다.
(실시예)
AI 기술을 활용한 치과 치료 시스템 및 방법은 도9 내지 도10에서와 같다.
촬영단계;
CBCT 영상 촬영부(200)를 이용하여 환자의 치아 내부 턱뼈와 치아 위치를 촬영하고, CBCT 영상 촬영부(200)에서 촬영된 영상 데이터는 프로그램을 통하여 3차원 파노라마영상 재구성된다.
시술영역 선택단계;
CBCT 영상 촬영부(200)에서 촬영된 영상을 기반으로 한 영상 유도(guidance) 프로그램에서 시술할 치아, 잇몸 영역을 선택한다.
이미지 획득단계;
CBCT 영상 촬영부(200)에서 촬영된 영상을 기반으로 3차원 재구성된 이미지중에서 카메라(300)에서 실시간으로 획득하는 2차원 이미지와 유사한 각도의 이미지를 자동으로 획득한다.
전송단계;
이미지 획득단계에서 이미지가 획득 완료되면 시술할 치아, 잇몸 영역에 대하여 3차원 목표 좌표, 진입 각도, 진입 깊이와 선택된 이미지를 AI분석하고 이를 AI서버(100)에 전송하는 전송한다.
시술단계;
AI 서버(100)에 선택된 이미지와 시술할 치아의 정보가 전송 완료되면 환자를 시술한다. 이때 시술방법은 선택에 따라 치과의사가 직접 시술할 것이지 또는 치과로봇을 이용하여 자동 시술한 것인지를 결정하면 된다.
-치과의사 시술시
치과의사 시술단계;
치과의사가 직접 핸드피스(420)로 시술을 시행한다.
거리값 전송단계;
핸드피스(420)에 장착된 카메라(300)는 실시간으로 치아, 잇몸 영역을 실시간으로 촬영하고, 촬영된 영상 및 치아, 잇몸과의 거리값을 AI서버(100)에 전송한다.
인식단계;
거리값 전송이 완료되면 CBCT 영상 촬영부(200)에 촬영된 영상에서 선택된 이미지를 기반으로 선택된 치아, 잇몸 영역과 카메라(300)에서 실시간으로 촬영되는 영상과 동일한 지를 인식한다.
주의 알림단계;
치과의사가 선택한 치아, 잇몸 영역에 근접했을 때 일정 영역이면 정상으로 간주하고 시술을 진행케 하고 일정 영역을 벗어나면 주의를 경고한다. 이때 주의 알림단계에서 일정 영역을 벗어나면 경고등, 경고음을 통하여 일정 영역을 벗어났다는 주의를 알리고, 주의에 따라 시술을 진행한다.
-치과로봇 자동 시술시
치과로봇 시술단계;
치과로봇의 로봇팔(410)에 장착된 카메라(300)를 이용하여 시술을 시행한다.
거리값 전송단계;
치과로봇의 로봇팔(410)에 장착된 카메라(300)는 실시간으로 치아, 잇몸 영역을 실시간으로 촬영하고, 촬영된 영상 및 치아, 잇몸과의 거리값을 AI서버(100)에 전송한다.
인식단계;
거리값 전송이 완료되면 CBCT 영상 촬영부(200)에 촬영된 영상에서 선택된 이미지를 기반으로 선택된 치아, 잇몸 영역과 카메라(300)에서 실시간으로 촬영되는 영상과 동일한 지를 인식한다.
주의 알림단계;
치과의사가 선택한 치아, 잇몸 영역에 근접했을 때 일정 영역이면 정상으로 간주하고 시술을 진행케 하고 일정 영역을 벗어나면 주의를 경고한다. 이때 주의 알림단계에서 일정 영역 즉, 시술할 영역을 벗어나면 치과로봇의 시술을 일시 정지시키고, 경고음을 통하여 일정 영역을 벗어났다는 주의를 알린 다음 주의를 해소하고 시술을 계속 진행케 한다.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 ; AI 서버 200 ; CBCT 영상 촬영부
300 ; 카메라 400 ; 시술도구
410 ; 로봇팔 420 ; 핸드피스

Claims (9)

  1. AI 기술을 활용한 치과 치료 지원 시스템에 있어서,
    환자의 치아 내부 턱뼈와 치아 위치를 촬영하는 CBCT 영상 촬영부;
    로봇팔 또는 시술도구에 설치되어 환자의 치아 및 잇몸 영역을 실시간으로 획득하는 카메라;
    CBCT 영상 촬영부에서 미리 촬영된 이미지와 시술시 상기 카메라를 통하여 실시간으로 획득되는 영상을 기반으로 하고, 시술할 치아 또는 잇몸 영역에 시술도구가 가까워지면 이를 인식한 후, 인식 결과에 따라 시술을 계속 진행할 것인지 주의를 알릴것인지를 결정하는 AI 서버를 포함하되,
    상기 AI 서버는, 상기 CBCT 영상 촬영부에서 촬영된 영상을 기반으로 3차원 재구성 된 CBCT 이미지들 중에서 상기 카메라에서 실시간으로 획득하는 2차원 이미지와 유사한 각도의 CBCT 이미지를 자동으로 획득하고, 상기 획득한 CBCT 이미지와 상기 2차원 이미지를 비교하여 시술할 치아 또는 잇몸 영역을 인식하고,
    상기 AI 서버는, 상기 환자의 잇몸의 형태를 이미지 분할 기술을 통해 상기 CBCT 영상 촬영부에 의해 촬영된 영상과 유사점을 파악하고, 확률이 높게 인식된 소수의 특징점들 - 상기 특징점들은 상기 환자의 구강 내 양 끝 치아들에 대응됨 - 을 활용하여 시술할 치아 또는 잇몸에 해당하는지 여부를 판단하며,
    또한 상기 AI 서버는, 상기 시술할 치아가 아닌 타 치아를 인식한 것으로부터 상기 시술할 치아를 특정하되, 상기 CBCT 이미지 상에서 각 치아들의 중심의 3차원 좌표값을 획득하고, 상기 CBCT 이미지를 기준으로 상기 카메라의 배율을 계산하며, 각 치아들 간 거리값을 이용하여 인식한 타 치아로부터 상기 시술할 치아를 특정하는 것을 특징으로 하는,
    AI 기술을 활용한 치과 치료 지원 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 치과 치료 지원 시스템이 환자에 대한 치과 치료를 지원하는 방법에 있어서,
    치과 치료 지원 시스템이 CBCT 영상 촬영부를 이용하여 환자의 치아 내부 턱뼈와 치아 위치를 촬영하는 촬영단계;
    치과 치료 지원 시스템이 상기 CBCT 영상 촬영부에서 촬영된 영상을 기반으로 한 영상 유도(guidance) 프로그램에서 시술할 치아, 잇몸 영역을 선택하는 시술영역 선택단계;
    치과 치료 지원 시스템이 상기 CBCT 영상 촬영부에서 촬영된 영상을 기반으로 3차원 재구성된 이미지중에서 치과 의사가 시술 계획을 하면 카메라에서 실시간으로 획득하는 2차원 이미지와 유사한 각도의 이미지를 자동으로 획득하는 이미지 획득단계;
    를 포함하고,
    상기 치과 치료 지원 시스템은, 상기 환자의 잇몸의 형태를 이미지 분할 기술을 통해 상기 CBCT 영상 촬영부에 의해 촬영된 영상과 유사점을 파악하고, 확률이 높게 인식된 소수의 특징점들 - 상기 특징점들은 상기 환자의 구강 내 양 끝 치아들에 대응됨 - 을 활용하여 시술할 치아 또는 잇몸에 해당하는지 여부를 판단하며,
    또한 상기 치과 치료 지원 시스템은, 상기 시술할 치아가 아닌 타 치아를 인식한 것으로부터 상기 시술할 치아를 특정하되, 상기 CBCT 이미지 상에서 각 치아들의 중심의 3차원 좌표값을 획득하고, 상기 CBCT 이미지를 기준으로 상기 카메라의 배율을 계산하며, 각 치아들 간 거리값을 이용하여 인식한 타 치아로부터 상기 시술할 치아를 특정하는, 치과 치료를 지원하는 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020220043246A 2022-04-07 2022-04-07 Ai 기술을 활용한 치과 치료 시스템 및 방법 KR102657538B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220043246A KR102657538B1 (ko) 2022-04-07 2022-04-07 Ai 기술을 활용한 치과 치료 시스템 및 방법
PCT/KR2022/007727 WO2023195576A1 (ko) 2022-04-07 2022-05-31 Ai 기술을 활용한 치과 치료 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220043246A KR102657538B1 (ko) 2022-04-07 2022-04-07 Ai 기술을 활용한 치과 치료 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230144676A KR20230144676A (ko) 2023-10-17
KR102657538B1 true KR102657538B1 (ko) 2024-04-17

Family

ID=88242981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220043246A KR102657538B1 (ko) 2022-04-07 2022-04-07 Ai 기술을 활용한 치과 치료 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102657538B1 (ko)
WO (1) WO2023195576A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130122463A1 (en) 2011-11-15 2013-05-16 Raphael Yitz CSILLAG Method and system for facilitating the placement of a dental implant
WO2016093984A1 (en) 2014-12-09 2016-06-16 Biomet 3I, Llc Robotic device for dental surgery
WO2017144934A1 (en) * 2016-02-26 2017-08-31 Trophy Guided surgery apparatus and method
US20190239969A1 (en) 2018-02-02 2019-08-08 Brachium, Inc. Medical robotic work station

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10350008B2 (en) * 2014-12-02 2019-07-16 X-Nav Technologies, LLC Visual guidance display for surgical procedure
CN108986209B (zh) * 2018-08-15 2020-04-14 雅客智慧（北京）科技有限公司 一种种植体种植精度的评价方法及系统
WO2020048545A1 (zh) * 2018-09-09 2020-03-12 钛隼生物科技股份有限公司 植牙系统及其导航方法
KR102264077B1 (ko) * 2019-07-01 2021-06-11 주식회사 리메드 의료용 네비게이션 장치
KR102383955B1 (ko) * 2020-04-24 2022-04-13 주식회사 디오 구강 영상의 결손 치아 검출 방법 및 장치와, 이를 이용한 구강 영상의 크라운 배치 방법
KR20210150633A (ko) * 2020-06-03 2021-12-13 서울대학교산학협력단 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130122463A1 (en) 2011-11-15 2013-05-16 Raphael Yitz CSILLAG Method and system for facilitating the placement of a dental implant
WO2016093984A1 (en) 2014-12-09 2016-06-16 Biomet 3I, Llc Robotic device for dental surgery
WO2017144934A1 (en) * 2016-02-26 2017-08-31 Trophy Guided surgery apparatus and method
US20190239969A1 (en) 2018-02-02 2019-08-08 Brachium, Inc. Medical robotic work station

Also Published As

Publication number Publication date
WO2023195576A1 (ko) 2023-10-12
KR20230144676A (ko) 2023-10-17

Similar Documents

Publication Publication Date Title
US11779444B2 (en) Methods and systems for dental procedures
Elnagar et al. Digital Workflow for Combined Orthodontics and Orthognathic Surgery.
US11337773B2 (en) Dental apparatus
KR101268243B1 (ko) 파노라마 엑스선 장치 및 파노라마 이미징을 위한 이미징될 층의 위치 설정
US20190380811A1 (en) Implant surgery guiding method
Hong et al. Medical navigation system for otologic surgery based on hybrid registration and virtual intraoperative computed tomography
JP2021536326A (ja) 歯科インプラントシステムとナビゲーション方法
WO2017142845A1 (en) System and method for guiding medical instruments
Elian et al. Precision of flapless implant placement using real-time surgical navigation: a case series.
CN113855287B (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
KR20210121093A (ko) 시술지원시스템, 처리장치 및 플레이트
JP7022404B2 (ja) Ｘ線撮影装置、及び、ｘ線撮影における画像処理方法
KR101811644B1 (ko) 방사선 영상의 정보 획득 방법 및 장치
JP2008142400A (ja) 医用撮影装置
KR102657538B1 (ko) Ai 기술을 활용한 치과 치료 시스템 및 방법
CN210784765U (zh) 兼具光学导航功能的数字化种植导板及种植系统
WO2014015459A1 (zh) 牙科补缀及赝复体数字建档与制作的方法及其教学训练
KR20210055847A (ko) 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법
KR102292080B1 (ko) 아치 형태를 이용한 개인맞춤 치과용 파노라마 시스템 및 이의 제어 방법
JP2022510796A (ja) Ｘ線画像を作成する方法、ｘ線画像を撮影する方法、データ処理デバイス、コンピュータプログラム製品、媒体、およびｘ線機械
KR102182980B1 (ko) 엑스선 촬영 방법, 엑스선 촬영 장치 및 컴퓨터 판독 가능한 기록 매체
CN114587657B (zh) 一种基于混合现实技术的口腔种植辅助导航方法及系统
Yee Evaluation of Accuracy of Teeth Surface Registration of Navident, a Dynamic Computer-Guided Navigation System for Placing Dental Implants
JP2024054010A (ja) 施術支援装置、施術支援方法及びプログラム
JP2024069126A (ja) 推定方法、推定装置、推定システム、制御プログラム、および記録媒体

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant