KR102633419B1 - Method for guiding implant surgery using augmented reality and apparatus for executing the method - Google Patents
Method for guiding implant surgery using augmented reality and apparatus for executing the method Download PDFInfo
- Publication number
- KR102633419B1 KR102633419B1 KR1020230032625A KR20230032625A KR102633419B1 KR 102633419 B1 KR102633419 B1 KR 102633419B1 KR 1020230032625 A KR1020230032625 A KR 1020230032625A KR 20230032625 A KR20230032625 A KR 20230032625A KR 102633419 B1 KR102633419 B1 KR 102633419B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- augmented reality
- implant
- implant surgery
- reality content
- Prior art date
Links
- 239000007943 implant Substances 0.000 title claims abstract description 160
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 135
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 45
- 238000002601 radiography Methods 0.000 claims abstract description 5
- 210000000214 mouth Anatomy 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 13
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000276 neural tube Anatomy 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Abstract
증강현실을 이용한 임플란트 수술 가이드 방법 및 이를 수행하기 위한 장치가 개시된다. 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드 방법 및 이를 수행하기 위한 장치는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 영상 획득 모듈, 상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 영상 병합 모듈, 상기 생성된 병합 영상 및 기 생성된 임플란트 수술 정보를 기반으로 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 제작 모듈, 및 증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 임플란트 수술 가이드를 제공하는 증강현실 콘텐츠 제공 모듈을 포함한다.A method for guiding implant surgery using augmented reality and a device for performing the same are disclosed. A method for guiding implant surgery using augmented reality and a device for performing the same according to an embodiment of the present invention include a computing device having one or more processors and a memory that stores one or more programs executed by the one or more processors. As an image acquisition module that acquires an oral image of the inside of the patient's mouth using a 3D scanner and acquires a transmission image of the inside of the patient's mouth through radiography, the acquired oral image and the acquired transmission image an image merging module that generates a merged image by merging the corresponding and overlapping images; an augmented reality content creation module that generates augmented reality content based on the generated merged image and previously generated implant surgery information; and an augmented reality content creation module that generates augmented reality content based on the generated merged image and previously generated implant surgery information, and It includes an augmented reality content providing module that acquires a photographed image of a tooth area, projects the augmented reality content on the acquired photographed image, and provides an implant surgery guide to the user.
Description
본 발명의 실시예들은 증강현실을 이용한 임플란트 수술 가이드 기술과 관련된다.Embodiments of the present invention relate to implant surgery guide technology using augmented reality.
임플란트, 치관확장술 및 발치 등의 치과 수술은 CT(Computed Tomography) 영상을 기반으로 뼈의 위치를 가늠하여 수술을 진행하기 때문에 시술자의 실력, 즉 개인의 역량에 따라 수술의 성공과 실패가 결정될 수 있다.Dental surgeries such as implants, crown augmentation, and tooth extraction are performed by measuring the location of the bone based on CT (Computed Tomography) images, so the success or failure of the surgery can be determined by the skill of the operator, that is, the individual's capabilities. .
최근에는 치과 수술 중 의료사고나 과실 등의 부작용을 방지하기 위해 치과용 3D CT 영상을 통해 진단과 치료 계획을 수립하여 가상 수술을 거친 뒤 수술을 진행하기도 한다. 또한, 컴퓨터 시스템을 이용한 내비게이션 수술이 도입되어 환자의 수술 부위를 CT로 촬영, 3D 이미지로 제작하여 내비게이션 시스템으로 불러와, 미리 입력한 환자의 수술 부위와 위험 부위를 모니터로 확인하여 수술을 진행하기도 한다.Recently, in order to prevent side effects such as medical accidents or negligence during dental surgery, diagnosis and treatment plans are established through dental 3D CT images and surgery is performed after virtual surgery. In addition, navigation surgery using a computer system was introduced, where the patient's surgical area is photographed with CT, produced as a 3D image, imported into the navigation system, and the patient's surgical area and risk areas entered in advance are checked on the monitor and the surgery is performed. do.
하지만, 치과용 3D CT 영상을 통해 가상 수술을 거쳤다 할지라도, 또는 내비게이션 시스템을 이용하여 수술을 진행한다 하더라도 결국 수술을 진행하는 것은 시술자의 숙련된 임상 경험을 바탕으로 하기 때문에 수술의 성공 확률이 개인의 역량에 따라 달라질 수 있다는 사실에는 변함이 없다.However, even if a virtual surgery is performed using dental 3D CT images, or even if the surgery is performed using a navigation system, the probability of success of the surgery depends on the individual because the surgery is ultimately based on the skilled clinical experience of the operator. There is no change in the fact that it can vary depending on one's capabilities.
따라서, 시술자 개개인의 역량에 따라 수술의 성패가 결정되는 것이 아니라, 보다 정확한 데이터를 바탕으로 수술을 진행함으로써, 어떠한 전문 의료진을 통하더라도 수술의 성공 확률이 향상될 수 있도록 하는 방안이 필요하다.Therefore, rather than determining the success or failure of a surgery based on the capabilities of each operator, a method is needed to improve the probability of success of the surgery regardless of which professional medical staff is used by performing the surgery based on more accurate data.
본 발명의 실시예들은 임플란트 수술을 증강현실 기반으로 수행할 수 있도록 지원하는 증강현실을 이용한 임플란트 수술 가이드 방법을 제공하기 위한 것이다.Embodiments of the present invention are intended to provide an implant surgery guide method using augmented reality that supports performing implant surgery based on augmented reality.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 영상 획득 모듈, 상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 영상 병합 모듈, 상기 생성된 병합 영상 및 기 생성된 임플란트 수술 정보를 기반으로 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 제작 모듈 및 증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 임플란트 수술 가이드를 제공하는 증강현실 콘텐츠 제공 모듈을 포함하는 컴퓨팅 장치가 제공된다.According to an exemplary embodiment of the present invention, there is provided a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors, wherein the inside of a patient's oral cavity is scanned using a 3D scanner. An image acquisition module that acquires an oral image and acquires a transmission image of the inside of the patient's mouth through radiography, and merges the acquired oral image and the acquired transmission image so that they correspond and overlap to generate a merged image. Obtaining a captured image of the patient's tooth area from a merging module, an augmented reality content creation module that generates augmented reality content based on the generated merged image and the previously generated implant surgery information, and an augmented reality device, and obtaining A computing device including an augmented reality content providing module that provides an implant surgery guide to a user by projecting the augmented reality content onto a captured image is provided.
상기 증강현실 콘텐츠 제작 모듈은 상기 병합 영상을 기반으로 상기 환자의 치아 영역에 투영되는 3차원 객체를 생성하고, 임플란트 수술시 사용하는 실물 드라이버를 가상화하고, 상기 병합 영상에 기 생성된 임플란트 수술 정보를 저장하며, 상기 증강현실 콘텐츠는 상기 3차원 객체, 상기 가상화 드라이버 및 상기 임플란트 수술 정보를 포함하며, 상기 임플란트 수술 정보는 임플란트 수술 시 임플란트 식립을 위한 식립 위치 및 식립 방향에 대한 정보를 포함할 수 있다.The augmented reality content creation module generates a 3D object projected on the patient's tooth area based on the merged image, virtualizes a real driver used during implant surgery, and stores implant surgery information previously generated in the merged image. The augmented reality content includes the three-dimensional object, the virtualization driver, and the implant surgery information. The implant surgery information may include information on the location and direction of implant placement during implant surgery. .
상기 3차원 객체는 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 중 하나 이상을 포함하며, 상기 증강현실 콘텐츠 제공 모듈은 상기 3차원 객체 및 상기 임플란트 수술 정보를 기반으로 상기 임플란트의 식립 위치로 도달하기 위한 상기 가상화 드라이버의 경로를 생성하여 제공하는 상기 임플란트 수술 가이드를 상기 사용자에게 제공할 수 있다.The three-dimensional object includes one or more of a crown object, a tooth root object, a gum bone object, and a neural canal object, and the augmented reality content providing module reaches the placement location of the implant based on the three-dimensional object and the implant surgery information. The implant surgery guide, which generates and provides a path for the virtualization driver, may be provided to the user.
상기 증강현실 콘텐츠 제공 모듈은 임플란트 수술 순서에 따라 상기 가상화 드라이버의 위치 정보 및 상기 임플란트 수술 정보를 비교하고, 비교 결과를 제공하는 상기 임플란트 수술 가이드를 상기 사용자에게 제공할 수 있다.The augmented reality content providing module may compare the location information of the virtual driver and the implant surgery information according to the implant surgery sequence, and provide the user with the implant surgery guide that provides a comparison result.
상기 증강현실 콘텐츠 제공 모듈은 상기 가상화 드라이버의 위치가 상기 환자의 구강 내에서 상기 임플란트 수술이 진행될 위치에 배치되도록 가이드하는 제1 단계 및 상기 임플란트의 식립 위치에 상기 임플란트가 식립되도록 상기 가상화 드라이버의 위치를 가이드하는 제2 단계를 포함하는 상기 임플란트 수술 가이드를 상기 사용자에게 제공할 수 있다.The augmented reality content providing module includes a first step of guiding the position of the virtual driver to be placed at a location in the patient's mouth where the implant surgery will be performed, and positioning the virtual driver so that the implant is installed at the location of the implant. The implant surgery guide including the second step of guiding can be provided to the user.
상기 제1 단계는 상기 가상화 드라이버의 위치가 상기 임플란트의 식립 위치의 연장선 상에 위치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 일부분을 제1 색으로 표시하고, 상기 가상화 드라이버의 위치가 상기 임플란트의 식립 위치의 연장선 상에 위치하면서 상기 가상화 드라이버의 방향이 상기 임플란트의 식립 방향과 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 전체를 상기 제1 색으로 표시할 수 있다.In the first step, when it is determined that the position of the virtual driver is located on an extension of the placement position of the implant, a portion of the virtual driver is displayed in a first color, and the position of the virtual driver is determined to be located on an extension line of the placement position of the implant. If it is determined that the direction of the virtual driver matches the installation direction of the implant while being located on an extension of the position, the entire virtual driver may be displayed in the first color.
상기 제2 단계는 상기 가상화 드라이버의 이동에 따라 상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 중첩되는 부분을 추출하여 상기 추출한 부분을 제2 색으로 변환하고, 상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 기 설정된 기준 이상 중첩되는 것으로 판단되는 경우, 상기 제2 색으로 변환된 부분을 점등시키고, 상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 전체를 상기 제2 색으로 표시할 수 있다.The second step extracts a portion where the position of the virtual driver and the placement position of the implant overlap according to the movement of the virtual driver, converts the extracted portion into a second color, and converts the extracted portion into a second color. If it is determined that the placement position overlaps more than a preset standard, the part converted to the second color is turned on, and if it is determined that the position of the virtual driver matches the placement position of the implant, the entire portion of the virtual driver can be displayed in the second color.
상기 영상 병합 모듈은 상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트가 매칭되도록 상기 구강 영상 및 상기 투과 영상을 병합할 수 있다.The image merging module may extract preset points from each of the oral image and the transmission image, and merge the oral image and the transmission image so that the extracted points match.
상기 영상 병합 모듈은 상기 구강 영상 및 상기 투과 영상이 입력되는 경우, 이미 학습된 영상 병합 모델을 기반으로 머신 러닝(Machine Learning)을 수행하여 상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트를 기반으로 상기 병합 영상을 생성할 수 있다.When the oral image and the transmission image are input, the image merging module performs machine learning based on an already learned image merging model to extract preset points from each of the oral image and the transmission image, , the merged image can be generated based on the extracted points.
상기 투과 영상의 기 설정된 포인트는 상기 환자가 스탠트(stent)를 착용하고 촬영하여 상기 스탠트를 기반으로 설정되며, 상기 스탠트는 상기 기 설정된 포인트를 가지는 구강 영상을 기반으로 3D 프린터를 이용하여 제작되어 상기 구강 영상과 동일한 포인트를 가질 수 있다.The preset point of the transmission image is set based on the stent by photographing the patient wearing the stent, and the stent is manufactured using a 3D printer based on the oral image having the preset point. It may have the same point as the oral image.
상기 영상 병합 모듈은 상기 구강 영상에 설정된 포인트와 상기 투과 영상에 설정된 포인트의 좌표를 각각 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 각 영상의 좌표를 동기화하여 상기 구강 영상과 상기 투과 영상을 상호 병합할 수 있다.The image merging module extracts the coordinates of a point set in the oral image and a point set in the transmission image, respectively, and synchronizes the coordinates of each image so that the coordinates of the extracted points overlap with each other, so that the oral image and the transmission image are synchronized with each other. can be merged with each other.
상기 촬영 영상은 상기 환자가 상기 스탠트를 착용하고 촬영되며, 상기 증강현실 콘텐츠 제공 모듈은 상기 촬영 영상의 스탠트를 기반으로 상기 촬영 영상에 설정된 포인트와 상기 병합 영상에 설정된 포인트의 좌표를 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 각 영상의 좌표를 동기화하여 상기 촬영 영상에 상기 증강현실 콘텐츠를 투영할 수 있다.The captured image is captured while the patient is wearing the stent, and the augmented reality content providing module extracts the coordinates of the point set in the captured image and the point set in the merged image based on the stent of the captured image, , the augmented reality content can be projected onto the captured image by synchronizing the coordinates of each image so that the coordinates of the extracted points overlap with each other.
상기 증강현실 장치는 상기 사용자에 의해 착용되는 안경 형태의 착용 기기, 및 상기 환자의 치아 영역을 촬영하고, 상기 임플란트 수술 가이드를 상기 사용자에게 제공하는 증강현실 기기를 포함할 수 있다.The augmented reality device may include a wearable device in the form of glasses worn by the user, and an augmented reality device that photographs the patient's tooth area and provides the implant surgery guide to the user.
본 발명의 실시예들에 따르면, 증강현실 콘텐츠를 통하여 제공되는 가이드를 참고하여 수술을 진행함으로써, 수술 성공률을 높일 수 있다.According to embodiments of the present invention, the success rate of surgery can be increased by performing surgery with reference to the guide provided through augmented reality content.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드 장치를 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드가 제공되는 증강현실 장치를 설명하기 위한 도면
도 3은 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드가 제공되는 화면을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드 방법을 설명하기 위한 흐름도
도 5는 일 실시예에 따르면 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram illustrating an implant surgery guide device using augmented reality according to an embodiment of the present invention.
Figure 2 is a diagram for explaining an augmented reality device provided with an implant surgery guide using augmented reality according to an embodiment of the present invention.
Figure 3 is a diagram illustrating a screen on which an implant surgery guide using augmented reality is provided according to an embodiment of the present invention.
Figure 4 is a flowchart illustrating an implant surgery guide method using augmented reality according to an embodiment of the present invention.
FIG. 5 is a block diagram illustrating a computing environment including a computing device according to an embodiment.
이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.The detailed description below is provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, if it is determined that a detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is merely for describing embodiments of the present invention and should in no way be limiting. Unless explicitly stated otherwise, singular forms include plural meanings. In this description, expressions such as “comprising” or “comprising” are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, and one or more than those described. It should not be construed to exclude the existence or possibility of any other characteristic, number, step, operation, element, or part or combination thereof.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, embodiments of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium containing the program. The computer-readable recording medium may include program instructions, local data files, local data structures, etc., singly or in combination. The media may be those specifically designed and constructed for the present invention, or may be those commonly available in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and media specifically configured to store and perform program instructions such as ROM, RAM, flash memory, etc. Includes hardware devices. Examples of the program may include not only machine language code such as that generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드 장치(100)를 설명하기 위한 블록도이다.Figure 1 is a block diagram for explaining an implant surgery guide device 100 using augmented reality according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드 장치(100)는 영상 획득 모듈(200), 영상 병합 모듈(300), 증강현실 콘텐츠 제작 모듈(400) 및 증강현실 콘텐츠 제공 모듈(500)을 포함할 수 있다.As shown in Figure 1, the implant surgery guide device 100 using augmented reality according to an embodiment of the present invention includes an image acquisition module 200, an image merging module 300, and an augmented reality content creation module 400. and an augmented reality content provision module 500.
영상 획득 모듈(200)은 환자의 구강 내부에 대한 구강 영상 및 투과 영상을 획득할 수 있다. 구체적으로, 영상 획득 모듈(200)은 환자의 구강 내부에 구강내 3D 스캐너(Intra-Oral 3D scanner)를 삽입하고 구강 내부를 스캔하여 환자에 대한 구강 영상(스캔 영상)를 획득할 수 있다. 또한, 영상 획득 모듈(200)은 치과용 CT(computed tomography) 장치를 이용하여 환자에 대한 투과 영상(CT 영상)를 획득할 수 있다. 한편, 여기서는 3D 스캐닝 장비로서 구간내 3D 스캐너를 이용하였으나, 이에 한정되는 것은 아니며, CMM(Coordinate Measuring Machine), 레이저 스캔, 광학식 스캔 등 다양한 스캐닝 장비가 이용될 수 있다. 또한, 여기서는 투과 영상이 CT 장치를 이용하여 촬영된 것으로 설명하였으나, 이에 한정되는 것은 아니며, 방사선 촬영을 통해 촬영된 영상, 예를 들어, X-ray, MRI 등일 수도 있다.The image acquisition module 200 can acquire oral images and transmission images of the inside of the patient's oral cavity. Specifically, the image acquisition module 200 may insert an intra-oral 3D scanner inside the patient's mouth and scan the inside of the mouth to obtain an oral image (scan image) for the patient. Additionally, the image acquisition module 200 may acquire a transmission image (CT image) of the patient using a dental computed tomography (CT) device. Meanwhile, here, an intra-section 3D scanner was used as the 3D scanning equipment, but it is not limited to this, and various scanning equipment such as CMM (Coordinate Measuring Machine), laser scanning, and optical scanning can be used. In addition, although it has been described here that the transmission image was captured using a CT device, it is not limited thereto, and may also be an image captured through radiography, for example, X-ray, MRI, etc.
영상 병합 모듈(300)은 구강 영상 및 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성할 수 있다. 구체적으로, 영상 병합 모듈(300)은 구강 영상 및 투과 영상 각각에 기 설정된 포인트를 추출하고, 추출된 포인트가 매칭되도록 구강 영상 및 투과 영상을 병합할 수 있다. The image merging module 300 may generate a merged image by merging the oral image and the transmission image so that they correspond to each other and overlap. Specifically, the image merging module 300 may extract preset points from each of the oral image and the transmission image, and merge the oral image and the transmission image so that the extracted points match.
한편, 기 설정된 포인트는 스탠트(stent)를 이용하여 설정될 수 있다. 여기서, 스탠트는 임플란트 수술 시 드릴을 이용하여 치조골에 천공을 형성하는 과정에서 수술자가 정확한 위치 및 방향을 파악할 수 있도록 하는 보조기구로서, 구강 영상을 기반으로 3D 프린터를 이용하여 제작될 수 있다.Meanwhile, the preset point can be set using a stent. Here, the stent is an auxiliary device that allows the operator to determine the exact position and direction in the process of forming a perforation in the alveolar bone using a drill during implant surgery, and can be manufactured using a 3D printer based on oral images.
본 발명에서는 획득한 구강 영상에 포인트를 설정(예를 들어, 3개의 포인트)하고, 포인트가 설정된 구강 영상을 기반으로 스탠트를 제작할 수 있다. 또한, 투과 영상은 환자의 구강 내에 포인트가 설정된 스탠트를 착용하고 촬영될 수 있다. 이에 따라, 투과 영상에는 구강 영상에 설정된 포인트와 동일한 위치에 포인트가 설정될 수 있다.In the present invention, points can be set (for example, three points) on the acquired oral image, and a stent can be manufactured based on the oral image for which the points have been set. Additionally, transmission images can be captured while wearing a stent with a point set in the patient's mouth. Accordingly, a point may be set in the transmission image at the same location as the point set in the oral image.
즉, 영상 병합 모듈(300)은 구강 영상에 설정된 포인트와 투과 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 구강 영상과 투과 영상을 상호 병합할 수 있다. 여기서, 기 설정된 포인트는 3개 이상일 수 있다. 예를 들어, 기 설정된 포인트가 3개인 경우, 상하로 이격되어 배치된 제1 포인트 및 제2 포인트와, 제1 포인트 및 제2 포인트 중 어느 하나와 좌우로 이격되어 배치된 제3 포인트로 설정될 수 있다.That is, the image merging module 300 extracts the coordinates of the points set in the oral image and the points set in the transmission image, synchronizes the coordinates of each image so that the coordinates of the extracted points overlap each other, and merges the oral image and the transmission image. can do. Here, the preset points may be three or more. For example, if there are three preset points, the first point and the second point are arranged to be spaced apart from each other up and down, and the third point is to be set to be spaced left and right from either the first point or the second point. You can.
이와 같이, 병합 영상을 생성시마다 서로 다른 영상 병합 기준점이 제공되는 것이 아니라, 임플란트 수술 시 사용되는 환자의 스탠트를 이용하여 영상 병합 기준점(포인트)를 제공함으로써, 영상 병합 과정이 단순화될 수 있다.In this way, rather than providing a different image merging reference point each time a merged image is created, the image merging reference point (point) is provided using the patient's stent used during implant surgery, thereby simplifying the image merging process.
한편, 영상 병합 모듈(300)은 구강 영상 및 투과 영상을 기반으로 머신 러닝(machine learning) 기반의 기술을 이용하여 영상을 병합할 수 있다. 예를 들어, 영상 병합 모듈(300)은 구강 영상 및 투과 영상이 입력되는 경우, 이미 학습된 영상 병합 모델을 기반으로 머신 러닝을 수행하여 영상을 병합할 수 있다. 여기서, 영상 병합 모델은 구강 영상 및 투과 영상을 입력받고, 구강 영상 및 투과 영상 각각에 기 설정된 포인트를 추출하고, 추출된 포인트를 기반으로 병합 영상을 생성하도록 학습될 수 있다.Meanwhile, the image merging module 300 can merge images using machine learning-based technology based on oral images and transmission images. For example, when an oral image and a transmission image are input, the image merging module 300 may merge the images by performing machine learning based on an already learned image merging model. Here, the image merge model can be trained to receive an oral image and a transmission image, extract preset points from each of the oral image and a transmission image, and generate a merge image based on the extracted points.
증강현실 콘텐츠 제작 모듈(400)은 병합 영상을 기반으로 환자의 치아영역에 투영되는 3차원 객체를 생성할 수 있다. 여기서, 3차원 객체는 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 등 임플란트 수술에 중요한 해부학적 구조물을 포함한 객체를 포함할 수 있다. 또한, 증강현실 콘텐츠 제작 모듈(400)은 임플란트 수술시 사용하는 실물 드라이버(예를 들어, 임플란트 수술용 핸드피스, 수술용 드릴 등)를 가상화할 수 있다. 또한, 증강현실 콘텐츠 제작 모듈(400)은 병합 영상에 기 생성된 임플란트 수술 정보를 저장할 수 있다. 여기서, 임플란트 수술 정보는 임플란트 수술 시 임플란트 식립을 위한 식립 위치 및 식립 방향에 대한 정보를 나타낼 수 있다. 이러한 임플란트 수술 정보는 임플란트 수술을 진행하기 전에 수술자가 환자의 CT 영상을 토대로 수술을 계획하면서 생성될 수 있다. 즉, 증강현실 콘텐츠 제작 모듈(400)은 3차원 객체, 가상화 드라이버 및 임플란트 수술 정보를 포함하는 증강현실 콘텐츠를 생성할 수 있다.The augmented reality content creation module 400 can create a 3D object projected onto the patient's tooth area based on the merged image. Here, the 3D object may include objects including anatomical structures important for implant surgery, such as a crown object, a tooth root object, a gum bone object, and a nerve canal object. Additionally, the augmented reality content creation module 400 can virtualize actual drivers (eg, handpieces for implant surgery, surgical drills, etc.) used during implant surgery. Additionally, the augmented reality content creation module 400 may store previously generated implant surgery information in the merged image. Here, the implant surgery information may represent information about the location and direction of implant placement during implant surgery. Such implant surgery information can be generated as the operator plans the surgery based on the patient's CT image before performing the implant surgery. That is, the augmented reality content creation module 400 can generate augmented reality content including 3D objects, virtualization drivers, and implant surgery information.
증강현실 콘텐츠 제공 모듈(500)은 수술자로부터 임플란트 수술 가이드 시작신호가 수신되면, 증강현실 장치(600)로부터 촬영 영상을 획득하고, 획득된 촬영 영상에 증강현실 콘텐츠를 투영하여 수술자에게 임플란트 수술 가이드를 제공할 수 있다. 여기서, 촬영 영상은 임플란트 수술 시 증강현실 장치(600)를 통하여 촬영되는 실제 수술 영상일 수 있다.When an implant surgery guide start signal is received from the operator, the augmented reality content providing module 500 acquires a captured image from the augmented reality device 600, projects the augmented reality content on the acquired captured image, and provides an implant surgery guide to the operator. can be provided. Here, the captured image may be an actual surgical image captured through the augmented reality device 600 during implant surgery.
예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 환자의 구강에 착용된 스탠트(또는 머신 러닝)를 기반으로 촬영 영상과 병합 영상을 매칭하여 결합함으로써, 3차원 객체 및 임플란트 수술 정보를 사용자의 구강에 정확하게 투영할 수 있다. 즉, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상의 스탠트(또는 머신 러닝)를 기반으로 촬영 영상에 설정된 포인트와 병합 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 촬영 영상에 3차원 객체 및 임플란트 수술 정보를 투영할 수 있다.For example, the augmented reality content providing module 500 matches and combines captured images and merged images based on the stent (or machine learning) worn in the patient's mouth to provide 3D objects and implant surgery information to the user. It can be projected accurately into the oral cavity. That is, the augmented reality content providing module 500 extracts the coordinates of the point set in the captured image and the point set in the merged image based on the stance (or machine learning) of the captured image, and ensures that the coordinates of the extracted points overlap with each other. By synchronizing the coordinates of each image, 3D objects and implant surgery information can be projected onto the captured image.
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드가 제공되는 증강현실 장치를 설명하기 위한 도면이다.Figure 2 is a diagram for explaining an augmented reality device provided with an implant surgery guide using augmented reality according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 증강현실 장치(600)는 수술자에 의해 착용되는 안경 형태의 착용 기기(610) 및 임플란트 수술시 환자의 구강에 대한 임플란트 수술과정을 촬영하고 증강현실 기반의 임플란트 수술 가이드를 제공하는 증강현실 기기(620)를 포함할 수 있다.As shown in FIG. 2, the augmented reality device 600 is a wearable device 610 in the form of glasses worn by the operator, photographs the implant surgery process in the patient's mouth during implant surgery, and provides an augmented reality-based implant surgery guide. It may include an augmented reality device 620 that provides.
착용 기기(610)는 증강현실 장치(600)에 전원을 공급하기 위한 배터리부(611), 임플란트 수술 가이드 장치(100)와 통신하기 위한 통신부(612), 및 증강현실 기기(620)와 연결하기 위한 제1 커넥터부(613)를 포함할 수 있다.The wearable device 610 includes a battery unit 611 for supplying power to the augmented reality device 600, a communication unit 612 for communicating with the implant surgery guide device 100, and a connection to the augmented reality device 620. It may include a first connector portion 613 for.
이 때, 배터리부(611)는 외부의 전원에 의하여 충전되거나 배터리 교환을 위하여 탈부착될 수 있다.At this time, the battery unit 611 may be charged by an external power source or may be detachable for battery replacement.
통신부(612)는 증강현실 기기(620)로부터 촬영된 촬영 영상을 임플란트 수술 가이드 장치(100)로 전송할 수 있으며, 임플란트 수술 가이드 장치(100)로부터 임플란트 수술 가이드를 수신할 수 있다.The communication unit 612 may transmit a captured image from the augmented reality device 620 to the implant surgery guide device 100 and receive an implant surgery guide from the implant surgery guide device 100.
증강현실 기기(620)는 착용 기기와 연결하기 위한 제2 커넥터부(621), 임플란트 수술시 환자의 구강에 대한 임플란트 수술과정을 촬영하여 촬영 영상을 생성하는 카메라부(622), 및 임플란트 수술 가이드 장치(100)로부터 수신한 임플란트 수술 가이드를 출력하여 수술자에게 제공하기 위한 디스플레이부(623)를 포함할 수 있다. 한편, 증강현실 기기(620)는 증강현실 화면의 배율을 조정하기 위한 터치부(미도시)가 더 포함될 수 있다. 또한, 증강현실 기기(620)는 디스플레이부(624)를 착용 기기(610)에 근접시키기 위하여 길이, 각도 및 폭 조절 기능을 포함할 수 있다.The augmented reality device 620 includes a second connector unit 621 for connecting to a wearable device, a camera unit 622 for generating a captured image by filming the implant surgery process in the patient's mouth during implant surgery, and an implant surgery guide. It may include a display unit 623 for outputting the implant surgery guide received from the device 100 and providing it to the operator. Meanwhile, the augmented reality device 620 may further include a touch unit (not shown) for adjusting the magnification of the augmented reality screen. Additionally, the augmented reality device 620 may include length, angle, and width adjustment functions to bring the display unit 624 closer to the wearable device 610.
또한, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상에서 실물 드라이버(예를 들어, 임플란트 수술용 핸드피스, 수술용 드릴 등)에 구비된 증강현실 마크를 인식하여 가상 드라이버와 실물 드라이버를 매칭하여 촬영 영상에 가상 드라이버를 투영할 수 있다.In addition, the augmented reality content providing module 500 recognizes the augmented reality mark provided on the real driver (e.g., handpiece for implant surgery, surgical drill, etc.) in the captured image, matches the virtual driver and the real driver, and takes the photo. A virtual driver can be projected onto the image.
도 3은 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드가 제공되는 화면을 설명하기 위한 도면이다.Figure 3 is a diagram for explaining a screen on which an implant surgery guide using augmented reality is provided according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 수술자에게 제공되는 임플란트 수술 가이드는 촬영 영상에 증강현실 콘텐츠를 투영하여 제공될 수 있다. 여기서, 증강현실 콘텐츠는 3차원 객체, 가상화 드라이버 및 임플란트 수술 정보를 포함할 수 있다.As shown in Figure 3, the implant surgery guide provided to the operator may be provided by projecting augmented reality content on the captured image. Here, augmented reality content may include 3D objects, virtualization drivers, and implant surgery information.
이 때, 증강현실 콘텐츠 제공 모듈(500)은 3차원 객체 및 임플란트 수술 정보를 기반으로 임플란트의 식립 위치로 도달하기 위한 가상화 드라이버의 경로를 생성하여 제공하면서 임플란트 수술을 가이드할 수 있다. 예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 임플란트의 식립 위치 및 방향을 기반으로 임플란트의 식립 위치로 도달할 수 있는 최적의 경로를 생성하고, 수술자가 해당 경로를 따라 실물 드라이버(예를 들어, 임플란트 수술용 핸드피스, 수술용 드릴 등)를 이동할 수 있도록 경로를 제공할 수 있다.At this time, the augmented reality content providing module 500 may guide the implant surgery by generating and providing a path for a virtual driver to reach the implant placement location based on the 3D object and implant surgery information. For example, the augmented reality content providing module 500 generates an optimal path to reach the placement position of the implant based on the placement position and direction of the implant, and allows the operator to follow the path with a real driver (e.g. , implant surgery handpiece, surgical drill, etc.) can be provided to move the path.
또한, 증강현실 콘텐츠 제공 모듈(500)은 임플란트 수술 순서에 따라 가상화 드라이버의 위치 정보와 임플란트 수술 정보를 비교하여 비교 결과를 제공하면서 임플란트 수술을 가이드할 수 있다. 예를 들어, 가상화 드라이버의 방향 및 위치와 임플란트의 식립 위치 및 방향을 각각 비교하여 비교 결과에 따라 가상화 드라이버의 색 변화(또는 알림 소리, 3차원 화살표)를 제공하여 임플란트 수술을 가이드할 수 있다.In addition, the augmented reality content providing module 500 can guide the implant surgery while providing comparison results by comparing the position information of the virtual driver and the implant surgery information according to the implant surgery sequence. For example, the direction and position of the virtual driver can be compared with the placement position and direction of the implant, and according to the comparison result, a color change (or notification sound, or 3D arrow) of the virtual driver can be provided to guide the implant surgery.
우선, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버의 위치가 환자의 구강 내에서 임플란트 수술이 진행될 위치에 배치되도록 가이드할 수 있다. 예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버(예를 들어, 수술용 드릴)의 위치가 임플란트의 식립 위치의 연장선 상에 위치하는 것으로 판단된 경우, 가상화 드라이버의 일부분을 제1 색(예를 들어, 녹색)으로 표시할 수 있다. 또한, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버의 위치가 임플란트의 식립 위치의 연장선 상에 위치하면서 가상화 드라이버의 방향이 임플란트의 식립 방향과 일치하는 것으로 판단한 경우, 가상화 드라이버의 전체를 제1 색으로 표시할 수 있다.First, the augmented reality content providing module 500 can guide the position of the virtual driver to be placed at the location where the implant surgery will be performed in the patient's oral cavity. For example, when the augmented reality content providing module 500 determines that the position of the virtual driver (e.g., surgical drill) is located on an extension of the implant placement position, the augmented reality content providing module 500 selects a portion of the virtual driver in the first color. It can be displayed (for example, green). In addition, when the augmented reality content providing module 500 determines that the position of the virtual driver is located on an extension of the implant placement position and the direction of the virtual driver matches the implant placement direction, the entire virtual driver is displayed in the first color. It can be displayed as .
그 다음, 증강현실 콘텐츠 제공 모듈(500)은 임플란트의 식립 위치에 임플란트가 식립되도록 가상화 드라이버의 위치를 가이드할 수 있다. 예를 들어, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버의 이동에 따라 가상화 드라이버의 위치와 임플란트의 식립 위치가 중첩되는 부분을 추출하고, 추출한 부분을 제2 색(예를 들어, 빨간색)으로 변환할 수 있다. 또한, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버가 이동하여 가상화 드라이버의 위치와 임플란트의 식립 위치가 기 설정된 기준 이상 중첩되는 것으로 판단된 경우, 제2 색으로 변환된 부분(중첩되는 부분)이 점등될 수 있다. 또한, 증강현실 콘텐츠 제공 모듈(500)은 가상화 드라이버의 위치와 임플란트의 식립 위치가 일치하는 것으로 판단된 경우, 가상화 드라이버의 전체를 제2 색으로 표시할 수 있다.Next, the augmented reality content providing module 500 may guide the position of the virtual driver so that the implant is installed at the implant placement location. For example, the augmented reality content providing module 500 extracts the part where the position of the virtualization driver overlaps the placement position of the implant according to the movement of the virtualization driver, and colors the extracted part in a second color (for example, red). It can be converted. In addition, when the augmented reality content providing module 500 determines that the virtualization driver moves and the position of the virtualization driver and the placement position of the implant overlap more than a preset standard, the portion converted to the second color (overlapping portion) It may light up. Additionally, when the augmented reality content providing module 500 determines that the position of the virtual driver matches the placement position of the implant, it may display the entire virtual driver in a second color.
즉, 임플란트 수술 순서에 따라 가상화 드라이버의 위치 및 방향에 따라 수술자가 식별할 수 있도록 임플란트 수술 가이드를 제공함으로써, 수술자가 증강현실 콘텐츠를 통하여 제공되는 가이드를 참고하여 수술을 진행하여 수술 성공률을 높일 수 있다.In other words, by providing an implant surgery guide so that the operator can identify it according to the position and direction of the virtual driver according to the order of the implant surgery, the operator can increase the success rate of the surgery by referring to the guide provided through augmented reality content. there is.
한편, 증강현실 콘텐츠 제공 모듈(500)은 촬영 영상이 기 설정된 영역(예를 들어, 임플란트의 식립 위치)을 포함하는 경우, 해당 영역이 기 설정된 배율로 확대된 영상을 화면의 일부분에 표시할 수 있다. 이 때, 수술자는 설정된 배율을 조절하기 위하여 증강현실 장치(600)에 구성된 터치부를 터치하여 배율을 조절할 수 있다.Meanwhile, when the captured image includes a preset area (for example, the implant placement position), the augmented reality content providing module 500 can display an image of the area enlarged at a preset magnification on a portion of the screen. there is. At this time, the operator can adjust the magnification by touching the touch unit configured in the augmented reality device 600 to adjust the set magnification.
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드 방법을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 증강현실을 이용한 임플란트 수술 가이드 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 증강현실을 이용한 임플란트 수술 가이드 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다. Figure 4 is a flowchart for explaining a method for guiding implant surgery using augmented reality according to an embodiment of the present invention. The implant surgery guide method using augmented reality according to an embodiment of the present invention is performed on a computing device 12 having one or more processors and a memory that stores one or more programs executed by the one or more processors. You can. To this end, the implant surgery guide method using augmented reality may be implemented in the form of a program or software including one or more computer-executable instructions and stored on the memory.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.In addition, in the illustrated flow chart, the method is divided into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, omitted, divided into detailed steps, or shown. One or more steps not previously performed may be added and performed.
먼저, 컴퓨팅 장치(12)는 환자의 구강 내부에 대한 구강 영상 및 투과 영상을 획득한다(S402). 구체적으로, 컴퓨팅 장치(12)는 환자의 구강 내부에 구강내 3D 스캐너(Intra-Oral 3D scanner)를 삽입하고 구강 내부를 스캔하여 환자에 대한 구강 영상(스캔 영상)를 획득할 수 있다. 또한, 컴퓨팅 장치(12)는 치과용 CT(computed tomography) 장치를 이용하여 환자에 대한 투과 영상(CT 영상)를 획득할 수 있다.First, the computing device 12 acquires an oral image and a transmission image of the inside of the patient's oral cavity (S402). Specifically, the computing device 12 may insert an intra-oral 3D scanner inside the patient's mouth and scan the inside of the mouth to obtain an oral image (scan image) for the patient. Additionally, the computing device 12 may acquire a transmission image (CT image) of the patient using a dental computed tomography (CT) device.
그 다음, 컴퓨팅 장치(12)는 구강 영상 및 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성한다(S404). 구체적으로, 컴퓨팅 장치(12)는 구강 영상 및 투과 영상 각각에 기 설정된 포인트를 추출하고, 추출된 포인트가 매칭되도록 구강 영상 및 투과 영상을 병합할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 구강 영상에 설정된 포인트와 투과 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 구강 영상과 투과 영상을 상호 병합할 수 있다.Next, the computing device 12 generates a merged image by merging the oral image and the transmission image so that they correspond to each other and overlap (S404). Specifically, the computing device 12 may extract preset points from each of the oral image and the transmission image, and merge the oral image and the transmission image so that the extracted points match. For example, the computing device 12 extracts the coordinates of a point set in the oral image and a point set in the transmission image, synchronizes the coordinates of each image so that the coordinates of the extracted points overlap with each other, and interconnects the oral image and the transmission image. Can be merged.
그 다음, 컴퓨팅 장치(12)는 병합 영상 및 임플란트 수술 정보를 기반으로 증강현실 콘텐츠를 생성한다(S406). 예를 들어, 컴퓨팅 장치(12)는 병합 영상을 기반으로 환자의 치아주변 영역에 투영되는 3차원 객체를 생성할 수 있다. 여기서, 3차원 객체는 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 등 임플란트 수술에 중요한 해부학적 구조물을 포함한 객체를 포함할 수 있다. 또한, 컴퓨팅 장치(12)는 임플란트 수술시 사용하는 실물 드라이버(예를 들어, 임플란트 수술용 핸드피스, 수술용 드릴 등)를 가상화할 수 있다. 또한, 컴퓨팅 장치(12)는 병합 영상에 기 생성된 임플란트 수술 정보를 저장할 수 있다. 여기서, 임플란트 수술 정보는 임플란트 수술 시 임플란트 식립을 위한 식립 위치 및 식립 방향에 대한 정보를 나타낼 수 있다. 즉, 컴퓨팅 장치(12)는 3차원 객체, 가상화 드라이버 및 임플란트 수술 정보를 포함하는 증강현실 콘텐츠를 생성할 수 있다.Next, the computing device 12 generates augmented reality content based on the merged image and implant surgery information (S406). For example, the computing device 12 may generate a three-dimensional object projected onto the area around the patient's teeth based on the merged image. Here, the 3D object may include objects including anatomical structures important for implant surgery, such as a crown object, a tooth root object, a gum bone object, and a nerve canal object. Additionally, the computing device 12 may virtualize a physical driver (eg, a handpiece for implant surgery, a surgical drill, etc.) used during implant surgery. Additionally, the computing device 12 may store previously generated implant surgery information in the merged image. Here, the implant surgery information may represent information about the location and direction of implant placement during implant surgery. That is, the computing device 12 can generate augmented reality content including 3D objects, virtualization drivers, and implant surgery information.
그 다음, 컴퓨팅 장치(12)는 수술자로부터 임플란트 수술 가이드 시작신호가 수신되면, 증강현실 장치(600)로부터 촬영 영상을 획득하고, 획득된 촬영 영상에 증강현실 콘텐츠를 투영하여 수술자에게 임플란트 수술 가이드를 제공한다(S408). 예를 들어, 컴퓨팅 장치(12)는 환자의 구강에 착용된 스탠트를 기반으로 촬영 영상과 병합 영상을 매칭하여 결합함으로써, 3차원 객체 및 임플란트 수술 정보를 사용자의 구강에 정확하게 투영할 수 있다. 즉, 컴퓨팅 장치(12)는 촬영 영상의 스탠트(또는 머신러닝)를 기반으로 촬영 영상에 설정된 포인트와 병합 영상에 설정된 포인트의 좌표를 추출하고, 추출된 포인트의 좌표가 상호 중첩되도록 각 영상의 좌표를 동기화하여 촬영 영상에 3차원 객체 및 임플란트 수술 정보를 투영할 수 있다. 또한, 컴퓨팅 장치(12)는 촬영 영상에서 실물 드라이버(예를 들어, 임플란트 수술용 핸드피스, 수술용 드릴 등)에 구비된 증강현실 마크를 인식하여 가상 드라이버와 실물 드라이버를 매칭하여 촬영 영상에 가상 드라이버를 투영할 수 있다.Next, when an implant surgery guide start signal is received from the operator, the computing device 12 acquires a captured image from the augmented reality device 600, projects augmented reality content on the acquired captured image, and provides an implant surgery guide to the operator. Provided (S408). For example, the computing device 12 can accurately project a 3D object and implant surgery information into the user's mouth by matching and combining the captured image and the merged image based on the stent worn in the patient's mouth. That is, the computing device 12 extracts the coordinates of the point set in the captured image and the point set in the merged image based on the stance (or machine learning) of the captured image, and sets the coordinates of each image so that the coordinates of the extracted points overlap with each other. By synchronizing coordinates, 3D objects and implant surgery information can be projected onto the captured image. In addition, the computing device 12 recognizes the augmented reality mark provided on the real driver (e.g., handpiece for implant surgery, surgical drill, etc.) in the captured image, matches the virtual driver with the real driver, and adds the virtual driver to the captured image. Drivers can be projected.
도 5는 일 실시예에 따르면 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않은 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.FIG. 5 is a block diagram illustrating and illustrating a computing environment including a computing device, according to an embodiment. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those not described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 증강현실을 이용한 임플란트 수술 가이드를 제공하기 위한 장치(100)일 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, the computing device 12 may be a device 100 for providing an implant surgery guide using augmented reality.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14, a computer-readable storage medium 16, and a communication bus 18. Processor 14 may cause computing device 12 to operate in accordance with the example embodiments noted above. For example, processor 14 may execute one or more programs stored on computer-readable storage medium 16. The one or more programs may include one or more computer-executable instructions, which, when executed by the processor 14, cause computing device 12 to perform operations according to example embodiments. It can be.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or an appropriate combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, another form of storage medium that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12, including processor 14 and computer-readable storage medium 16.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input/output devices 24. The input/output interface 22 and the network communication interface 26 are connected to the communication bus 18. Input/output device 24 may be coupled to other components of computing device 12 through input/output interface 22. Exemplary input/output devices 24 include, but are not limited to, a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touch screen), a voice or sound input device, various types of sensor devices, and/or imaging devices. It may include input devices and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included within the computing device 12 as a component constituting the computing device 12, or may be connected to the computing device 12 as a separate device distinct from the computing device 12. It may be possible.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those skilled in the art will understand that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims described later but also by equivalents to the claims.
100 : 증강현실을 이용한 임플란트 수술 가이드 장치
200 : 영상 획득 모듈
300 : 영상 병합 모듈
400 : 증강현실 콘텐츠 제작 모듈
500 : 증강현실 콘텐츠 제공 모듈
600 : 증강현실 장치100: Implant surgery guide device using augmented reality
200: Image acquisition module
300: Video merge module
400: Augmented reality content production module
500: Augmented reality content provision module
600: Augmented reality device
Claims (20)
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 영상 획득 모듈;
상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 영상 병합 모듈;
상기 생성된 병합 영상 및 기 생성된 임플란트 수술 정보를 기반으로 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 제작 모듈; 및
증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 임플란트 수술 가이드를 제공하는 증강현실 콘텐츠 제공 모듈을 포함하며,
상기 증강현실 콘텐츠 제작 모듈은,
상기 병합 영상을 기반으로 상기 환자의 치아 영역에 투영되는 3차원 객체를 생성하고, 임플란트 수술시 사용하는 실물 드라이버를 가상화하고, 상기 병합 영상에 기 생성된 임플란트 수술 정보를 저장하며,
상기 증강현실 콘텐츠는, 상기 3차원 객체, 상기 가상화 드라이버 및 상기 임플란트 수술 정보를 포함하며,
상기 임플란트 수술 정보는, 임플란트 수술 시 임플란트 식립을 위한 식립 위치 및 식립 방향에 대한 정보를 포함하며,
상기 3차원 객체는, 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 중 하나 이상을 포함하며,
상기 증강현실 콘텐츠 제공 모듈은,
상기 3차원 객체 및 상기 임플란트 수술 정보를 기반으로 상기 임플란트의 식립 위치로 도달하기 위한 상기 가상화 드라이버의 경로를 생성하여 제공하는 상기 임플란트 수술 가이드를 상기 사용자에게 제공하며,
상기 증강현실 콘텐츠 제공 모듈은,
임플란트 수술 순서에 따라 상기 가상화 드라이버의 위치 정보 및 상기 임플란트 수술 정보를 비교하고, 비교 결과를 제공하는 상기 임플란트 수술 가이드를 상기 사용자에게 제공하며,
상기 임플란트 수술 가이드는,
상기 가상화 드라이버의 위치가 상기 임플란트의 식립 위치의 연장선 상에 위치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 일부분을 제1 색으로 표시하고,
상기 가상화 드라이버의 위치가 상기 임플란트의 식립 위치의 연장선 상에 위치하면서 상기 가상화 드라이버의 방향이 상기 임플란트의 식립 방향과 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 전체를 상기 제1 색으로 표시하고,
상기 가상화 드라이버의 이동에 따라 상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 중첩되는 부분을 추출하고,
상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 기 설정된 기준 이상 중첩되는 것으로 판단되는 경우, 상기 추출한 부분을 제2 색으로 점등시키고,
상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 전체를 상기 제2 색으로 표시하는, 컴퓨팅 장치.
one or more processors, and
A computing device having a memory that stores one or more programs executed by the one or more processors,
An image acquisition module that acquires an oral image of the inside of the patient's mouth using a 3D scanner and acquires a transmission image of the inside of the patient's mouth through radiography;
An image merging module that generates a merged image by merging the acquired oral image and the acquired transmission image so that they correspond to each other and overlap;
an augmented reality content creation module that generates augmented reality content based on the generated merged image and the previously generated implant surgery information; and
It includes an augmented reality content providing module that acquires a photographed image of the patient's tooth area from an augmented reality device, and provides an implant surgery guide to the user by projecting the augmented reality content on the acquired photographed image,
The augmented reality content creation module is,
Based on the merged image, a three-dimensional object projected onto the patient's tooth area is created, a physical driver used during implant surgery is virtualized, and previously generated implant surgery information is stored in the merged image.
The augmented reality content includes the three-dimensional object, the virtualization driver, and the implant surgery information,
The implant surgery information includes information on the placement location and direction for implant placement during implant surgery,
The three-dimensional object includes one or more of a crown object, a tooth root object, a gum bone object, and a nerve canal object,
The augmented reality content provision module is,
Providing the user with the implant surgery guide that generates and provides a path for the virtual driver to reach the placement position of the implant based on the 3D object and the implant surgery information,
The augmented reality content provision module is,
Comparing the location information of the virtual driver and the implant surgery information according to the implant surgery sequence, and providing the user with the implant surgery guide that provides comparison results,
The implant surgery guide is,
If it is determined that the location of the virtual driver is located on an extension of the implant location, displaying a portion of the virtual driver in a first color,
If it is determined that the position of the virtual driver is located on an extension of the placement position of the implant and the direction of the virtual driver matches the placement direction of the implant, displaying the entire virtual driver in the first color,
Extracting a portion where the position of the virtual driver and the placement position of the implant overlap according to the movement of the virtual driver,
If it is determined that the location of the virtual driver and the placement location of the implant overlap more than a preset standard, the extracted portion is lit in a second color,
When it is determined that the position of the virtual driver matches the placement position of the implant, the computing device displays the entire virtual driver in the second color.
상기 영상 병합 모듈은,
상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트가 매칭되도록 상기 구강 영상 및 상기 투과 영상을 병합하는, 컴퓨팅 장치.
In claim 1,
The video merging module is,
A computing device that extracts preset points from each of the oral image and the transmission image, and merges the oral image and the transmission image so that the extracted points match.
상기 영상 병합 모듈은,
상기 구강 영상 및 상기 투과 영상이 입력되는 경우, 이미 학습된 영상 병합 모델을 기반으로 머신 러닝(Machine Learning)을 수행하여 상기 구강 영상 및 상기 투과 영상 각각에 기 설정된 포인트를 추출하고, 상기 추출된 포인트를 기반으로 상기 병합 영상을 생성하는, 컴퓨팅 장치.
In claim 8,
The video merging module is,
When the oral image and the transmission image are input, machine learning is performed based on an already learned image merging model to extract preset points from each of the oral image and the transmission image, and the extracted points A computing device that generates the merged image based on.
상기 투과 영상의 기 설정된 포인트는,
상기 환자가 스탠트(stent)를 착용하고 촬영하여 상기 스탠트를 기반으로 설정되며,
상기 스탠트는,
상기 기 설정된 포인트를 가지는 구강 영상을 기반으로 3D 프린터를 이용하여 제작되어 상기 구강 영상과 동일한 포인트를 가지는, 컴퓨팅 장치.
In claim 8,
The preset point of the transmission image is,
The patient is photographed wearing a stent and is set based on the stent,
The stent is,
A computing device produced using a 3D printer based on an oral image having the preset points and having the same points as the oral image.
상기 영상 병합 모듈은,
상기 구강 영상에 설정된 포인트와 상기 투과 영상에 설정된 포인트의 좌표를 각각 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 구강 영상의 좌표 및 상기 투과 영상의 좌표를 동기화하여 상기 구강 영상과 상기 투과 영상을 상호 병합하는, 컴퓨팅 장치.
In claim 10,
The video merging module is,
The coordinates of the point set in the oral image and the point set in the transmission image are respectively extracted, and the coordinates of the oral image and the coordinates of the transmission image are synchronized so that the coordinates of the extracted points overlap each other, and the oral image and the transmission image are synchronized. A computing device that merges images together.
상기 촬영 영상은,
상기 환자가 상기 스탠트를 착용하고 촬영되며,
상기 증강현실 콘텐츠 제공 모듈은,
상기 촬영 영상의 스탠트를 기반으로 상기 촬영 영상에 설정된 포인트와 상기 병합 영상에 설정된 포인트의 좌표를 추출하고, 상기 추출된 포인트의 좌표가 상호 중첩되도록 상기 구강 영상의 좌표 및 상기 투과 영상의 좌표를 동기화하여 상기 촬영 영상에 상기 증강현실 콘텐츠를 투영하는, 컴퓨팅 장치.
In claim 10,
The video taken above is,
The patient is photographed wearing the stent,
The augmented reality content provision module is,
Based on the stance of the captured image, the coordinates of the point set in the captured image and the point set in the merged image are extracted, and the coordinates of the oral image and the coordinates of the transmission image are adjusted so that the coordinates of the extracted points overlap with each other. A computing device that synchronizes and projects the augmented reality content on the captured image.
상기 증강현실 장치는,
상기 사용자에 의해 착용되는 안경 형태의 착용 기기, 및 상기 환자의 치아 영역을 촬영하고, 상기 임플란트 수술 가이드를 상기 사용자에게 제공하는 증강현실 기기를 포함하는, 컴퓨팅 장치.
In claim 1,
The augmented reality device,
A computing device comprising a wearable device in the form of glasses worn by the user, and an augmented reality device that photographs a tooth area of the patient and provides the implant surgery guide to the user.
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 증강현실을 이용한 임플란트 수술 가이드 방법으로서,
영상 획득 모듈에서, 3D 스캐너를 이용하여 환자의 구강 내부에 대한 구강 영상을 획득하고, 방사선 촬영을 통하여 상기 환자의 구강 내부에 대한 투과 영상을 획득하는 단계;
영상 병합 모듈에서, 상기 획득한 구강 영상 및 상기 획득한 투과 영상이 대응되어 겹쳐지도록 병합하여 병합 영상을 생성하는 단계;
증강현실 콘텐츠 제작 모듈에서, 상기 생성된 병합 영상 및 기 생성된 임플란트 수술 정보를 기반으로 증강현실 콘텐츠를 생성하는 단계; 및
증강현실 콘텐츠 제공 모듈에서, 증강현실 장치로부터 상기 환자의 치아 영역을 촬영한 촬영 영상을 획득하고, 상기 획득된 촬영 영상에 상기 증강현실 콘텐츠를 투영하여 사용자에게 임플란트 수술 가이드를 제공하는 단계를 포함하며,
상기 증강현실 콘텐츠를 생성하는 단계는,
상기 증강현실 콘텐츠 제작 모듈에서, 상기 병합 영상을 기반으로 상기 환자의 치아 영역에 투영되는 3차원 객체를 생성하는 단계;
상기 증강현실 콘텐츠 제작 모듈에서, 임플란트 수술시 사용하는 실물 드라이버를 가상화하는 단계; 및
상기 증강현실 콘텐츠 제작 모듈에서, 상기 병합 영상에 기 생성된 임플란트 수술 정보를 저장하는 단계를 더 포함하며,
상기 증강현실 콘텐츠는, 상기 3차원 객체, 상기 가상화 드라이버 및 상기 임플란트 수술 정보를 포함하며,
상기 임플란트 수술 정보는, 임플란트 수술 시 임플란트 식립을 위한 식립 위치 및 식립 방향에 대한 정보를 포함하며,
상기 3차원 객체는, 치관 객체, 치근 객체, 잇몸뼈 객체 및 신경관 객체 중 하나 이상을 포함하며,
상기 사용자에게 임플란트 수술 가이드를 제공하는 단계는,상기 증강현실 콘텐츠 제공 모듈에서, 상기 3차원 객체 및 상기 임플란트 수술 정보를 기반으로 상기 임플란트의 식립 위치로 도달하기 위한 상기 가상화 드라이버의 경로를 생성하여 제공하는 단계를 더 포함하며,
상기 사용자에게 임플란트 수술 가이드를 제공하는 단계는,
상기 증강현실 콘텐츠 제공 모듈에서, 임플란트 수술 순서에 따라 상기 가상화 드라이버의 위치 정보 및 상기 임플란트 수술 정보를 비교하는 단계; 및
상기 증강현실 콘텐츠 제공 모듈에서, 상기 비교 결과를 상기 사용자에게 제공하는 단계를 더 포함하며,
상기 사용자에게 임플란트 수술 가이드를 제공하는 단계는,
상기 증강현실 콘텐츠 제공 모듈에서, 상기 가상화 드라이버의 위치가 상기 임플란트의 식립 위치의 연장선 상에 위치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 일부분을 제1 색으로 표시하는 단계;
상기 증강현실 콘텐츠 제공 모듈에서, 상기 가상화 드라이버의 위치가 상기 임플란트의 식립 위치의 연장선 상에 위치하면서 상기 가상화 드라이버의 방향이 상기 임플란트의 식립 방향과 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 전체를 상기 제1 색으로 표시하는 단계;
상기 증강현실 콘텐츠 제공 모듈에서, 상기 가상화 드라이버의 이동에 따라 상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 중첩되는 부분을 추출하는 단계;
상기 증강현실 콘텐츠 제공 모듈에서, 상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 기 설정된 기준 이상 중첩되는 것으로 판단되는 경우, 상기 추출한 부분을 제2 색으로 점등시키는 단계; 및
상기 증강현실 콘텐츠 제공 모듈에서, 상기 가상화 드라이버의 위치와 상기 임플란트의 식립 위치가 일치하는 것으로 판단되는 경우, 상기 가상화 드라이버의 전체를 상기 제2 색으로 표시하는 단계를 더 포함하는, 증강현실을 이용한 임플란트 수술 가이드 방법.
one or more processors, and
A method for guiding implant surgery using augmented reality, which is performed on a computing device having a memory for storing one or more programs executed by the one or more processors,
In the image acquisition module, acquiring an oral image of the inside of the patient's oral cavity using a 3D scanner and acquiring a transmission image of the inside of the patient's oral cavity through radiography;
In the image merging module, generating a merged image by merging the acquired oral image and the acquired transmission image so that they correspond to each other and overlap;
In the augmented reality content production module, generating augmented reality content based on the generated merged image and previously generated implant surgery information; and
In the augmented reality content providing module, acquiring a captured image of the patient's tooth area from an augmented reality device, and projecting the augmented reality content onto the acquired captured image to provide an implant surgery guide to the user; ,
The step of generating the augmented reality content is,
In the augmented reality content creation module, generating a 3D object projected onto the patient's tooth area based on the merged image;
In the augmented reality content production module, virtualizing a physical driver used during implant surgery; and
In the augmented reality content production module, further comprising the step of storing previously generated implant surgery information in the merged image,
The augmented reality content includes the three-dimensional object, the virtualization driver, and the implant surgery information,
The implant surgery information includes information on the placement location and direction for implant placement during implant surgery,
The three-dimensional object includes one or more of a crown object, a tooth root object, a gum bone object, and a nerve canal object,
The step of providing an implant surgery guide to the user includes, in the augmented reality content providing module, generating and providing a path for the virtual driver to reach the placement location of the implant based on the 3D object and the implant surgery information. It further includes the step of:
The step of providing an implant surgery guide to the user is:
Comparing, in the augmented reality content providing module, the location information of the virtual driver and the implant surgery information according to the order of implant surgery; and
In the augmented reality content providing module, further comprising providing the comparison result to the user,
The step of providing an implant surgery guide to the user is:
In the augmented reality content providing module, when the position of the virtualization driver is determined to be located on an extension of the placement position of the implant, displaying a portion of the virtualization driver in a first color;
In the augmented reality content providing module, when it is determined that the position of the virtualization driver is located on an extension of the installation position of the implant and the direction of the virtualization driver matches the installation direction of the implant, the entire virtualization driver is displaying with the first color;
In the augmented reality content providing module, extracting a portion where the position of the virtualization driver and the placement position of the implant overlap according to movement of the virtualization driver;
In the augmented reality content providing module, when it is determined that the position of the virtual driver and the placement position of the implant overlap more than a preset standard, lighting the extracted portion in a second color; and
In the augmented reality content providing module, when it is determined that the position of the virtual driver matches the placement position of the implant, displaying the entire virtual driver in the second color using augmented reality. How to guide implant surgery.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230032625A KR102633419B1 (en) | 2023-03-13 | 2023-03-13 | Method for guiding implant surgery using augmented reality and apparatus for executing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230032625A KR102633419B1 (en) | 2023-03-13 | 2023-03-13 | Method for guiding implant surgery using augmented reality and apparatus for executing the method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102633419B1 true KR102633419B1 (en) | 2024-02-06 |
Family
ID=89858186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230032625A KR102633419B1 (en) | 2023-03-13 | 2023-03-13 | Method for guiding implant surgery using augmented reality and apparatus for executing the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102633419B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160220105A1 (en) * | 2015-02-03 | 2016-08-04 | Francois Duret | Device for viewing an interior of a mouth |
| KR101678910B1 (en) * | 2015-06-09 | 2016-12-06 | (주) 시원 | Apparatus for guiding drilling |
| KR101687821B1 (en) | 2016-09-22 | 2016-12-20 | 장원석 | Method for dental surgery using augmented reality |
| US20190046276A1 (en) * | 2016-02-26 | 2019-02-14 | Trophy | Guided surgery apparatus and method |
| KR20190100264A (en) * | 2016-12-23 | 2019-08-28 | 플란메카 오이 | Tracking pieces to track movements of the hard tissue of the jaw |
| KR102273438B1 (en) * | 2021-01-27 | 2021-07-07 | 주식회사 에이치디엑스윌 | Apparatus and method for automatic registration of oral scan data and computed tomography image using crown segmentation of oral scan data |
-
2023
- 2023-03-13 KR KR1020230032625A patent/KR102633419B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160220105A1 (en) * | 2015-02-03 | 2016-08-04 | Francois Duret | Device for viewing an interior of a mouth |
| KR101678910B1 (en) * | 2015-06-09 | 2016-12-06 | (주) 시원 | Apparatus for guiding drilling |
| US20190046276A1 (en) * | 2016-02-26 | 2019-02-14 | Trophy | Guided surgery apparatus and method |
| KR101687821B1 (en) | 2016-09-22 | 2016-12-20 | 장원석 | Method for dental surgery using augmented reality |
| KR20190100264A (en) * | 2016-12-23 | 2019-08-28 | 플란메카 오이 | Tracking pieces to track movements of the hard tissue of the jaw |
| KR102273438B1 (en) * | 2021-01-27 | 2021-07-07 | 주식회사 에이치디엑스윌 | Apparatus and method for automatic registration of oral scan data and computed tomography image using crown segmentation of oral scan data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11559377B2 (en) | Augmented reality enhancements for dental practitioners | |
| US11357576B2 (en) | Method and system for augmented reality guided surgery | |
| KR102224657B1 (en) | Identification of areas of interest during intraoral scans | |
| Murugesan et al. | A novel rotational matrix and translation vector algorithm: geometric accuracy for augmented reality in oral and maxillofacial surgeries | |
| US10485614B2 (en) | Augmented reality system and method for implementing augmented reality for dental surgery | |
| US20110244415A1 (en) | Method and system for orthodontic diagnosis | |
| US20220192800A1 (en) | Method and system for guiding an intra-oral scan | |
| CN113260335B (en) | System for measuring periodontal pocket depth | |
| BR112021008107A2 (en) | method and system to propose and visualize dental treatments | |
| JP5934070B2 (en) | Virtual endoscopic image generating apparatus, operating method thereof, and program | |
| KR102633419B1 (en) | Method for guiding implant surgery using augmented reality and apparatus for executing the method | |
| KR20200084982A (en) | Method and apparatus for dental implant planning capable of automatic fixture replacement considering a risk factor | |
| US11488305B2 (en) | Segmentation device | |
| KR102584812B1 (en) | Method for guiding tooth preparation using augmented reality and apparatus for executing the method | |
| KR102633421B1 (en) | Method for guiding endodontic treatment using augmented reality and apparatus for executing the method | |
| KR20210089473A (en) | Method and apparatus for generation of mandibular movement model | |
| EP4304481A1 (en) | Enhancing dental video to ct model registration and augmented reality aided dental treatment | |
| KR20210019816A (en) | Method and apparatus for matching oral scan image and oral scan image | |
| KR20210024356A (en) | Method and apparatus for matching medical images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |