KR20210092997A - 치과 임플란트 수술용 스마트 글래스 - Google Patents

치과 임플란트 수술용 스마트 글래스 Download PDF

Info

Publication number
KR20210092997A
KR20210092997A KR1020200006612A KR20200006612A KR20210092997A KR 20210092997 A KR20210092997 A KR 20210092997A KR 1020200006612 A KR1020200006612 A KR 1020200006612A KR 20200006612 A KR20200006612 A KR 20200006612A KR 20210092997 A KR20210092997 A KR 20210092997A
Authority
KR
South Korea
Prior art keywords
lens
image
output
information
camera
Prior art date
Application number
KR1020200006612A
Other languages
English (en)
Other versions
KR102331336B1 (ko
Inventor
췬 웨이
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020200006612A priority Critical patent/KR102331336B1/ko
Publication of KR20210092997A publication Critical patent/KR20210092997A/ko
Application granted granted Critical
Publication of KR102331336B1 publication Critical patent/KR102331336B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

치과 임플란트 수술용 스마트 글래스는 치과용 임플란트 시술시 CT 영상과 시술되는 치아 상태를 동시에 확인하면서 임플란트 진단 및 시술이 가능하여 진단 오류를 최소화할 수 있으며, 본 발명은 컴퓨터 모니터를 보지 않고도 CT 영상과 피시술자의 치아 상태를 확인할 수 있어 시술시 정확한 절제나 시술 위치의 확인이 가능한 효과가 있다.

Description

치과 임플란트 수술용 스마트 글래스{Smart Glass for Dental Implants Surgical}
본 발명은 스마트 글래스에 관한 것으로서, 더욱 상세하게는 치과용 임플란트 시술시 CT 영상과 시술되는 치아 상태를 동시에 확인하면서 임플란트 진단 및 시술할 수 있는 치과 임플란트 수술용 스마트 글래스에 관한 것이다.
치과용 임플란트는 원래 인체 조직이 상실되었을 때, 회복시켜 주는 대치물을 의미하지만, 치과에서는 인공으로 만든 치아를 이식하는 일련의 시술을 가리킨다.
치과용 임플란트는 상실된 치근(뿌리)을 대신할 수 있도록 인체에 거부반응이 없는 티타늄(Titanium) 등으로 만든 치근인 픽스츄어(Fixture)를 치아가 빠져 나간 치조골에 심은 뒤, 인공 치아를 고정시켜 치아의 기능을 회복하도록 하는 시술이다.
한편, 임플란트 시술과정은 임플란트 시술의 정확성을 높이기 위해서 모의시술 및 시술계획이 수반된다. 이러한 모의시술 및 시술계획에는 피시술자의 구강 영역에 대한 정확한 데이터가 필수적이다.
치과용 임플란트 치료는 시술에 앞서서 환자의 상태에 적합한 임플란트의 치수, 종류, 위치, 배향 및 형상 등을 결정하는 임플란트 시술 계획 과정을 거친다.
치과용 임플란트 치료는 영상 장비를 통해 X-ray, CT, MRI, 파노라마 등 환자의 해부학적 구조 및 치아골의 상태 등을 파악할 수 있는 영상을 획득하고, 환자의 상태에 적합한 임플란트의 종류, 치수 등을 선택하여 위치나 배향, 형상 등을 소프트웨어 프로그램을 통해 시뮬레이션한다.
치과용 임플란트 치료는 CT 영상을 이용하여 치아 상태 및 시술 위치를 확인하고, 컴퓨터 모니터를 확인하면서 시술해야 하므로 시술시 번거로운 부분이 있으며, 의사의 눈으로 보는 구강 내부와 모니터의 CT 영상 간의 거리 감각 차이로 임플란트 시술시 오차나 실수가 발생할 가능성이 있다.
한국 특허등록번호 제10-1491704호
이와 같은 문제점을 해결하기 위하여, 본 발명은 치과용 임플란트 시술시 CT 영상과 시술되는 치아 상태를 동시에 확인하면서 임플란트 진단 및 시술이 가능하여 진단 오류를 방지할 수 있는 치과 임플란트 수술용 스마트 글래스를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 치과 임플란트 수술용 스마트 글래스는,
제1 렌즈와 제2 렌즈를 구비하고, 사용자의 얼굴에 착용하는 안경 타입의 지지 프레임;
상기 지지 프레임의 전면부에 결합되어 구강 내부와 치아 상태를 촬영하여 영상 정보를 획득하는 카메라 모듈;
상기 카메라 모듈에서 획득한 영상 정보를 가공한 제1 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하고, 치아에 대해 촬상된 단면 영상인 CT(Computed Tomography) 데이터를 가공한 제2 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 제어하는 프로세스; 및
상기 프로세스로부터 영상 정보를 수신하여 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 출력 방식을 변환한 상기 제1 영상을 생성하여 상기 프로세스로 전송하고, 외부의 CT 장치로부터 상기 CT 데이터를 수신하여 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 출력 방식을 변환한 상기 제2 영상을 생성하여 상기 프로세스로 전송하는 제어모듈을 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 치과 임플란트 수술용 스마트 글래스는,
제1 렌즈와 제2 렌즈를 구비하고, 사용자의 얼굴에 착용하는 안경 타입의 지지 프레임;
상기 지지 프레임의 전면부에 결합되어 구강 내부와 치아 상태를 촬영하여 영상 정보를 획득하는 카메라 모듈;
상기 지지 프레임의 내측 일측에 형성되어 사용자의 제1 안구로부터 제1 시선 정보를 획득하는 제1 카메라;
상기 지지 프레임의 내측 일측에 형성되어 사용자의 제2 안구로부터 제2 시선 정보를 획득하는 제2 카메라;
상기 카메라 모듈에서 획득한 영상 정보를 가공한 제1 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하고, 치아에 대해 촬상된 단면 영상인 CT(Computed Tomography) 데이터를 가공한 제2 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 제어하는 프로세스; 및
상기 프로세스로부터 상기 제1 카메라에서 획득한 제1 시선 정보와 상기 제2 카메라에서 획득한 제2 시선 정보를 수신하는 경우, 상기 제1 시선 정보와 상기 제2 시선 정보를 분석하여 눈꺼풀의 움직임으로 인한 눈의 깜박임 횟수를 판단하고, 눈의 깜박임 횟수에 따라 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하는 그래픽 개체를 제어하는 제어모듈을 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 치과용 임플란트 시술시 CT 영상과 시술되는 치아 상태를 동시에 확인할 수 있어 임플란트 진단 및 시술시 발생할 수 있는 오류를 최소화할 수 있다.
본 발명은 컴퓨터 모니터를 보지 않고도 CT 영상과 피시술자의 치아 상태를 확인할 수 있어 시술시 정확한 절제나 시술 위치의 확인이 가능한 효과가 있다.
도 1은 본 발명의 제1 실시예에 따른 치과 임플란트 수술용 스마트 글래스의 구조를 나타낸 사시도이다.
도 2는 본 발명의 제1 실시예에 따른 스마트 글래스와 제어모듈의 내부 구성을 간략하게 나타낸 블록도이다.
도 3은 본 발명의 제1 실시예에 따른 렌즈에 영상 정보를 출력한 일례를 나타낸 도면이다.
도 4는 본 발명의 제1 실시예에 따른 손의 제스처의 일례를 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 스마트 글래스와 제어모듈의 내부 구성을 간략하게 나타낸 블록도이다.
도 6은 본 발명의 제2 실시예에 따른 스마트 글래스의 전면부의 모습을 나타낸 도면이다.
도 7은 본 발명의 제2 실시예에 따른 스마트 글래스에서 오른쪽 눈의 깜박임 횟수에 따라 제1 영상을 제1 렌즈에 디스플레이하는 모습을 나타낸 도면이다.
도 8은 본 발명의 제2 실시예에 따른 스마트 글래스에서 왼쪽 눈의 깜박임 횟수에 따라 제2 영상을 제2 렌즈에 디스플레이하는 모습을 나타낸 도면이다.
도 9는 본 발명의 제2 실시예에 따른 스마트 글래스에서 눈의 깜박임 횟수에 따라 하나 이상의 영상을 한쪽 렌즈에 동시에 디스플레이하는 모습을 나타낸 도면이다.
도 10은 본 발명의 제2 실시예에 따른 카메라 모듈의 내부 단면을 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 제1 실시예에 따른 치과 임플란트 수술용 스마트 글래스의 구조를 나타낸 사시도이고, 도 2는 본 발명의 제1 실시예에 따른 스마트 글래스와 제어모듈의 내부 구성을 간략하게 나타낸 블록도이고, 도 3은 본 발명의 제1 실시예에 따른 렌즈에 영상 정보를 출력한 일례를 나타낸 도면이고, 도 4는 본 발명의 제1 실시예에 따른 손의 제스처의 일례를 나타낸 도면이다.
본 발명의 제1 실시예에 따른 치과 임플란트 수술용 스마트 글래스(100)는 안경의 전체적인 형상을 나타내는 지지 프레임(110)과, 지지 프레임(110)의 일측에 결합되어 전방의 영상을 촬영하는 카메라 모듈(111)과, 사용자의 양안에 시각적인 정보를 출력하기 위하여 사용자의 좌안 및 우안에 전방에 위치한 제1 렌즈(112) 및 제2 렌즈(113)를 포함한다.
지지 프레임(110)은 사용자의 얼굴에 착용할 수 있는 안경 타입으로 형성될 수 있다.
지지 프레임(110)은 카메라 모듈(111), 제1 렌즈(112), 제2 렌즈(113), 전원부(114), 마이크(115), 무선 송수신부(116), 스피커(117), 프로세스(118), 제스처 인식부(119)를 구비할 수 있다.
프로세스(118)는 카메라 모듈(111), 제1 렌즈(112), 제2 렌즈(113), 전원부(114), 마이크(115), 무선 송수신부(116), 스피커(117), 제스처 인식부(119)에 전기적으로 연결되어 구성장치를 제어할 수 있다.
카메라 모듈(111)은 지지 프레임(110)의 전면부에 결합되어 의사의 눈으로 보는 구강 내부, 치아 상태를 촬영하여 영상 정보를 획득한다.
제1 렌즈(112)와 제2 렌즈(113)는 사용자에게 전방 상황을 분석한 결과를 출력하기 위한 수단이다. 제1 렌즈(112)와 제2 렌즈(113)는 사용자의 양안에 시각적인 정보를 출력하기 위하여 사용자의 좌안 및 우안에 인접한 위치에 각각 마련되며, 시각적 출력 수단으로 기능하기 위해 LCD, LED, OLED 패널 등으로 구현될 수 있다. 물론, 제1 렌즈(112)와 제2 렌즈(113)는 상술한 패널 외에도 시각 정보를 디스플레이할 수 있는 다양한 방식으로 구현될 수 있다.
프로세스(118)는 외부의 제어모듈(200)과 유선으로 연결되어 데이터를 송수신할 수 있다.
무선 송수신부(116)는 네트워크를 통해서 외부 디바이스나 서버와 데이터를 주고받는다. 즉, 무선 송수신부(116)는 스마트 글래스(100)의 내부에서 처리된 데이터를 외부로 전송할 수 있으며, 반대로 외부의 서버나 외부 디바이스로부터 데이터나 정보 등을 수신할 수도 있다.
무선 송수신부(116)는 근거리 무선 통신방식으로 무선 신호를 송수신할 수 있다. 예를 들어, 무선 송수신부(116)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
전원부(114)는 스마트 글래스(100)가 동작하기 위해 필요한 전력을 공급하는 수단이다. 전원부(114)는 스마트 글래스(100)의 구성요소들에 전력을 지속적으로 공급하며, 외부로부터 전력을 공급받아 충전되는 충전식 배터리 형태로 구현될 수 있다.
마이크(115)는 프로세스(118)의 제어에 따라 음성 신호를 수신하여 제어모듈(200)로 전송한다. 스피커(117)는 프로세스(118) 또는 제어모듈(200)의 제어에 따라 기저장된 음성 정보를 출력하도록 제어할 수 있다.
제스처 인식부(119)는 카메라 모듈(111)로부터 수신된 일정한 형태의 손 움직임 데이터를 이용하여 손 제스처를 인식하고, 인식된 손 제스처에 대응하는 영상 표시 제어 명령어를 출력한다. 이때, 카메라 모듈(111)은 깊이 센서를 구비할 수 있다.
제스처 인식부(119)는 카메라 모듈(111)로부터 수신된 영상 정보에서 깊이 센서의 깊이 맵에 기초하여 손 영역과 배경 영역을 분리한다. 손 영역과 배경 영역을 분리하는 알고리즘은 공지된 기술로 다양한 이미지 처리 및 인식 알고리즘이 있다.
손 영역과 배경 영역을 분리하는 방법은 깊이 맵들의 히스토그램 그래프를 생성하여 깊이 맵 이미지를 구성하는 전체 픽셀들을 히스토그램을 구성한 후, 경계값보다 큰 그레이 레벨에 해당하는 픽셀을 손 영역으로 하고, 경계값보다 작은 그레이 레벨에 해당하는 픽셀을 배경 영역으로 구분한다. 손 영역은 그레이 레벨이 180 내지 240 사이의 소정 범위의 그레이 레벨들이므로 이 범위를 벗어나는 경우 배경 영역으로 판단할 수 있다.
제스처 인식부(119)는 배경 영역과 분리된 손 영역의 이동 정보를 인식하여 손이 오른쪽에서 왼쪽으로 이동, 손이 왼쪽에서 오른쪽으로 이동, 두 손가락을 벌려서 확대하거나 오무려서 축소하는 제스처 정보를 생성한다.
프로세스(118)는 제스처 인식부(119)로부터 제스처 정보를 수신하여 제어모듈(200)로 전송한다.
본 발명의 제1 실시예에 따른 제어모듈(200)은 영상 처리부(210), 디스플레이부(211), 제어부(212), 메모리부(213) 및 통신부(214)를 포함한다.
제어모듈(200)은 통신부(214)를 통해 CT 장치(10)와 유선 또는 무선 접속되어 CT 장치(10)로부터 CT 데이터를 획득할 수 있다. 이때, CT 장치(10)는 X선을 이용하여 환자의 두개골, 치아, 및 치아 주변의 잇몸의 구조를 단면 스캔(Scan)하여 CT 데이터를 생성할 수 있다. CT 데이터는 CT(Computed Tomography) 장치(10)에서 환자의 치아에 대해 촬상된 단면 영상에 대한 데이터를 의미할 수 있고, 복수의 단면 영상을 이용하여 구현된 입체 영상을 의미할 수 있다.
제어부(212)는 통신부(214)를 통해 스마트 글래스(100)의 프로세스(118)에 전기적으로 연결되어 데이터를 송수신할 수 있다.
영상 처리부(210)는 카메라 모듈(111)을 통해 촬영한 데이터를 처리하여 영상 데이터를 생성한다.
디스플레이부(211)는 제어부(212)의 제어에 따라 영상 처리부(210)에서 처리된 영상 데이터를 제1 렌즈(112)에 출력할 수 있는 형태로 출력 방식을 변환하여 제1 렌즈(112) 상에 시각적인 정보를 출력한다.
디스플레이부(211)는 제어부(212)의 제어에 따라 CT 장치(10)로부터 수신된 CT 데이터를 제2 렌즈(113)에 출력할 수 있는 형태로 출력 방식을 변환하여 제2 렌즈(113) 상에 시각적인 정보를 출력한다.
메모리부(213)는 스마트 글래스(1000)에서 처리된 값, 데이터뿐 아니라 스마트 글래스(1000)가 동작하기 위한 프로그램, 알고리즘, 소프트웨어 등을 저장한다.
메모리부(213)는 스마트 글래스(1000)의 내부에 하드웨어로 구현될 수도 있고, 통신부(214)를 통해서 연결되는 네트워크 상의 클라우드 서버 형태로 구현될 수도 있다.
제어부(212)는 디스플레이부(211)에서 가공된 제1 영상(101)을 통신부(214)를 통해 프로세스(118)로 전송한다. 프로세스(118)는 제1 렌즈(112) 상에 제1 영상(101)을 표시하도록 제어한다. 여기서, 제1 영상(101)은 카메라 모듈(111)에서 촬영된 구강 내부, 치아 상태의 영상 정보를 나타낸다.
제어부(212)는 디스플레이부(211)에서 가공된 제2 영상(102)을 통신부(214)를 통해 프로세스(118)로 전송한다. 프로세스(118)는 제2 렌즈(113) 상에 제2 영상(102)을 표시하도록 제어한다. 여기서, 제2 영상(102)은 CT 장치(10)로부터 수신된 CT 데이터를 나타낸다.
제어부(212)는 디스플레이부(211)에서 가공된 제1 영상(101)과 제2 영상(102)을 통신부(214)를 통해 프로세스(118)로 전송한다. 프로세스(118)는 제1 렌즈(112) 또는 제2 렌즈(113) 상에 제1 영상(101)과 제2 영상(102)을 동시에 출력하도록 제어한다.
제어부(212)는 통신부(214)를 통해 제스처 정보를 수신하고, 수신한 제스처 정보를 분석하여 제1 렌즈(112)에 출력된 제1 영상(101) 또는 제2 영상(102)를 제2 렌즈(113) 상에 출력되도록 제어하고, 제2 렌즈(113)에 출력된 제1 영상(101) 또는 제2 영상(102)를 제1 렌즈(112) 상에 출력되도록 제어한다.
제어부(212)는 통신부(214)를 통해 제스처 정보를 수신하고, 수신한 제스처 정보를 분석하여 제1 렌즈(112) 또는 제2 렌즈(113) 상에 출력된 제1 영상(101) 또는 제2 영상(102)를 확대하거나 축소하도록 제어할 수 있다.
제어부(212)는 디스플레이부(211)에서 가공된 제1 영상(101)과 제2 영상(102)을 중첩되도록 정합하여 통합 입체 영상 데이터를 생성할 수도 있다.
도 5는 본 발명의 제2 실시예에 따른 스마트 글래스와 제어모듈의 내부 구성을 간략하게 나타낸 블록도이고, 도 6은 본 발명의 제2 실시예에 따른 스마트 글래스의 전면부의 모습을 나타낸 도면이고, 도 7은 본 발명의 제2 실시예에 따른 스마트 글래스에서 오른쪽 눈의 깜박임 횟수에 따라 제1 영상을 제1 렌즈에 디스플레이하는 모습을 나타낸 도면이고, 도 8은 본 발명의 제2 실시예에 따른 스마트 글래스에서 왼쪽 눈의 깜박임 횟수에 따라 제2 영상을 제2 렌즈에 디스플레이하는 모습을 나타낸 도면이고, 도 9는 본 발명의 제2 실시예에 따른 스마트 글래스에서 눈의 깜박임 횟수에 따라 하나 이상의 영상을 한쪽 렌즈에 동시에 디스플레이하는 모습을 나타낸 도면이며, 도 10은 본 발명의 제2 실시예에 따른 카메라 모듈의 내부 단면을 나타낸 도면이다.
본 발명의 제2 실시예에 따른 스마트 글래스(100)는 카메라 모듈(111), 제1 렌즈(112), 제2 렌즈(113), 전원부(114), 마이크(115), 무선 송수신부(116), 스피커(117), 프로세스(118), 제1 카메라(120), 제2 카메라(121), 구동모터(122) 및 거리측정센서(123)를 포함하고, 제어모듈(200)은 영상 처리부(210), 디스플레이부(211), 제어부(212), 메모리부(213) 및 통신부(214)를 포함한다.
제2 실시예는 제1 실시예와 동일한 구성요소의 설명을 생략하고, 차이점을 중심으로 상세하게 설명한다.
제1 카메라(120)는 지지 프레임(110)의 내측 일측에 형성되어 사용자의 제1 안구로부터 제1 시선 정보를 획득한다. 여기서, 제1 시선 정보는 사용자의 제1 안구에 대응하는 눈꺼풀의 움직임 정보를 포함한다.
제2 카메라(121)는 지지 프레임(110)의 내측 일측에 형성되어 사용자의 제2 안구로부터 제2 시선 정보를 획득하거나 사용자의 제2 안구에 대응하는 눈꺼풀의 움직임 정보를 획득한다. 여기서, 제2 시선 정보는 사용자의 제2 안구에 대응하는 눈꺼풀의 움직임 정보를 포함한다.
거리측정센서(123)는 카메라 모듈(111)의 근처에 설치되어 스마트 글래스(100)와 전방의 대상(예를 들어, 치아 등)과의 거리를 측정한다.
거리측정센서(123)는 ToF(time of flight) 센서로 구현되어 초음파 신호를 송수신하여 전방에 위치하는 치아와 스마트 글래스(100)와의 거리를 측정할 수 있다.
프로세스(118)는 제1 카메라(120)와 제2 카메라(122)에 의해 제1 안구와 제2 안구를 촬영하면, 시선 추적 알고리즘을 이용하여 제1 안구로부터 획득한 제1 시선 정보와 제2 안구로부터 획득한 제2 시선 정보를 획득한다.
제어모듈(200)은 눈의 움직임을 이용하여 복수의 움직임 조합을 형성할 수 있으며, 복수의 움직임 조합으로 기반으로 그래픽 개체를 다양하게 제어할 수 있다.
프로세스(118)는 제1 카메라(120)와 제2 카메라(121)에 의해 제1 안구로부터 획득한 제1 시선 정보와 제2 안구로부터 획득한 제2 시선 정보를 획득하여 제어모듈(200)로 전송한다.
제어모듈(200)의 제어부(212)는 통신부(214)를 통해 제1 안구의 제1 시선 정보를 수신하는 경우, 제1 시선 정보를 분석하여 눈꺼풀의 움직임으로 인한 오른쪽 눈의 깜박임 횟수를 판단한다.
도 7에 도시된 바와 같이, 제어부(212)는 오른쪽 눈의 깜박임 횟수가 1회인 경우, 디스플레이부(211)에서 가공된 제1 영상(101)을 통신부(214)를 통해 프로세스(118)로 전송한다. 프로세스(118)는 제1 렌즈(112) 상에 제1 영상(101)을 출력하도록 제어한다.
제어모듈(200)의 제어부(212)는 통신부(214)를 통해 제2 안구의 제2 시선 정보를 수신하는 경우, 제2 시선 정보를 분석하여 눈꺼풀의 움직임으로 인한 왼쪽 눈의 깜박임 횟수를 판단한다.
도 8에 도시된 바와 같이, 제어부(212)는 왼쪽 눈의 깜박임 횟수가 1회인 경우, 디스플레이부(211)에서 가공한 제2 영상(102)을 통신부(214)를 통해 프로세스(118)로 전송한다. 프로세스(118)는 제2 렌즈(113) 상에 제2 영상(102)을 표시하도록 제어한다.
도 9의 (a)에 도시된 바와 같이, 제어부(212)는 오른쪽 눈의 깜박임 횟수가 2회인 경우, 디스플레이부(211)에서 처리된 제1 영상(101)과 제2 영상(102)을 통신부(214)를 통해 프로세스(118)로 전송한다. 프로세스(118)는 제1 렌즈(112) 상에 제1 영상(101)와 제2 영상(102)을 동시에 표시하도록 제어한다.
도 9의 (b)에 도시된 바와 같이, 제어부(212)는 왼쪽 눈의 깜박임 횟수가 2회인 경우, 디스플레이부(211)에서 처리된 제1 영상(101)과 제2 영상(102)을 통신부(214)를 통해 프로세스(118)로 전송한다. 프로세스(118)는 제2 렌즈(112) 상에 제1 영상(101)와 제2 영상(102)을 동시에 표시하도록 제어한다.
본 발명의 제2 실시예의 카메라 모듈(111)은 내부에 일정한 공간부를 형성한 카메라 하우징(111a)과, 카메라 하우징(111a)의 내부에 일정한 길이의 랙기어(111b)를 형성하고, 랙기어(111b)에 피니언기어(111c)가 기어 치합되어 맞물려 있으며, 피니언기어(111c)의 회전축(미도시)에 구동모터(122)를 결합한다.
본 발명의 피니언기어(111c)는 회전축에 구동모터(122)를 직접 결합하는 구성이지만, 이에 한정하지 않으며, 회전축에 기어박스(미도시)를 결합하고, 기어박스의 일측에 구동모터(122)를 결합하는 구성으로 형성할 수도 있다.
프로세스(118)는 구동모터(122)의 구동 신호를 생성하여 전송하고, 구동모터(122)의 회전에 의해 회전축이 회전하게 되면, 회전축에 결합된 피니언기어(111c)의 회전에 따라 카메라(111f)를 결합한 랙기어(111b)를 길이 방향으로 이동하게 된다. 이에 따라 카메라(111f)는 전후방으로 이동하여 전방의 대상(예를 들어, 치아 등)과의 거리를 조절할 수 있다.
프로세스(118)는 거리측정센서(123)로부터 전방의 대상(치아)와의 거리 정보를 수신하는 경우, 수신된 거리 정보가 기설정된 기준 거리를 벗어나는 경우, 구동모터(122)를 제어하여 카메라(111f)의 위치를 이동시켜 카메라 초점을 조절할 수 있다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 스마트 클래스 110: 지지 프레임
111: 카메라 모듈 112: 제1 렌즈
113: 제2 렌즈 114: 전원부
115: 마이크 116: 무선 송수신부
117: 스피커 118: 프로세스
119: 제스처 인식부 200: 제어모듈
210: 영상 처리부 211: 디스플레이부
212: 제어부 213: 메모리부
214: 통신부

Claims (9)

  1. 제1 렌즈와 제2 렌즈를 구비하고, 사용자의 얼굴에 착용하는 안경 타입의 지지 프레임;
    상기 지지 프레임의 전면부에 결합되어 구강 내부와 치아 상태를 촬영하여 영상 정보를 획득하는 카메라 모듈;
    상기 카메라 모듈에서 획득한 영상 정보를 가공한 제1 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하고, 치아에 대해 촬상된 단면 영상인 CT(Computed Tomography) 데이터를 가공한 제2 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 제어하는 프로세스; 및
    상기 프로세스로부터 영상 정보를 수신하여 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 출력 방식을 변환한 상기 제1 영상을 생성하여 상기 프로세스로 전송하고, 외부의 CT 장치로부터 상기 CT 데이터를 수신하여 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 출력 방식을 변환한 상기 제2 영상을 생성하여 상기 프로세스로 전송하는 제어모듈을 포함하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  2. 제1항에 있어서,
    상기 프로세스는 상기 제1 영상과 상기 제2 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 각각 출력하도록 제어하거나 상기 제1 렌즈 또는 상기 제2 렌즈 상에 상기 제1 영상과 상기 제2 영상을 동시에 출력하도록 제어하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  3. 제1 렌즈와 제2 렌즈를 구비하고, 사용자의 얼굴에 착용하는 안경 타입의 지지 프레임;
    상기 지지 프레임의 전면부에 결합되어 구강 내부와 치아 상태를 촬영하여 영상 정보를 획득하는 카메라 모듈;
    상기 지지 프레임의 내측 일측에 형성되어 사용자의 제1 안구로부터 제1 시선 정보를 획득하는 제1 카메라;
    상기 지지 프레임의 내측 일측에 형성되어 사용자의 제2 안구로부터 제2 시선 정보를 획득하는 제2 카메라;
    상기 카메라 모듈에서 획득한 영상 정보를 가공한 제1 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하고, 치아에 대해 촬상된 단면 영상인 CT(Computed Tomography) 데이터를 가공한 제2 영상을 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 제어하는 프로세스; 및
    상기 프로세스로부터 상기 제1 카메라에서 획득한 제1 시선 정보와 상기 제2 카메라에서 획득한 제2 시선 정보를 수신하는 경우, 상기 제1 시선 정보와 상기 제2 시선 정보를 분석하여 눈꺼풀의 움직임으로 인한 눈의 깜박임 횟수를 판단하고, 눈의 깜박임 횟수에 따라 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하는 그래픽 개체를 제어하는 제어모듈을 포함하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  4. 제3항에 있어서,
    상기 제어모듈은 상기 프로세스로부터 영상 정보를 수신하여 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 출력 방식을 변환한 상기 제1 영상을 생성하여 상기 프로세스로 전송하고, 외부의 CT 장치로부터 상기 CT 데이터를 수신하여 상기 제1 렌즈 또는 상기 제2 렌즈 상에 출력하도록 출력 방식을 변환한 상기 제2 영상을 생성하여 상기 프로세스로 전송하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  5. 제3항에 있어서,
    상기 제어모듈은 상기 제1 안구의 제1 시선 정보를 수신하는 경우, 상기 제1 시선 정보를 분석하여 눈꺼풀의 움직임으로 인한 오른쪽 눈의 깜박임 횟수를 판단하고, 상기 오른쪽 눈의 깜박임 횟수가 1회인 경우, 상기 제1 영상을 상기 프로세스로 전송하며, 상기 프로세스는 상기 제1 렌즈 상에 상기 제1 영상을 출력하도록 제어하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  6. 제3항에 있어서,
    상기 제어모듈은 상기 제2 안구의 제2 시선 정보를 수신하는 경우, 상기 제2 시선 정보를 분석하여 눈꺼풀의 움직임으로 인한 왼쪽 눈의 깜박임 횟수를 판단하고, 상기 왼쪽 눈의 깜박임 횟수가 1회인 경우, 상기 제2 영상을 상기 프로세스로 전송하며, 상기 프로세스는 상기 제2 렌즈 상에 상기 제2 영상을 출력하도록 제어하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  7. 제3항에 있어서,
    상기 제어모듈은 상기 제1 안구의 제1 시선 정보 또는 상기 제2 안구의 제2 시선 정보를 수신하는 경우, 상기 제1 시선 정보 또는 상기 제2 시선 정보를 분석하여 눈꺼풀의 움직임으로 인한 눈의 깜박임 횟수를 판단하고, 상기 눈의 깜박임 횟수가 2회인 경우, 상기 제1 영상과 제2 영상을 상기 프로세스로 전송하며, 상기 프로세스는 상기 제1 렌즈 또는 상기 제2 렌즈 상에 상기 제1 영상과 제2 영상을 동시에 출력하도록 제어하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  8. 제3항에 있어서,
    상기 카메라 모듈의 근처에 설치되어 전방의 대상과의 거리를 측정하는 거리측정센서를 더 포함하고,
    상기 카메라 모듈은 내부에 일정한 공간부를 형성한 카메라 하우징과, 상기 카메라 하우징의 내부에 일정한 길이의 랙기어를 형성하고, 상기 랙기어에 피니언기어가 기어 치합되어 맞물려 있고, 상기 피니언기어의 회전축에 구동모터를 결합하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
  9. 제8항에 있어서,
    상기 프로세스는 상기 거리측정센서로부터 상기 전방의 대상과의 거리 정보를 수신하는 경우, 상기 수신된 거리 정보가 기설정된 기준 거리를 벗어나는 경우, 상기 구동모터를 제어하여 상기 카메라 모듈의 위치를 이동시켜 카메라 초점을 조절하는 것을 특징으로 하는 치과 임플란트 수술용 스마트 글래스.
KR1020200006612A 2020-01-17 2020-01-17 치과 임플란트 수술용 스마트 글래스 KR102331336B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200006612A KR102331336B1 (ko) 2020-01-17 2020-01-17 치과 임플란트 수술용 스마트 글래스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200006612A KR102331336B1 (ko) 2020-01-17 2020-01-17 치과 임플란트 수술용 스마트 글래스

Publications (2)

Publication Number Publication Date
KR20210092997A true KR20210092997A (ko) 2021-07-27
KR102331336B1 KR102331336B1 (ko) 2021-11-25

Family

ID=77125622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200006612A KR102331336B1 (ko) 2020-01-17 2020-01-17 치과 임플란트 수술용 스마트 글래스

Country Status (1)

Country Link
KR (1) KR102331336B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130067902A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 안경형 이동 통신 단말 장치
KR101491704B1 (ko) 2013-05-01 2015-02-16 주식회사 메가젠임플란트 임플란트용 영상정보 획득장치
KR101667152B1 (ko) * 2015-05-22 2016-10-24 고려대학교 산학협력단 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130067902A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 안경형 이동 통신 단말 장치
KR101491704B1 (ko) 2013-05-01 2015-02-16 주식회사 메가젠임플란트 임플란트용 영상정보 획득장치
KR101667152B1 (ko) * 2015-05-22 2016-10-24 고려대학교 산학협력단 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법

Also Published As

Publication number Publication date
KR102331336B1 (ko) 2021-11-25

Similar Documents

Publication Publication Date Title
US11856178B2 (en) Stereoscopic video imaging
US10485614B2 (en) Augmented reality system and method for implementing augmented reality for dental surgery
US11297285B2 (en) Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures
JP6883222B2 (ja) 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
CN111278344B (zh) 手术臂系统和手术臂控制系统
US11503201B2 (en) Focus detection device and method
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
CN108629845B (zh) 手术导航装置、设备、系统和可读存储介质
CN109893258B (zh) 一体化外视镜腹腔镜系统
CN105208909A (zh) 用于立体显示图像数据的方法和装置
CN113855287B (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
US20230172438A1 (en) Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
KR20180136063A (ko) 근적외선 기반 치아 진단 영상 획득 장치 및 방법
US20210212806A1 (en) Cap, image capturing device, data generation system, and data generation method
KR102331336B1 (ko) 치과 임플란트 수술용 스마트 글래스
KR20140080694A (ko) 치료기기 제어장치 및 이를 이용한 치료 시스템
CN109965987A (zh) 一种具有共聚焦激光扫描功能的机器人外视镜
CN202920375U (zh) 植牙导航透视一次性整合系统
CN108965856A (zh) 一种基于3d内窥镜的裸眼3d显示系统及方法
EP3756531B1 (en) Medical display control device and display control method
KR20190017377A (ko) 치아교정용 가이드 시스템 및 이를 이용한 치아교정 가이드 방법
US20220101570A1 (en) Method and apparatus for generating x-ray image and computer-readable recording medium
WO2022054498A1 (ja) 医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant