KR20220019353A - 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법 - Google Patents

증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법 Download PDF

Info

Publication number
KR20220019353A
KR20220019353A KR1020200099686A KR20200099686A KR20220019353A KR 20220019353 A KR20220019353 A KR 20220019353A KR 1020200099686 A KR1020200099686 A KR 1020200099686A KR 20200099686 A KR20200099686 A KR 20200099686A KR 20220019353 A KR20220019353 A KR 20220019353A
Authority
KR
South Korea
Prior art keywords
image
user terminal
augmented reality
subject
measured
Prior art date
Application number
KR1020200099686A
Other languages
English (en)
Other versions
KR102476832B1 (ko
Inventor
노태훈
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200099686A priority Critical patent/KR102476832B1/ko
Priority to PCT/KR2021/010119 priority patent/WO2022035110A1/ko
Publication of KR20220019353A publication Critical patent/KR20220019353A/ko
Priority to KR1020220163625A priority patent/KR102582154B1/ko
Application granted granted Critical
Publication of KR102476832B1 publication Critical patent/KR102476832B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법에 관한 것이다.
본 발명에 따르면, 사용자 단말기를 이용한 증강현실 의료영상 제공 방법에 있어서, 측정 대상자의 신체 일부에 대하여 촬영된 의료 영상을 의료영상 서버로부터 수신하여 3차원 영상을 재구성하고, 상기 재구성된 3차원 영상으로부터 특징점을 추출하는 단계, 사용자 단말기에 장착된 깊이 카메라를 이용하여 상기 측정 대상자의 신체 일부를 촬영하고, 상기 촬영된 영상으로부터 상기 측정 대상자의 3차원 데이터를 획득하고, 상기 3차원 데이터로부터 특징점을 추출하는 단계, 상기 3차원 영상으로부터 추출된 특징점과 상기 3차원 데이터로부터 추출된 특징점을 매칭시켜 정합하는 단계, 상기 사용자 단말기로부터 수직 방향으로 일정 거리만큼 이격된 지점을 가상의 기준점으로 설정하고, 상기 기준점에 해당하는 3차원 좌표가 상기 측정 대상자의 신체 일부 내에 위치하는 경우, 해당되는 기준점에 대응하는 단면에 대한 증강현실 영상을 상기 깊이 카메라에 의해 촬영되는 영상에 겹쳐서 상기 사용자 단말기의 화면상에 제공하는 단계를 포함한다.

Description

증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법{USER TERMINAL FOR PROVIDING AUGMENTED REALITY MEDICAL IMAGE AND METHOD FOR PROVIDING AUGMENTED REALITY MEDICAL IMAGE}
본 발명은 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법에 관한 것으로, 증강현실을 이용하여 각각의 측정 대상자의 3차원 영상을 측정 대상자의 영상과 함께 제공하는 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법에 관한 것이다.
증강 현실 기술은 사용자가 보고 있는 실사에 가상 영상을 투영함으로써 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이며, 로널드 아즈마(Ronald Azuma)에 따르면, 증강 현실은 현실의 이미지와 가상의 이미지를 결합한 것과, 실시간으로 간섭이 가능하고 삼차원의 공간 안에 놓인 것으로 정의된다.
이는 사용자가 가상 영상에 몰입하여 실제 주변환경을 볼 수 없는 가상 현실 기술과는 차별되며, 실제 환경과 가상 객체의 혼합을 통해 보다 나은 현실감과 부가 정보를 제공한다.
이러한 증강 현실 기술은 1990년 후반부터 미국을 중심으로 연구되어 최근 스마트폰의 보급으로 본격적인 상업화가 시도되고 있으며, 게임 및 교육 분야 등에서 다양한 제품이 출시되고 있다.
증강 현실을 착용자에게 보여주는 방식으로는 착용식 컴퓨터를 머리에 쓰는 형태의 컴퓨터 화면 장치, 소위 헤드 마운트 디스플레이(head mounted display, HMD)가 있으며, 이러한 HMD는 사용자에게 실제환경에 가상 영상을 겹쳐 실시간으로 보여준다. 최근 Microsoft사에서 Hololens를 출시하는 등, HMD에 대한 개발이 활발히 이뤄지고 있다.
또한 증강 현실 기술의 발달과 함께 세계적으로 이를 의료에 접목하려는 연구가 진행되고 있으며, 특히 해부학적 구조를 보여주는 교육용 프로그램이나 수술 보조용으로 사용하려는 시도가 진행 중이다. 하지만, 기존의 의료용 증강현실은 단순한 비주얼 마커를 사용한 이미지 트랙킹(Image tracking)을 기반으로 한 증강 현실 구현이다.
이미지 트래킹을 기반으로 하는 방식의 경우, 영상을 촬영하고 촬영된 영상을 분석함으로써 영상 매칭을 수행하도록 한다. 그러나, 이러한 이미지 tracking 기반의 방식의 경우, 무균 무접촉을 원칙으로 하는 의료 시술이나 수술에서는 drapping이 선행되어 대부분의 신체가 무균 시트에 가려지게 되어 매칭시킬 영상을 촬영하지 못하게 되므로 증강 현실의 적용에 한계가 있다.
따라서, 비주얼 마커의 사용없이 증강현실을 제공하는 시스템이 필요하게 되었다.
본 발명의 배경이 되는 기술은 대한민국 등록특허 제10-1831514호(2018.02.26. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 증강현실을 이용하여 각각의 측정 대상자의 3차원 영상을 측정 대상자의 영상과 함께 제공하는 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 사용자 단말기를 이용한 증강현실 의료영상 제공 방법에 있어서, 측정 대상자의 신체 일부에 대하여 촬영된 의료 영상을 의료영상 서버로부터 수신하여 3차원 영상을 재구성하고, 상기 재구성된 3차원 영상으로부터 특징점을 추출하는 단계, 사용자 단말기에 장착된 깊이 카메라를 이용하여 상기 측정 대상자의 신체 일부를 촬영하고, 상기 촬영된 영상으로부터 상기 측정 대상자의 3차원 데이터를 획득하고, 상기 3차원 데이터로부터 특징점을 추출하는 단계, 상기 3차원 영상으로부터 추출된 특징점과 상기 3차원 데이터로부터 추출된 특징점을 매칭시켜 정합하는 단계, 상기 사용자 단말기로부터 수직 방향으로 일정 거리만큼 이격된 지점을 가상의 기준점으로 설정하고, 상기 기준점에 해당하는 3차원 좌표가 상기 측정 대상자의 신체 일부 내에 위치하는 경우, 해당되는 기준점에 대응하는 단면에 대한 증강현실 영상을 상기 깊이 카메라에 의해 촬영되는 영상에 겹쳐서 상기 사용자 단말기의 화면상에 제공하는 단계를 포함한다.
상기 의료 영상은, CT, MRI, X-ray 또는 초음파 영상 중에서 적어도 하나를 포함하고, 상기 증강현실 영상은, 상기 재구성된 3차원 영상의 특징점과 상기 측정 대상자의 3차원 데이터로부터 추출된 특징점을 매칭시켜 합성된 영상일 수 있다.
상기 신체의 일부는 얼굴을 포함하며, 상기 특징점은, 상기 측정 대상자의 눈, 코 및 입 중에서 적어도 하나를 포함할 수 있다.
상기 깊이 카메라에 의해 촬영되는 영상에 겹쳐서 제공하는 단계는, 상기 사용자 단말기와 상기 측정 대상자 사이의 거리가 변화함에 따라, 상기 신체의 일부의 단면에 해당하는 증강현실 영상을 연속적으로 화면 상에 표시하여 제공할 수 있다.
상기 사용자 단말기는 3축 지자기 센서를 포함하며, 상기 사용자 단말기의 현재 위치 및 3축 각도에 대응하여, 상기 기준점을 중심으로 상기 사용자 단말기와 평행인 면에 대응하는 단면에 대한 증강현실 영상을 표시할 수 있다.
본 발명의 다른 실시예에 따르면, 증강현실 의료영상을 제공하기 위한 사용자 단말기에 있어서, 측정 대상자의 신체 일부에 대하여 촬영된 의료영상을 의료영상 서버로부터 수신하여 3차원 영상을 재구성하고, 상기 재구성된 3차원 영상으로부터 특징점을 추출하는 제1 특징점 추출부, 깊이 카메라를 이용하여 상기 측정 대상자의 신체 일부를 촬영하기 위한 촬영부, 상기 촬영된 영상으로부터 상기 측정 대상자의 3차원 데이터를 획득하고, 상기 3차원 데이터로부터 특징점을 추출하는 제2 특징점 추출부, 상기 3차원 영상으로부터 추출된 특징점과 상기 3차원 데이터로부터 추출된 특징점을 매칭시켜 정합하는 영상 정합부, 그리고 상기 사용자 단말기로부터 수직 방향으로 일정 거리만큼 이격된 지점을 가상의 기준점으로 설정하고, 상기 기준점에 해당하는 3차원 좌표가 상기 측정 대상자의 신체 일부 내에 위치하는 경우, 해당되는 기준점에 대응하는 단면에 대한 증강현실 영상을 상기 사용자 단말기에 의해 촬영되는 영상에 겹쳐서 제공하는 제어부를 포함한다.
이와 같이 본 발명에 따르면, 사용자 단말기와 측정 대상자 사이의 거리에 따라 측정 대상자의 신체 내부에 대한 증강현실 영상을 실시간으로 제공함으로써, 수술전 시뮬레이션 및 의료 교육시 활용할 수 있다.
또한, 의료영상과 촬영된 깊이영상을 이용하기 때문에 기존의 마커를 이용하여 증강현실을 제공하는 방법보다 제작비용과 연산량을 감소시킬 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실 의료영상 제공 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 증강현실 의료영상 제공 방법을 설명하기 위한 순서도이다.
도 3은 도 2의 S260단계를 설명하기 위한 도면이다.
도 4는 도 3에의해 제공되는 증강현실 영상을 나타낸 도면이다.
도 5는 도 2의 S270단계를 설명하기 위한 도면이다.
도 6a은 본 발명의 실시예에 따른 측정 대상자의 정면을 촬영했을 경우 제공되는 화면이다.
도 6b는 본 발명의 실시예에 따른 측정 대상자의 왼쪽 측면을 촬영했을 경우 제공되는 화면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 증강현실 의료영상 제공 시스템을 설명하기 위한 구성도이다.
도 1에서 나타낸 것처럼, 본 발명의 실시예에 따른 의료영상 증강현실 제공 시스템은 의료영상 서버(100) 및 사용자 단말기(200)를 포함한다.
먼저, 의료영상 서버(100)는 환자별로 기 촬영된 의료영상을 개별적으로 저장한다.
이때, 의료영상은 CT, MRI, X-ray 또는 초음파 영상 중에서 적어도 하나를 포함한다.
여기서, 인체를 통과하는 X-선을 이용하는 방법은, X-ray(X선영상 기술, radiography)을 이용하여 인체의 각 부위 조직의 투과된 X선의 감쇄 특성을 이용하여 평면 형광판이나 필름에 생체 내부 구조를 영상화하는 방법 및 CT(전산화 단층 촬영 기술, Computed Tomography)을 이용하여 인체의 단면 주위를 돌면서 X-선을 투사하고 X-선이 인체를 통과하면서 감소되는 양을 측정하여 내부 구조를 영상화하는 방법을 포함할 수 있다.
또한, 인체 내에 주입된 감마선을 이용하는 방법은 PET(양전자 방출 단층 촬영기술, Positron Emission Tomography) 방법이 될 수 있다. 세 번째로 인체 내에서 반사된 초음파 이용하는 방법은 Ultrasound(초음파 영상 진단 기술)를 이용하여 송신된 초음파에 대해 생체 조직에서 반사된 초음파를 수신하여 반사되어온 초음파를 증폭, 검출하여 모니터에 영상화하는 방법을 포함할 수 있다.
그리고, 인체 내 주입된 자기장 이용하는 방법은 MRI(자기공명영상 진단 기술, Magnetic Resonance Imaging)를 이용하여 자력에 의하여 발생하는 자기장을 이용하여 생체 임의의 단층 영상을 획득할 수 있는 방법을 포함할 수 있다.
사용자 단말기(200)는 제1 특징점 추출부(210), 촬영부(220), 제2 특징점 추출부(230), 영상 정합부(240) 및 제어부(250)를 포함한다.
먼저, 제1 특징점 추출부(210)는 의료영상 서버(100)로부터 측정 대상자의 신체 일부에 대하여 촬영된 의료영상을 수신하고, 수신된 의료영상으로부터 3차원 영상을 재구성하고, 재구성된 3차원 영상으로부터 특징점을 추출한다.
또한, 의료영상 서버(100)가 미리 기 저장된 의료영상을 이용하여 3차원 영상으로 재구성하여 제1 특징점 추출부(210)에 제공할 수도 있다.
그리고, 제1 특징점 추출부(210)는 재구성된 3차원 영상으로부터 특징점을 추출한다.
여기서, 제1 특징점 추출부(210)에 의해 추출되는 특징점은 측정 대상자의 눈, 코 및 입 중에서 적어도 하나를 포함한다.
다음으로, 촬영부(220)에는 깊이 카메라가 장착되어 있으며, 장착된 깊이 카메라를 이용하여 측정 대상자의 신체 일부를 촬영한다.
여기서, 깊이 카메라는 복수개의 렌즈를 통해 촬영된 영상을 이용하여 카메라와 사물 사이의 거리를 측정할 수 있는 카메라이며, 본 발명의 실시예에 따르면, 측정 대상자는 사용자 단말기(200)의 렌즈가 자신을 향하도록 파지한 상태에서, 사용자 단말기(200)를 전후좌우로 움직이면서 촬영을 할 수 있으며, 제3자가 사용자 단말기(200)를 통해 측정 대상자의 신체 일부를 촬영할 수도 있다.
그러면, 깊이 카메라는 사용자 단말기(200)와 측정 대상자와의 거리를 측정하고, 해당되는 지점의 영상을 제공한다.
또한, 사용자 단말기(200)는 3축 지자기 센서(미도시)를 더 포함할 수 있으며, 3축 지자기 센서를 이용하여 현재 사용자 단말기의 3축 각도를 판단한다.
제2 특징점 추출부(230)는 깊이 카메라에 의해 촬영된 영상으로부터 측정 대상자의 3차원 데이터를 획득하고, 3차원 데이터로부터 특징점을 추출한다.
마찬가지로, 제2 특징점 추출부(230)에 의해 추출되는 특징점은 측정 대상자의 눈, 코 및 입 중에서 적어도 하나를 포함한다.
다음으로, 영상 정합부(240)는 제1 특징점 추출부(210)에 의해 추출된 특징점과 제2 특징점 추출부(230)에 의해 추출된 특징점을 매칭시켜 증강현실 영상을 제작한다.
여기서, 증강현실 영상은 3차원 공간에 생성된 현실의 이미지와 가상의 이미지를 결합하여 실시간으로 수정 또는 간섭이 가능한 영상이며, 본 발명의 실시예에 따르면, 증강현실 영상은 사용자 단말기(200)의 3축 각도 및 측정대상자와의 거리에 따라 실시간으로 변화되어 제공한다.
다음으로, 제어부(250)는 사용자 단말기(200)의 전면으로부터 전방을 향하는 수직 방향으로 일정 거리만큼 이격된 지점을 가상의 기준점으로 설정한다.
그리고, 제어부(250)는 기준점에 해당하는 3차원 좌표가 측정 대상자의 신체 일부 내에 위치하는 경우, 해당하는 기준점에 대응하는 단면에 대한 증강현실 영상을 촬영부(220)에 의해 촬영되는 영상에 겹쳐서 화면상에 제공한다.
또한, 제어부(250)는 사용자 단말기(200)와 측정 대상자 사이의 거리가 변화함에 따라, 신체의 일부의 단면에 해당하는 증강현실 영상을 연속적으로 사용자 단말기(200)의 화면상에 표시한다.
이하에서는 도 2 내지 도 6b를 이용하여 본 발명의 실시예에 따른 증강현실 의료영상 제공 방법을 설명한다.
도 2는 본 발명의 실시예에 따른 증강현실 의료영상 제공 방법을 설명하기 위한 순서도이다.
먼저, 제1 특징점 추출부(210)는 측정 대상자의 신체 일부에 대하여 촬영된 의료 영상을 의료영상 서버(100)로부터 수신하여 3차원 영상을 재구성하고, 재구성된 3차원 영상으로부터 특징점을 추출한다(S210).
이때, 의료영상은 도 1에서 설명한 것과 같이 X-선, 감마선, 초음파 및 자기장 등을 이용하여 촬영된 영상이다.
여기서, 측정 대상자의 신체 일부는 얼굴, 팔, 다리 또는 상체와 같은 사람의 신체 일부를 말하며, 각각의 신체 일부에는 서로 다른 특징점을 가진다.
예를 들어, 얼굴에 대한 특징점은 눈, 코, 입 또는 귀일 수 있으며, 다리에 대한 특징점은 복사뼈 또는 발가락 등이 될 수 있다.
특징점이 3차원적으로 식별이 어려운 경우, 제1 특징점 추출부(210)는 카메라를 통해 단말기 화면에 투영된 영상에서 직접 특징점을 지정할 수 있다.
예를 들어, 옷을 입은 상태로 복부를 관찰하고 싶은 경우 명치부위나 유두, 배꼽등을 사용자 단말기 화면에서 직접 탭하거나 관찰대상을 손가락 등의 표시자로 가리켜서 지정할 수 있다.
또한, 의료영상 서버(100)는 측정 대상자별로 기 저장되어 있는 의료영상을 정합하여 3차원 영상으로 재구성하고, 재구성된 3차원 영상을 사용자 단말(200)로 전송할 수 있다.
이때, 재구성된 3차원 영상은 각각의 좌표 및 위치정보를 포함한다.
다음으로, 촬영부(220)를 이용하여 측정 대상자의 신체 일부를 촬영하고, 제2 특징점 추출부(230)는 촬영된 영상으로부터 측정 대상자의 3차원 데이터를 획득하고, 3차원 데이터로부터 특징점을 추출한다(S220).
여기서, 촬영부(220)는 측정 대상자의 3차원 데이터를 획득하기 위해 도트 프로젝터(Dot Projector)를 이용한다.
이때, 본 발명의 실시예에 따르면, 측정 대상자의 3차원 데이터를 획득하기 위해 도트 프로젝터는 1줄의 레이저를 3만개 이상의 레이저로 분산시켜 3차원 데이터를 획득한다.
즉, 특징점에 해당하는 3차원 데이터는 각각 해당하는 위치정보를 포함한다.
다음으로, 영상 정합부(240)는 제1 특징점 추출부(210)에 의한 3차원 영상으로부터 추출된 특징점과 제2 특징점 추출부(230)에 의한 3차원 데이터로부터 추출된 특징점을 매칭시켜 영상을 정합한다(S230).
즉, 영상 정합부(240)는 S210 단계에서 3차원 영상으로부터 추출된 특징점의 위치 좌표와 S220 단계에서 3차원 데이터로부터 추출된 특징점에 해당하는 좌표를 매칭시킨다.
예를 들어, 3차원 영상으로부터 추출된 특징점의 위치 좌표가 (242, 546, 254)이면, 영상 정합부(240)는 해당 위치 좌표와 동일한 위치 좌표를 가지는 3차원 데이터를 매칭하여 영상을 정합한다.
또한, 영상 정합부(240)는 딥러닝 방법을 이용하여 3차원 영상으로부터 추출된 특징점과 3차원 데이터로부터 추출된 특징점을 매칭시켜 영상을 정합할 수 있다.
그러면, 영상 정합부(240)는 매칭된 영상을 이용하여 증강현실 영상을 생성한다.
다음으로, 제어부(250)는 사용자 단말기(200)의 전면을 기준으로 전방에 해당하는 수직 방향으로 일정 거리만큼 이격된 지점을 가상의 기준점으로 설정한다(S240).
즉, 가상의 기준점은 사용자 단말기(200)의 전면으로부터 일정 거리만큼 이격된 지점을 의미한다.
이때, 가상의 기준점은 사용자 단말기(200)와 측정 대상자 사이의 거리에 따라 측정 대상자의 내부 또는 외부에 위치할 수 있다.
다음으로, 제어부(250)는 가상의 기준점이 측정 대상자의 신체 내부에 존재하는지 여부를 판단한다(S250). 즉, 제어부(250)는 사용자 단말기(200)와 가상의 기준점과의 거리(R)와 사용자 단말기(200)와 측정 대상자 사이의 거리(D)를 비교한다.
여기서, 사용자 단말기(200)와 가상의 기준점과의 거리(R)는 S240단계에서 기 설정된 값을 나타낸다.
이때, 사용자 단말기(200)와 가상의 기준점과의 거리(R)가 사용자 단말기(200)와 측정 대상자 사이의 거리(D)보다 긴 경우, 제어부(250)는 가상의 기준점이 측정 대상자의 내부에 위치하는 것으로 판단하고, 제어부(250)는 대응되는 가상 단면에 대한 증강현실 영상을 사용자 단말기(200)에 의해 촬영되는 영상에 겹쳐서 제공한다(S260).
도 3은 도 2의 S260단계를 설명하기 위한 도면이고, 도 4는 도 3에 의해 제공되는 증강현실 영상을 나타낸 도면이다.
즉, 도 3에서 나타낸 것처럼, 사용자 단말기(200)와 가상의 기준점 사이의 거리(R)가 사용자 단말기(200)와 측정 대상자 사이의 거리(D)보다 긴 경우, 제어부(250)는 가상의 기준점이 측정 대상자의 신체 내부에 존재하는 것으로 판단한다.
그러면, 도 4에서 나타낸 것처럼, 제어부(250)는 가상의 기준점을 중심으로 하는 가상의 평면에 해당하는 측정 대상자의 뇌의 단면을 증강현실 형태로 제공한다.
이를 위하여, 제어부(250)는 의료영상 제공서버(100)로 가상의 기준점 및 사용자 단말기(200)의 3축 각도 정보를 제공한다.
그러면, 의료영상 제공서버(100)는 해당 가상의 기준점을 중심(0,0,0)으로 하고 사용자 단말기(200)의 3축 각도와 동일한 3축 각도로 설정된 증강현실영상을 제어부(250)로 전달한다.
즉, 의료영상 제공서버(100)는 제어부(250)로부터 수신한 가상의 기준점과 3축 각도 정보에 대응하는 단면 영상을 사용자 단말기(200)에 제공한다.
예를 들어, 사용자 단말기(200)가 x축을 기준으로 40도 기울어진 상태라고 가정하면, 의료영상 제공서버(100)는 기준점을 중심(0,0,0)으로 하고 x축 방향으로 40도 기울어진 평면에 해당하는 증강현실 영상을 제어부(250)에 제공한다.
따라서, 사용자 단말기(200)는 의료영상 제공서버(100)로부터 수신한 단면에 해당하는 증강현실 영상을 촬영부(220)에 의해 촬영된 영상에 겹쳐서 제공한다.
이때, 기준점의 위치가 동일하고, 사용자 단말기(200)의 자세가 변경되면, 제어부(250)는 해당 사용자 단말기(200)의 자세에 따라 사용자 단말기(200)와 동일한 3축 각도를 가지는 단면에 해당하는 증강현실 영상을 제공한다.
이와 반대로, 사용자 단말기(200)와 가상의 기준점 사이의 거리(R)가 사용자 단말기(200)와 측정 대상자 사이의 거리(D)보다 짧거나 같은 경우, 제어부(250)는 가상의 기준점이 측정 대상자의 외부에 위치하는 것으로 판단하고, 측정 대상자의 뇌 표면이나 장기 표면에 대응하는 증강현실 영상을 촬영부(220)에 의해 촬영되는 영상에 겹쳐서 제공한다(S270).
도 5는 도 2의 S270단계를 설명하기 위한 도면이고, 도 6a은 본 발명의 실시예에 따른 측정 대상자의 정면을 촬영했을 경우 제공되는 화면이고, 도 6b는 본 발명의 실시예에 따른 측정 대상자의 왼쪽 측면을 촬영했을 경우 제공되는 화면이다.
즉, 도 5에서 나타낸 것과 같이, 사용자 단말기(200)와 가상의 기준점과의 거리(R)가 사용자 단말기(200)와 측정 대상자 사이의 거리(D)보다 짧거나 같은 경우, 제어부(250)는 가상의 기준점이 측정 대상자의 신체 외부에 존재하는 것으로 판단한다.
만일, 사용자 단말기(200)의 현재 위치가 측정 대상자의 얼굴 정면을 향하고 있는 경우, 도 6a에서 나타낸 것처럼, 제어부(250)는 측정 대상자의 뇌의 전면부에 해당하는 증강현실 영상을 사용자 단말기(200)의 화면 상에 제공할 수 있다.
또한, 사용자 단말기(200)의 현재 위치가 측정 대상자의 얼굴의 좌측면을 향하고 있는 경우, 도 6b에서 나타낸 것처럼, 제어부(250)는 측정 대상자의 왼쪽 측면부에 해당하는 증강현실 영상을 사용자 단말기(200)의 화면 상에 제공할 수 있다.
이때, 제어부(250)는 촬영된 측정 대상자가 화면 상에 나타나는 크기에 따라 증강현실 영상을 축소 또는 확대하여 사용자 단말기(200)에 제공할 수 있다.
그리고, 사용자 단말기(200)를 통해 촬영된 영상에 측정 대상자가 존재하지 않는 경우, 제어부(250)는 사용자 단말기(200)를 통해 임의의 가상의 기준점을 지정받고, 가상의 기준점과 단말기와 가상의 기준점과의 거리, 가상의 평면 및 3축 각도에 따른 의료영상의 단면을 제공할 수 있다.
또한, 사용자 단말기(200)에 의해 촬영된 영상이 측정 대상자가 아닌 해부학 모형인 경우, 제어부(250)는 임의의 증강현실 영상을 사용자 단말기(200)의 화면 상에 제공할 수 있다.
이때, 제어부(250)는 임의의 측정 대상자의 증강현실 영상 또는 확인이 필요한 측정 대상자의 증강현실 영상을 사용자 단말기(200)의 화면상에 제공할 수 있다,
이와 같이 본 발명의 실시예에 따르면, 사용자 단말기와 측정 대상자 사이의 거리에 따라 측정 대상자의 신체 내부에 대한 증강현실 영상을 실시간으로 제공함으로써 수술전 시뮬레이션 및 의료 교육시 활용할 수 있다.
또한, 의료영상과 촬영된 깊이영상을 이용하기 때문에 기존의 마커를 이용하여 증강현실을 제공하는 방법보다 제작비용과 연산량을 감소시킬 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 의료영상 제공서버, 200: 사용자 단말기,
210: 제1 특징점 추출부, 220: 촬영부,
230: 제2 특징점 추출부, 240: 영상 정합부,
250: 제어부

Claims (10)

  1. 사용자 단말기를 이용한 증강현실 의료영상 제공 방법에 있어서,
    측정 대상자의 신체 일부에 대하여 촬영된 의료 영상을 의료영상 서버로부터 수신하여 3차원 영상을 재구성하고, 상기 재구성된 3차원 영상으로부터 특징점을 추출하는 단계,
    사용자 단말기에 장착된 깊이 카메라를 이용하여 상기 측정 대상자의 신체 일부를 촬영하고, 상기 촬영된 영상으로부터 상기 측정 대상자의 3차원 데이터를 획득하고, 상기 3차원 데이터로부터 특징점을 추출하는 단계,
    상기 3차원 영상으로부터 추출된 특징점과 상기 3차원 데이터로부터 추출된 특징점을 매칭시켜 정합하는 단계,
    상기 사용자 단말기로부터 수직 방향으로 일정 거리만큼 이격된 지점을 가상의 기준점으로 설정하고, 상기 기준점에 해당하는 3차원 좌표가 상기 측정 대상자의 신체 일부 내에 위치하는 경우, 해당되는 기준점에 대응하는 단면에 대한 증강현실 영상을 상기 깊이 카메라에 의해 촬영되는 영상에 겹쳐서 상기 사용자 단말기의 화면상에 제공하는 단계를 포함하는 증강현실 의료영상 제공 방법.
  2. 제1항에 있어서,
    상기 의료 영상은,
    CT, MRI, X-ray 또는 초음파 영상 중에서 적어도 하나를 포함하고,
    상기 증강현실 영상은,
    상기 재구성된 3차원 영상의 특징점과 상기 측정 대상자의 3차원 데이터로부터 추출된 특징점을 매칭시켜 합성된 영상인 증강현실 의료영상 제공 방법.
  3. 제2항에 있어서,
    상기 신체의 일부는 얼굴을 포함하며,
    상기 특징점은,
    상기 측정 대상자의 눈, 코 및 입 중에서 적어도 하나를 포함하는 증강현실 의료영상 제공 방법.
  4. 제1항에 있어서,
    상기 깊이 카메라에 의해 촬영되는 영상에 겹쳐서 제공하는 단계는,
    상기 사용자 단말기와 상기 측정 대상자 사이의 거리가 변화함에 따라, 상기 신체의 일부의 단면에 해당하는 증강현실 영상을 연속적으로 화면 상에 표시하여 제공하는 증강현실 의료영상 제공 방법.
  5. 제1항에 있어서,
    상기 사용자 단말기는 3축 지자기 센서를 포함하며,
    상기 사용자 단말기의 현재 위치 및 3축 각도에 대응하여, 상기 기준점을 중심으로 상기 사용자 단말기와 평행인 면에 대응하는 단면에 대한 증강현실 영상을 표시하는 증강현실 의료영상 제공 방법.
  6. 증강현실 의료영상을 제공하기 위한 사용자 단말기에 있어서,
    측정 대상자의 신체 일부에 대하여 촬영된 의료영상을 의료영상 서버로부터 수신하여 3차원 영상을 재구성하고, 상기 재구성된 3차원 영상으로부터 특징점을 추출하는 제1 특징점 추출부,
    깊이 카메라를 이용하여 상기 측정 대상자의 신체 일부를 촬영하기 위한 촬영부,
    상기 촬영된 영상으로부터 상기 측정 대상자의 3차원 데이터를 획득하고, 상기 3차원 데이터로부터 특징점을 추출하는 제2 특징점 추출부,
    상기 3차원 영상으로부터 추출된 특징점과 상기 3차원 데이터로부터 추출된 특징점을 매칭시켜 정합하는 영상 정합부, 그리고
    상기 사용자 단말기로부터 수직 방향으로 일정 거리만큼 이격된 지점을 가상의 기준점으로 설정하고, 상기 기준점에 해당하는 3차원 좌표가 상기 측정 대상자의 신체 일부 내에 위치하는 경우, 해당되는 기준점에 대응하는 단면에 대한 증강현실 영상을 상기 사용자 단말기에 의해 촬영되는 영상에 겹쳐서 제공하는 제어부를 포함하는 사용자 단말기.
  7. 제6항에 있어서,
    상기 의료 영상은,
    CT, MRI, X-ray 또는 초음파 영상 중에서 적어도 하나를 포함하고,
    상기 증강현실 영상은,
    상기 재구성된 3차원 영상의 특징점과 상기 측정 대상자의 3차원 데이터로부터 추출된 특징점을 매칭시켜 합성된 영상인 사용자 단말기.
  8. 제7항에 있어서,
    상기 신체의 일부는 얼굴을 포함하며,
    상기 특징점은,
    상기 측정 대상자의 눈, 코 및 입 중에서 적어도 하나를 포함하는 사용자 단말기.
  9. 제6항에 있어서,
    상기 제어부는,
    상기 사용자 단말기와 상기 측정 대상자 사이의 거리가 변화함에 따라, 상기 신체의 일부의 단면에 해당하는 증강현실 영상을 연속적으로 표시하여 제공하는 사용자 단말기.
  10. 제6항에 있어서,
    상기 3축 지자기 센서를 더 포함하며,
    상기 제어부는,
    상기 사용자 단말기의 현재 위치 및 3축 각도에 대응하여, 상기 기준점을 중심으로 상기 사용자 단말기와 평행인 면에 대응하는 단면에 대한 증강현실 영상을 표시하는 사용자 단말기.
KR1020200099686A 2020-08-10 2020-08-10 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법 KR102476832B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200099686A KR102476832B1 (ko) 2020-08-10 2020-08-10 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
PCT/KR2021/010119 WO2022035110A1 (ko) 2020-08-10 2021-08-03 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
KR1020220163625A KR102582154B1 (ko) 2020-08-10 2022-11-30 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200099686A KR102476832B1 (ko) 2020-08-10 2020-08-10 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220163625A Division KR102582154B1 (ko) 2020-08-10 2022-11-30 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법

Publications (2)

Publication Number Publication Date
KR20220019353A true KR20220019353A (ko) 2022-02-17
KR102476832B1 KR102476832B1 (ko) 2022-12-13

Family

ID=80247125

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200099686A KR102476832B1 (ko) 2020-08-10 2020-08-10 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
KR1020220163625A KR102582154B1 (ko) 2020-08-10 2022-11-30 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220163625A KR102582154B1 (ko) 2020-08-10 2022-11-30 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법

Country Status (2)

Country Link
KR (2) KR102476832B1 (ko)
WO (1) WO2022035110A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229415A1 (ko) * 2022-05-27 2023-11-30 고려대학교 산학협력단 Ar 영상 제공 방법 및 ar 영상 제공 장치
WO2024101685A1 (ko) * 2022-11-10 2024-05-16 재단법인 아산사회복지재단 증강현실을 이용한 이미지 정합 기반 의료영상 생성장치 및 이의 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240045491A1 (en) * 2022-08-05 2024-02-08 Alexander Sourov Medical image overlays for augmented reality experiences

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030414A (ko) * 2017-09-14 2019-03-22 울산대학교 산학협력단 의료 장치
KR102082290B1 (ko) * 2017-12-06 2020-02-27 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102039948B1 (ko) * 2017-08-16 2019-11-04 연세대학교 원주산학협력단 증강현실이나 가상현실에 기초하여 가상의 인체 장기를 렌더링하는 이동 단말기 및 이를 이용하는 시스템
KR102056930B1 (ko) * 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
EP3689287B1 (en) * 2019-01-30 2022-07-27 DENTSPLY SIRONA Inc. System for proposing and visualizing dental treatments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030414A (ko) * 2017-09-14 2019-03-22 울산대학교 산학협력단 의료 장치
KR102082290B1 (ko) * 2017-12-06 2020-02-27 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229415A1 (ko) * 2022-05-27 2023-11-30 고려대학교 산학협력단 Ar 영상 제공 방법 및 ar 영상 제공 장치
WO2024101685A1 (ko) * 2022-11-10 2024-05-16 재단법인 아산사회복지재단 증강현실을 이용한 이미지 정합 기반 의료영상 생성장치 및 이의 동작 방법

Also Published As

Publication number Publication date
WO2022035110A1 (ko) 2022-02-17
KR20220164463A (ko) 2022-12-13
KR102582154B1 (ko) 2023-09-22
KR102476832B1 (ko) 2022-12-13

Similar Documents

Publication Publication Date Title
KR102582154B1 (ko) 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
JP6698824B2 (ja) 画像表示制御装置および方法並びにプログラム
JP2020516003A (ja) 三次元データによる患者のリアルタイムビューの拡張
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
CA2003497C (en) Probe-correlated viewing of anatomical image data
CN110709894B (zh) 用于增强深度感知的虚拟阴影
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
KR20200097747A (ko) 시술 중 시각화를 지원하는 시스템 및 방법
EP2438880A1 (en) Image projection system for projecting image on the surface of an object
CN111297501B (zh) 一种口腔种植手术增强现实导航方法和系统
Heinrich et al. Comparison of augmented reality display techniques to support medical needle insertion
KR101993384B1 (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
CN111839727A (zh) 基于增强现实的前列腺粒子植入路径可视化方法及系统
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
Zhang et al. 3D augmented reality based orthopaedic interventions
JP4736040B2 (ja) 人体内部情報投影システム
JP6795744B2 (ja) 医療支援方法および医療支援装置
KR20220020634A (ko) 피부 마커를 이용한 손목 관절경 수술의 증강현실 네비게이션 시스템 및 그 방법
KR101923927B1 (ko) 사용자 신체 맞춤형 트래커를 이용한 영상 정합 시스템 및 방법
CN112955073A (zh) 患者观察系统
KR101635731B1 (ko) 사람의 체내 구조물을 가시화하는 가시화 시스템 및 방법
KR102443956B1 (ko) 확장현실 기반의 침술 시스템 및 그 방법
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
A107 Divisional application of patent
GRNT Written decision to grant