KR20190116601A - Ar 기반 저작도구를 이용한 외과 수술 교육 시스템 - Google Patents

Ar 기반 저작도구를 이용한 외과 수술 교육 시스템 Download PDF

Info

Publication number
KR20190116601A
KR20190116601A KR1020180038893A KR20180038893A KR20190116601A KR 20190116601 A KR20190116601 A KR 20190116601A KR 1020180038893 A KR1020180038893 A KR 1020180038893A KR 20180038893 A KR20180038893 A KR 20180038893A KR 20190116601 A KR20190116601 A KR 20190116601A
Authority
KR
South Korea
Prior art keywords
authoring tool
unit
augmented
image
surgical
Prior art date
Application number
KR1020180038893A
Other languages
English (en)
Other versions
KR102085374B1 (ko
Inventor
장용석
육창근
Original Assignee
(주)다울디엔에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)다울디엔에스 filed Critical (주)다울디엔에스
Priority to KR1020180038893A priority Critical patent/KR102085374B1/ko
Publication of KR20190116601A publication Critical patent/KR20190116601A/ko
Application granted granted Critical
Publication of KR102085374B1 publication Critical patent/KR102085374B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

본 발명에 의한 AR 기반 저작도구를 이용한 외과 수술 교육 시스템은, 가상 수술용 저작도구를 생성하는 저작도구 생성부; 실제 영상을 획득하는 카메라; 및 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부를 포함할 수 있다.
본 발명에 의한 AR 기반 저작도구를 이용한 외과 수술 교육 시스템은, 마커가 삭제된 실제영상에 별도로 생성되는 저작도구를 병합하여 외과 수술 등 인체를 대상으로 하여 실습용 및 교육용으로 증강현실을 적용할 수 있어 시간 및 작업비용이 절감될 수 있고 교육용 외과 수술 등에 적용하기에 적합할 수 있다.

Description

AR 기반 저작도구를 이용한 외과 수술 교육 시스템{TRAINING SYSTEM OF A SURGICAL OPERATION USING AUTHORING TOOL BASED ON AUGMENTED REALITY}
본 발명은 AR 기반 저작도구를 이용한 외과 수술 교육 시스템에 관한 것으로, 보다 상세하게는 사용자의 시선 이동에 따라 대응되는 부위의 가상 영상이 실시간으로 디스플레이되는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템에 관한 것이다.
증강현실(Augmented Reality) 또는 AR 기술은 컴퓨터에서 생성한 컴퓨터그래픽(컴퓨터 가상영상)을 실제영상과 함께 보여주며 여러 가지 정보를 제공할 수 있다.
일반적인 실사영상 이외에도 컴퓨터 등으로 생성되는 컴퓨터 가상영상은 일반적인 영상형태 이외에도 피사체에 대한 텍스트 정보 등 비영상적 정보가 피사체의 위치에 정합된 영상을 포함하는 다양한 영상정보로 구성할 수 있다.
증강현실을 구현하기 위해서는 가상영상과 실사영상의 정합이 필수적이다. 즉, 증강현실을 구현하기 위해서는 공간적으로 실사영상과 정확하게 겹치는 가상영상을 생성하는 것이 필수적이며, 이를 위해 실사영상에 마커 등을 부착하여 뽑은 마커영상을 추출하는 작업과, 실사영상과 컴퓨터 가상영상이 동일한 공간 좌표계에서 정합될 수 있는 공간정보가 필요하다. 또한, 실사영상에 전술한 공간정보를 기초로 한 3차원 컴퓨터그래픽을 생성하여야 한다.
한편, 컴퓨터를 사용할 수 있는 일반 사용자들에게 영상이나 애니메이션, 그래픽 등을 손쉽게 만들어 시간 공간적으로 서로 연결함으로써 하나의 컴퓨터 화면에 다양한 형태의 것들을 출력할 수 있도록 해주는 프로그램을 저작도구라 칭한다. 이러한 저작 도구는 외부에서 제작된 각종 미디어 파일들을 불러들여 적절한 위치나 시점에서 재생하는데, 저작 도구의 주요 기능은 다양한 미디어 파일 등과의 유연한 연결을 제공하는 사용자 인터페이스 기능 등을 갖고 있다.
그러나, 외과 수술 등 인체를 대상으로 하여 실습용 및 교육용으로 증강현실을 적용하려고 할때, 전술한 바대로 증강현실을 실사영상의 마커를 포함한 실제영상정보와 공간정보에 기초한 3차원 그래픽을 생성하고 실시간으로 처리하기에는 막대한 시간 및 작업비용이 소요될 수 밖에 없어 교육용 외과 수술 등에 적용하기에 상당한 진입장벽이 되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 마커가 삭제된 실제영상에 별도로 생성되는 저작도구를 병합하여 외과 수술 등 인체를 대상으로 하여 실습용 및 교육용으로 증강현실을 적용할 수 있어 시간 및 작업비용이 절감될 수 있고 교육용 외과 수술 등에 적용하기에 적합할 수 있는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템을 제공한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 AR 기반 저작도구를 이용한 외과 수술 교육 시스템은, 가상 수술용 저작도구를 생성하는 저작도구 생성부; 실제 영상을 획득하는 카메라; 및 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부를 포함할 수 있다.
상기 저작도구 생성부는, 서버로부터 수신한 증강환부 오브젝트로부터 메타데이터를 로딩 및 파싱하는 로딩 및 파싱부; 및 객체기반의 외과 수술용 증강콘텐츠 오브젝트를 렌더링하고 인터렉션을 설정하는 콘텐츠 설정부를 포함할 수 있다.
상기 로딩 및 파싱부와 상기 콘텐츠 설정부를 통해 생성되는 상기 증강환부 오브젝트와 증강콘텐츠 오브젝트는, 360도 상의 가상공간에 구현될 수 있다.
상기 증강현실 영상 생성부는 상기 실제영상에 상기 증강환부 오브젝트와 증강콘텐츠 오브젝트를 중첩시킬 수 있다.
상기 증강현실 영상 생성부의 출력신호를 출력하는 출력부를 더 포함할 수 있다.
상기 출력부는 HMD(Head Mounted Display) 또는 스마트 글래스 중 선택된 어느 하나이며, 상기 출력부에 상기 카메라가 부착될 수 있다.
본 발명에 의한 AR 기반 저작도구를 이용한 외과 수술 교육 시스템은, 마커가 삭제된 실제영상에 별도로 생성되는 저작도구를 병합하여 외과 수술 등 인체를 대상으로 하여 실습용 및 교육용으로 증강현실을 적용할 수 있어 시간 및 작업비용이 절감될 수 있고 교육용 외과 수술 등에 적용하기에 적합할 수 있다.
도 1은 본 발명의 실시예에 따른 AR 기반 저작도구를 이용한 외과 수술 교육 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 AR 기반 저작도구를 이용한 외과 수술 교육 시스템에서 저작도구 생성부를 통하여 360 도의 가상공간을 생성하는 작업을 예시하는 도면이다.
도 3은 본 발명의 실시예에 따른 AR 기반 저작도구를 이용한 외과 수술 교육 시스템의 저작도구 생성부에서 증강환부 오브젝트를 생성하는 작업을 예시하는 도면이다.
도 4는 본 발명의 실시예에 따른 AR 기반 저작도구를 이용한 외과 수술 교육 시스템에서 저작도구를 사용하여 증강콘텐츠 오브젝트를 생성한 다음, 증강현실 영상 생성부를 통하여 스마트 글래스에 구현되는 상태를 개략적으로 도시한 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 참고로, 본 발명을 설명하는데 참조하는 도면에 도시된 구성요소의 크기, 선의 두께 등은 이해의 편의상 다소 과장되게 표현되어 있을 수 있다. 또, 본 발명의 설명에 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의한 것이므로 사용자, 운용자 의도, 관례 등에 따라 달라질 수 있다. 따라서, 이 용어에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내리는 것이 마땅하다.
그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
또한, 본 명세서에 있어서 '부'란 하드웨어에 의해 실현되는 유닛, 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서, 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
도 1은 본 발명의 실시예에 따른 AR 기반 저작도구를 이용한 외과 수술 교육 시스템의 블록도이다.
본 발명에 따른 AR 기반 저작도구를 이용한 외과 수술 교육 시스템은 도 1 내지 도 4를 참조하면, 가상 수술용 저작도구를 생성하는 저작도구 생성부(100); 실제 영상을 획득하는 카메라(200); 및 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부(300)와, 상기 증강현실 영상 생성부(300)의 출력신호를 출력하는 출력부(400)를 포함할 수 있다.
상기 저작도구 생성부(100)는 주로 도 1 및 도 2를 참조하면, 서버로부터 수신한 증강환부 오브젝트로부터 메타데이터를 로딩 및 파싱하는 로딩 및 파싱부(110); 및 객체기반의 외과 수술용 증강콘텐츠 오브젝트를 렌더링하고 인터렉션을 설정하는 콘텐츠 설정부(120)를 포함할 수 있다.
로딩 및 파싱부(110)는 주로 도 3을 참조하면, 별도로 마련되는 서버로부터 증강환부 오브젝트를 수신할 수 있다. 예컨대, 피시술자의 환부나, 피시술자의 스켈레톤 집합 등이 대상이 될 수 있다.
수신된 증강환부 오브젝트로부터 메타데이터를 로딩 및 파싱할 수 있다. 이러한 상기 로딩 및 파싱부(110)를 통해 생성되는 상기 증강환부 오브젝트는 도 2에 도시된 바와 같이, 별도 영상이 없이, 360도 상의 가상공간에 구현될 수 있다.
한편, 저작 툴을 이용하여 증강현실에 사용될 저작도구가 콘텐츠화될 수 있다.
객체기반의 외과 수술용 증강콘텐츠 오브젝트는 도 4를 참조하면, 외부에서 제작된 각종 미디어 파일들을 불러들여 적절한 위치나 시점에서 재생 가능할 수 있다. 즉, 수술실 내에서 사용될 수 있는 여러 가지 도구(수술도구 등)를 구현할 수 있다. 이러한 구현 작업은 전술한 도 2에서처럼 360도의 가상공간 상에 재생될 수 있다.
또한, 큰 비용없이, 증강콘텐츠 오브젝트를 렌더링하고 인터렉션을 설정가능할 수 있다. 이는, 저작 도구의 주요 기능은 다양한 미디어 파일 등과의 유연한 연결을 제공하는 사용자 인터페이스 기능을 가지므로, 실제영상에 적용 시 시간 및 작업비용이 절감될 수 있고 교육용 외과 수술 등에 적용하기에 적합할 수 있다.
상기 증강현실 영상 생성부(300)는 상기 실제영상에 저작도구 생성부(100)를 통해 구현된 상기 증강환부 오브젝트와 증강콘텐츠 오브젝트를 재생시켜, 실제영상 상에 다양한 여러 가지 컨텐츠(예컨대, 수술실 내의 가위나, 메스, 석션장치 등)를 중첩시킬 수 있다. 또한, 증강환부 오브젝트(환자의 환부, 또는 환자의 몸. 환자의 뼈 등)에 상기 여러 가지 컨텐츠를 재생시켜 실습용으로 동작될 수 있다.
한편, 상기 증강현실 영상 생성부(300)의 출력신호를 출력하는 출력부(400)가 마련될 수 있다.
상기 출력부(400)는 HMD(Head Mounted Display) 또는 스마트 글래스(410) 중 선택된 어느 하나로 마련될 수 있다.
즉, 도 4에 도시된 바와 같이, 카메라(200)에서 실제영상 상에, 증강환부 오브젝트를 구현하고, 360도 상에 구현된 증강콘텐츠 오브젝트를 병합한 상태를, 스마트 글래스(410)를 통해 출력될 수 있다.
예컨대, 모의 수술 상황을 구현할 수 있는데, 수술실 내에서 환자의 환부를 올려놓고, 여러 가지 도구(수술도구 등)를 재생시켜, 환자의 환부를 돌려본다던지, 도구를 클릭을 해서 상호작용을 한다던지 등의 교육 용도로 활용할 수 있다. 스마트 글래스(410)를 통해서 실제 수술실 공간을 확인하는 한편, 전술한 증강현실 영상 생성부(300)를 거친 증강환부 오브젝트와 증강콘텐츠 오브젝트를 병합하여 실제 공간에 나타나게 할 수 있다. 이른바, 시스루(see through) 기법이라 할 수 있다.
이로써, 마커가 삭제된 실제영상에 별도로 생성되는 저작도구를 병합하여 외과 수술 등 인체를 대상으로 하여 실습용 및 교육용으로 증강현실을 적용할 수 있어 시간 및 작업비용이 절감될 수 있고 교육용 외과 수술 등에 적용하기에 적합할 수 있다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
100 : 저작도구 생성부 110 : 로딩 및 파싱부
120 : 콘텐츠 설정부 200 : 카메라
300 : 증강현실 영상 생성부 400 : 출력부
410 : 스마트 글래스

Claims (6)

  1. 가상 수술용 저작도구를 생성하는 저작도구 생성부(100);
    실제 영상을 획득하는 카메라(200); 및
    상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부(300)를 포함하는 것을 특징으로 하는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템.
  2. 제1항에 있어서,
    상기 저작도구 생성부(100)는,
    서버로부터 수신한 증강환부 오브젝트로부터 메타데이터를 로딩 및 파싱하는 로딩 및 파싱부(110); 및
    객체기반의 외과 수술용 증강콘텐츠 오브젝트를 렌더링하고 인터렉션을 설정하는 콘텐츠 설정부(120)를 포함하는 것을 특징으로 하는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템.
  3. 제2항에 있어서,
    상기 로딩 및 파싱부(110)와 상기 콘텐츠 설정부(120)를 통한 상기 증환부 오브젝트와 증강콘텐츠 오브젝트를 생성하기 전에, 영상이 없는 360도 상의 가상공간이 구현되는 것을 특징으로 하는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템.
  4. 제3항에 있어서,
    상기 증강현실 영상 생성부(300)는 상기 실제영상에 상기 증강환부 오브젝트와 증강콘텐츠 오브젝트를 시스루(see through) 방식으로 중첩시키는 것을 특징으로 하는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템.
  5. 제4항에 있어서,
    상기 증강현실 영상 생성부(300)의 출력신호를 출력하는 출력부(400)를 더 포함하는 것을 특징으로 하는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템.
  6. 제5항에 있어서,
    상기 출력부(400)는 HMD(Head Mounted Display) 또는 스마트 글래스(410) 중 선택된 어느 하나이며,
    상기 출력부(400)에 상기 카메라(200)가 부착되는 것을 특징으로 하는 AR 기반 저작도구를 이용한 외과 수술 교육 시스템.
KR1020180038893A 2018-04-03 2018-04-03 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템 KR102085374B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180038893A KR102085374B1 (ko) 2018-04-03 2018-04-03 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180038893A KR102085374B1 (ko) 2018-04-03 2018-04-03 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템

Publications (2)

Publication Number Publication Date
KR20190116601A true KR20190116601A (ko) 2019-10-15
KR102085374B1 KR102085374B1 (ko) 2020-03-06

Family

ID=68209476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180038893A KR102085374B1 (ko) 2018-04-03 2018-04-03 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템

Country Status (1)

Country Link
KR (1) KR102085374B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767766A (zh) * 2021-01-22 2021-05-07 郑州捷安高科股份有限公司 增强现实界面训练方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396104B1 (ko) 2020-11-16 2022-05-11 아주통신주식회사 Ar 융복합 한의학 교육 장치
KR20240007514A (ko) 2022-07-08 2024-01-16 주식회사 이앤에프코리아 Ar 기반의 사용자 맞춤 의학 콘텐츠 제공 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120044461A (ko) * 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR20160102464A (ko) * 2013-12-20 2016-08-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120044461A (ko) * 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR20160102464A (ko) * 2013-12-20 2016-08-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767766A (zh) * 2021-01-22 2021-05-07 郑州捷安高科股份有限公司 增强现实界面训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102085374B1 (ko) 2020-03-06

Similar Documents

Publication Publication Date Title
US10929656B2 (en) Method and system of hand segmentation and overlay using depth data
Huber et al. Highly immersive virtual reality laparoscopy simulation: development and future aspects
CN109564471B (zh) 具有主/次交互特征的分布式交互医学可视化系统
EP2568355A2 (en) Combined stereo camera and stereo display interaction
US8520027B2 (en) Method and system of see-through console overlay
Sielhorst et al. An augmented reality delivery simulator for medical training
Liarokapis et al. Multimedia augmented reality interface for e-learning (MARIE)
Olsson et al. A haptics-assisted cranio-maxillofacial surgery planning system for restoring skeletal anatomy in complex trauma cases
US20140176661A1 (en) System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
KR102085374B1 (ko) Ar 기반 저작도구를 이용한 외과 수술 교육 시스템
Cosco et al. Visuo-haptic mixed reality with unobstructed tool-hand integration
NL2022371B1 (en) Method and assembly for spatial mapping of a model of a surgical tool onto a spatial location of the surgical tool, as well as a surgical tool
JP2010257081A (ja) 画像処理方法及び画像処理装置
Rolim et al. [POSTER] design guidelines for generating augmented reality instructions
Liarokapis et al. Augmented reality interface toolkit
Arnaldi et al. New applications
Quarles et al. A mixed reality approach for interactively blending dynamic models with corresponding physical phenomena
KR102197627B1 (ko) Ar 수술 응용시스템 기반 지식베이스 저작 시스템
JP2006343954A (ja) 画像処理方法、画像処理装置
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
Avis Virtual environment technologies
Tuladhar et al. A recent review and a taxonomy for hard and soft tissue visualization‐based mixed reality
Rasool et al. Image-driven haptic simulation of arthroscopic surgery
CN115547129B (zh) 一种心脏三维可视化的ar实现系统与方法
Guo et al. A portable immersive surgery training system using RGB-D sensors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right