KR102458495B1

KR102458495B1 - 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법

Info

Publication number: KR102458495B1
Application number: KR1020220033110A
Authority: KR
Inventors: 김성훈; 박소연; 정윤상
Original assignee: 주식회사 메디씽큐
Priority date: 2022-03-17
Filing date: 2022-03-17
Publication date: 2022-10-25
Also published as: WO2023177003A1

Abstract

본 발명은 원격협진지원을 위한 3차원 포인팅시스템에 관한 것이다. 보다 구체적으로, 3차원 포인팅시스템은 실제 수술현장에서 집도의가 착용하되, 상기 착용한 집도의의 시선 응시영역 및 주변영역을 촬영하는 카메라 및 상기 카메라에 의해 촬영되는 실시간 영상을 출력하는 디스플레이부를 포함하는 제1 HMD, 상기 집도의로부터 원격에 위치하는 협진의가 착용하며, 상기 실시간 영상을 수신하여 출력하고, 수신되는 제어신호에 따라 상기 실시간 영상에 가상선 및 3차원 포인터를 생성하는 제2 HMD, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 포인팅 이동수단 및 상기 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 원격협진 지원서버를 포함한다.

Description

원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법{A 3-DIMENSIONAL POINTING SYSTEM AND CONTROL METHOD FOR PROVIDING REMOTE COLLABORATIVE TREATMENT}

본 발명은 원격협진지원을 위한 3차원 포인팅시스템에 관한 것으로, 원격에 위치하는 협진의에게 실제 수술현장의 설치된 각 카메라의 촬영시야에 대응되는 실시간영상을 제공하여 실제 수술현장 분위기를 제공하고, 협진 제안 및 공유를 위해 실시간 영상의 특정위치를 3차원 포인팅 할 수 있는 원격협진지원을 위한 3차원 포인팅시스템에 관한 것이다.

최근 가상현실 또는 증강현실에 관련 기술이 비약적으로 발전하여 다양한 분야에 활용됨에 따라, 의료 분야에서도 환자들에 대한 수술 장면을 가상현실 또는 증강현실 화면으로 구성하여 의사들이 실시간으로 원격 수술을 진행하는 기술들이 개발되고 있다.

병원들은 환자의 증상이나 질병에 따라 다양한 전문의의 협진이 필요한 경우가 많은데, 이러한 증강현실 또는 가상현실을 활용한 원격 진단 또는 수술 기술을 활용하는 경우, 전문의가 물리적으로 수술 장소까지 오지 않고도 협진을 통한 수술을 진행할 수 있다. 따라서, 관련된 원격 협진 기술의 개발도 한창 진행되고 있다.

그러나, 원격 협진으로 수술이 진행된 경우 수술 영상에서 협진에 따른 내용을 파악하는데 어려움이 있거나, 또는 원격 협진을 통한 수술이 문제가 발생했을 경우에 책임소재가 불분명해지는 상황이 발생할 수 있다. 또한, 원격 협진 시 협진의에게 수술현장의 분위기가 실시간 그대로 재현하여 제공되지 않을 수 있고, 협진 제안 시 정확한 수술 부위가 집도의와 공유되지 않을 수도 있다. 특히, 환자의 환부를 가리킬 때 신체 내부의 포인팅에 어려움이 있을 수 있다. 이에, 협진의가 집도의와 공유하는 실시간 수술영상에서 3차원적으로 포인팅할 수 있는 방안이 요구된다.

한편, 위와 같은 원격 협진에 의하여 촬영된 수술 영상들은 향후 의학 관련 학회에서 발표하거나 의사 교육 또는 수술 노하우 전수 등의 다양한 용도로 활용될 수 있다. 이 경우, 수술 영상에 다양한 의료 정보, 수술 당시의 다양한 상황에 대한 정보들이 추가되는 경우에는 수술 영상의 자산 가치가 높아지게 될 것이다. 많은 병원에서는 수술 영상에 대한 많은 수요들이 있는데, 이와 같은 영상들을 안정적으로 거래할 수 있는 시스템은 현재로서는 없는 상황이다.

따라서, 상술한 문제점들을 해결할 수 있는 원격 협진 기술 및 수술 영상 생성 및 거래 플랫폼의 개발이 절실히 요청되고 있다.

한국 공개특허 제10-2020-0001266호(2020.01.06.공개)

본 발명이 해결하고자 하는 기술적 과제는, 원격에 위치하는 협진의에게 실제 수술현장의 설치된 각 카메라의 촬영시야에 대응되는 실시간영상을 제공하여 실제 수술현장 분위기를 제공하고, 협진 제안 및 공유를 위해 실시간 영상의 특정위치를 3차원 포인팅 할 수 있는 원격협진지원을 위한 3차원 포인팅시스템 및 3차원 포인팅 제어방법을 제공하는데 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 원격협진지원을 위한 3차원 포인팅시스템은, 실제 수술현장에서 집도의가 착용하되, 상기 착용한 집도의의 시선 응시영역 및 주변영역을 촬영하는 카메라 및 상기 카메라에 의해 촬영되는 실시간 영상을 출력하는 디스플레이부를 포함하는 제1 HMD, 상기 집도의로부터 원격에 위치하는 협진의가 착용하며, 상기 실시간 영상을 수신하여 출력하고, 수신되는 제어신호에 따라 상기 실시간 영상에 가상선 및 3차원 포인터를 생성하는 제2 HMD, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 포인팅 이동수단 및 상기 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 원격협진 지원서버를 포함할 수 있다.

또한, 상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향 측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 방향 선택수단을 더 포함할 수 있다.

또한, 상기 환자의 환부 세그먼트 영역은, 상기 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정될 수 있다.

또한, 상기 환자의 환부 세그먼트 영역은, 인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 구분될 수 있다.

또한, 상기 환자의 환부 세그먼트 영역은, 해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 상기 집도의와 협진의의 시점에서 관찰되는 환부 영역간의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분될 수 있다.

또한, 상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함할 수 있다. 이때, 상기 제2 HMD는, 상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드를 제공할 수 있다.

또한, 상기 포인팅수단 및 방향선택수단은, 상기 시야고정모드에서 상기 3차원 포인터의 이동을 제어할 수 있다.

또한, 본 발명의 일 실시 예에 따른 원격협진지원을 위한 3차원 포인팅방법은, (a) 실제 수술현장에서 집도의가 착용하는 제1 HMD가, 상기 집도의의 시선 응시영역 및 주변영역을 촬영하여 디스플레이부에 실시간 영상을 출력하는 단계, (b) 상기 집도의로부터 원격에 위치하는 협진의가 착용하는 제2 HMD가, 서버를 통해 상기 실시간 영상을 수신하여 출력하는 단계, (c) 포인팅 이동수단이, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 실시간 영상에 가상선 및 3차원 포인터를 생성시키는 단계, (d) 포인팅 이동수단이, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 단계 및 (e) 상기 서버가, 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 단계를 포함할 수 있다.

또한, (f) 상기 서버가, 방향 선택수단을 통해 상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 단계를 더 포함할 수 있다.

또한, 상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함하고, 상기 제2 HMD는, 상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드를 제공할 수 있다.

또한, 상기 (c) 내지 (f)단계는, 시야고정모드에서 수행될 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시 예들에 따른, 실시간 수술영상 태깅이 가능한 원격 협진 지원시스템은 실시간 수술시 원격 협진을 지원하고, 실시간 수술시 발생되는 협진 제안 등의 이벤트를 실시간 영상에 태깅하여 수술영상을 저장하여 활용할 수 있다.

특히, 실시간 수술 중 협진의에 의한 협진 제안이 발생될 때, 집도의의 수락여부에 따라 책임주체정보를 실시간영상에 태깅함으로써 의료사고시 책임소재 판별에 이용할 수 있다.

또한, 원격에 위치하는 협진의의 HMD를 통해, 실제 수술현장의 각 카메라 기준의 촬영 시야를 시야고정모드로 제공하여 증강현실감을 더하고, 시야고정해지모드를 제공하여 협진의가 독립적으로 수술현황을 파악할 수도 있다.

또한, 협진 제안시 실시간영상에 3차원포인팅할 수 있는 3차원포인팅시스템을 통해, 협진의는 협진시 필요한 환자의 환부 즉 신체내부를 3차원포인팅할 수 있고, 해당 환부에 대한 의료영상을 집도의와 공유할 수 있다.

또한, 태그정보를 블록체인 원장에 기록하고, 태그를 포함하는 수술영상에 NFT기반 소유권을 부여하여 사용 및 거래를 중개함으로써, 투명하고 신뢰성있는 거래를 중개할 수 있고, 거래 수익을 분배할 수 있다.

또한, AI기반 추천을 통해 사용자(집도의, 협진의, 보조1, 보조2, 교육훈련생)의 재생목적에 따른 최적의 수술영상 및 태그를 제공할 수 있고, 수술영상의 활용도를 높일 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 원격 협진 지원시스템을 설명하기 위한 도면이다.
도 2는 도 1의 HMD의 구성을 설명하기 위한 블록도이다.
도 3은 도 1의 원격협진 지원서버의 구성을 설명하기 위한 구성 블록도이다.
도 4 및 도 5는 도 1의 제2 HMD의 원격협진을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 3차원 포인팅시스템의 구성을 설명하기 위한 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 3차원 포인팅제어방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 제1 실시 예에 따른 제2 HMD의 컨트롤 기기를 설명하기 위한 도면이다.
도 9는 본 발명의 제2 실시 예에 따른 제2 HMD의 컨트롤 기기를 설명하기 위한 도면이다.
도 10은 본 발명의 제3 실시 예에 따른 제2 HMD의 컨트롤 기기를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 태그 구간 설정을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 협진 제안을 수신한 제1HMD의 디스플레이 화면을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 제안책임 및 제안수락책임에 따른 인증을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 협진 제안을 위한 미리보기 윈도우를 설명하기 위한 도면이다.
도 15는 도 1의 영상 중개 서버의 구성을 설명하기 위한 블록도이다.
도 16은 원격 협진 지원시스템의 블록체인 구조를 설명하기 위한 도면이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 이하의 설명에서 제1, 제2 등과 같은 서수식 표현은 서로 동등하고 독립된 객체를 설명하기 위한 것이며, 그 순서에 주(main)/부(sub) 또는 주(master)/종(slave)의 의미는 없는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 발명의 일 실시 예에 따른 원격 협진 지원시스템은, 실제 수술현장에서 실시간 수술이 집도의에 의해 진행될 때, 원격에 위치하는 협진의에 의한 원격 협진을 지원할 수 있는 시스템에 관한 것이다.

이때, 실시간 수술 및 협진에 대한 책임소재의 판별이 필요하며, 본 발명에서는 실시간 촬영되는 실시간 수술영상에 협진 제안에 대한 책임소재 판별을 위한 태그를 태깅하는 방식을 통해 의료사고시 책임소재 판별에 이용할 수 있다.

또한, 본 발명의 원격 협진 지원시스템은, 원격에 위치하는 협진의에게 실제 수술현장 분위기를 제공하기 위해 실시간 영상에 기반한 실제 수술현장에 대응되는 AR 영상을 제공하고, 제안 및 공유를 위해 실시간 영상의 특정위치를 3차원 포인팅 가능한 3차원포인팅시스템을 구성할 수도 있다.

또한, 본 발명의 원격 협진 지원시스템은, 실시간 수술시 촬영되는 영상에 태그를 태깅한 수술영상의 활용(집도의, 협진의 및 교육/훈련생의 목적에 따른 활용) 및 활용에 따른 수익구조를 위한 영상중개시스템으로 구성될 수도 있다.

이에 대한 구체적인 설명은 도 1 내지 도 14를 참고하여 설명하도록 한다.

도 1은 본 발명의 원격 협진 지원시스템을 설명하기 위한 도면이다.

원격협진 지원시스템은 집도의(10)가 착용하는 제1 HMD(100) 및 원격에 위치하는 협진의(20)가 착용하는 제2 HMD(200)로 구현될 수 있으며, 원격협진지원을 위한 원격협진 지원서버(1000), DB(2000), AI기반 추천서버(3000) 및 영상중개서버(4000)를 포함할 수 있다.

또한, 실제 수술현장(1)에서 실시간 수술에 대한 원격 협진 지원을 위해, 복수 개의 카메라를 구비하여 실시간 수술을 촬영하여 녹화영상을 원격에 위치하는 협진의와 공유할 수 있다.

구체적으로, 실제 수술현장(1)에는 CCTV(2)가 설치되고, 실제 수술현장(1)의 생생한 3차원 영상 제공을 위해 복수의 보조(11,12)가 착용하는 제3 HMD(100-1, 100-2), 환자(30)가 착용하는 제4 HMD(300), 수술현장(1)의 천장에 설치되는 카메라(400)를 더 포함할 수도 있다.

천장에 설치되는 카메라(400)는 촬영되는 최초 실시간 영상에서 객체별 좌표를 지정하여 최초 위치를 파악하고, 실시간 수술 중 집도의(10)가 착용한 제1HMD(100), 보조 1(11) 및 보조 2(12)가 착용한 제3 HMD(100-1, 100-2)의 위치를 파악하여 이동추적을 할 수 있다. 이외에 천장카메라(400)에 의해 촬영되는 수술 도구 등의 모든 객체에 대해, 이동을 추적할 수 있다.

도 2는 도 1의 HMD의 구성을 설명하기 위한 블록도이다. 도 2를 참고하면, 각 HMD(100, 100-1, 100-2, 200, 300, 500)는 카메라, 디스플레이부, 입력부, 제어부, 통신부를 각각 구비할 수 있으며, 이에 더하여 스피커, 마이크 등을 더 구비할 수도 있다.

이때, 각 구성의 온/오프나 디스플레이부를 통해 제공되는 영상은 착용자에 따라 즉, 일 예로 집도의 모드, 보조 모드, 환자 모드, 교육 훈련 모드 등으로 설정된 착용자 모드에 따라 서로 다르게 적용되어 해당 착용자에게 필요한 기능한 제공될 수 있다. 또는 착용자별 HMD는 해당 모드에 따른 기능만 제공하는 별개의 HMD로 구성될 수도 있다.

이때, HMD의 카메라는 해당 HMD 전방에 구비되어 착용자의 시선 응시영역을 촬영하는 제1카메라와, 해당 HMD 양측에 각각 구비되어 착용자의 주변 영역을 촬영하는 제2카메라를 포함할 수 있다.

또한, 디스플레이부는 집도의 모드 및 보조 모드에서는 카메라에서 촬영되는 착용자의 시선 응시영역의 영상을 디스플레이하며, 협진의 모드에서는 실제 수술현장에서 촬영되는 각 카메라의 실시간 영상을 수신하여 디스플레이할 수 있다. 이외에, 환자 모드는 필요에 따라 정보를 제공할 수 있으며, 교육 훈련 모드는 선택된 재생영상을 디스플레이할 수 있다.

입력부는, HMD 제어 및 디스플레이되는 영상의 제어를 위한 제어신호를 입력받는 인터페이스 또는 센싱부 등이 될 수 있고, 제어부는 입력부를 통해 수신되는 제어신호에 따라 HMD를 제어하고, 통신부를 통해 외부 각 서버(1000 내지 4000)로부터 다양한 원격협진 지원을 받을 수 있다.

도 3은 원격협진 지원서버(1000)의 구성을 나타내는 블록도이다. 원격협진 지원서버(1000)는 협진 지원부(1100) 및 영상 태깅부(1200)를 포함할 수 있다. 이때, 각 구성은 별개의 모듈, 서버 등으로 구성될 수도 있다.

여기서, 원격협진 지원은 실시간 수술관련 협진 제안, 제안에 따른 책임소재 판별 및 각종 이벤트 발생시 실시간 촬영되는 영상에 태깅하는 영상태깅, 디스플레이되는 영상에 3차원적 포인팅제어, 태그를 포함하는 수술영상의 활용 및 활용에 대한 수익분배 등에 관한 것이 될 수 있다.

협진 지원부(1100)는 협진의가 원격 참여할 수 있도록, 수술실(1)에서 촬영되는 모든 카메라에서 출력되는 실시간영상들 수집하여, 제2 HMD(200)로 전송하여 원격 참여할 수 있게 한다.

이때, 협진의의 원격 참여를 위해서는, 협진의는 착용한 제2 HMD(200)를 통해 집도의와 독립적으로 수술실(1) 내 상황 파악이 가능해야 한다.

이에, 협진의가 착용한 제2 HMD(200)는 수술실(1) 내에 설치된 CCTV(2), 카메라(400), 집도의가 착용한 제1 HMD(100)의 카메라, 복수의 보조(11, 12)가 각각 착용한 제3 HMD(100-1, 100-2)의 카메라 간 촬영시야에 따른 실시간 영상을, 집도의의 선택에 따라 제공할 수 있다.

일 예로, 협진의가 착용한 제2 HMD(200)는 디스플레이부를 통해 협진의에 의해 선택된 실제 수술현장의 특정위치(일 예로, 도 5와 같이 집도의가 착용한 제1HMD(100)의 카메라)가 선택되면, 제1HMD(100)의 제1카메라 촬영시야로 촬영되는 실시간 영상이 제2 HMD(200)의 디스플레이부에 출력될 수 있다.

이때, 도 4 및 도 5와 같이, 협진의는 집도의 관점에서 동일 시야를 확보하게 되고, 시야 확보 이후에는 집도의와는 독립적으로 시선을 돌려 수술실(1) 내 상황을 파악할 수도 있다.

즉, 도 4에서 협진의가 보조1(11) 또는 보조2(12)의 방향으로 시선을 돌리는 경우, 집도의(10)가 착용한 제1HMD(100)의 양측에 구비된 제2카메라의 촬영시야에서 촬영된 실시간영상 중 협진의의 시선방향에 대응되는 특정 제2카메라에서 촬영되는 실시간 영상이 협진의(20)의 제2 HMD(200)를 통해 출력될 수 있다. 즉, 주변을 고정시키지 않아 집도의와는 독립적으로 시야를 옮길 수 있다(시야고정 해지모드).

이외에, 특정 카메라를 선택시에도 동일하게 독립적으로 시야를 옮길 수 있다. 또는, 주변을 고정시켜 선택된 카메라에서 촬영되는 실시간 영상만 수신할 수도 있다(시야고정모드).

이와 같이, 본원발명에서는 주변 고정을 통해 협진의(20)가 착용한 제2 HMD(200)로 협진의의 선택에 따라 시야고정모드를 제공할 수 있다. 협진의는 시야고정모드에서 협진제안을 위해 공유가 필요한 위치를 도 6의 원격협진을 위한 3차원 포인팅 시스템(이하, 3차원 포인팅시스템)을 통해 3차원 포인팅하여 협진할 수 있다.

원격협진을 위한 3차원 포인팅 시스템

도 6을 참고하면, 본 발명의 일 실시 예에 따른 3차원 포인팅 시스템은 도 1의 원격협진 지원시스템에 제2 HMD(200)를 제어하기 위한 컨트롤 기기(210)를 더 포함하며, 컨트롤 기기는 도8 내지 도 10 등과 같은 컨트롤 기기(500, 500a, 600)로 다양하게 실시될 수 있다. 도 7의 3차원 포인팅 제어방법과 함께 설명하도록 한다.

실제 수술현장(1)에서 실시간 수술에 참여하는 집도의(10)가 착용한 제1 HMD(100)의 제1카메라 및 제2카메라, 복수의 보조(11, 12)가 착용한 제3 HMD(110-1, 110-2)의 제1카메라 및 제2카메라, 환자(30)가 착용한 제4 HMD(300)의 카메라, CCTV(1), 천장 카메라(400)에서 촬영되는 실시간 영상을 원격협진 지원서버(1000)로 전송할 수 있다.

이때, 제1 HMD(100)의 디스플레이부에 해당 제1카메라에서 촬영되는 실시간 영상을 출력하고 원격협진 지원서버(1000)로 전송할 수 있다(S701). 또한, 각각의 제3 HMD(110-1, 110-2)의 디스플레이부에 해당 제1카메라에서 촬영되는 실시간 영상을 출력할 수 있으며, 원격협진 지원서버(1000)로 전송할 수 있다.

다음으로, 원격협진 지원서버(1000)의 협진 지원부(1100)에서, 각 카메라로부터 실시간 영상을 수집하여 타임 싱크를 동기화하여 제2 HMD(200)로 전송할 수 있다(S702).

다음으로, 제2 HMD(200)는 제1 HMD(100)의 실시간 영상을 수신하여 표시할 수 있고(S703), 복수의 HMD(100,100-1,100-2)의 실시간 영상을 수신하는 경우 협진의에 의해 선택된 카메라 또는 기설정된 카메라에 대응되는 실시간 영상을 표시할 수 있다. 이때, 집도의의 제1HMD(100)의 실시간 영상이 출력되는 것이 바람직하며, 이후 협진의에 의해 변경될 수도 있다.

다음으로, 제2 HMD(200)는 제2 HMD(200)에서 입력부를 통해 수신되는 제어신호에 따라 디스플레이부에 출력되는 실시간 영상에, 협진 제안을 위한 특정위치를 3차원 포인팅할 수 있다. 이때, 특정위치는 실제 수술실(1) 내의 특정위치가 될 수 있으며, 특히 협진 제안을 위한 환자의 환부 특정위치가 될 수 있다.본 발명에서는 환자의 치료 환부를 집도의(10) 및 협진의(20)가 공유하고, 협진할 수 있도록 제2 HMD(200)에 실시간 영상(제1 HMD(100)의 시선 응시영역을 촬영하는 제1카메라에 의해 생성되는 영상)을 시야고정모드로 설정할 필요가 있다. 즉, 협진의는 집도의의 시점에서 확인하고 집도의에게 수술에 대한 제안을 할 수 있어야 한다.

도 4 및 도 5를 참고하면, 시야고정모드인 경우 도 4와 같이, 제2 HMD(200)는 제1 HMD(100)의 제1카메라에서 출력되는 실시간영상만 제2 HMD(200)에 출력시켜, 제1카메라의 촬영시야(

) 에 대응되는 범위내에서 협진의가 실시간 수술을 확인할 수 있다. 즉, 협진의의 움직임(보조1 또는 보조2 방향으로 고개돌림)이 발생되어도 촬영시야(

)내의 실시간 영상만 출력된다.

한편, 주변 고정 해지(시야고정 해지모드)가 설정되면, 제2 HMD(200)의 움직임시 움직임 방향에 대응되는 제2카메라의 촬영시야에 대응되는 실시간 영상을 제공하여, 집도의와 독립적으로 시야를 옮겨 주변을 확인할 수도 있다.

일예로, 도 4 및 도 5에서 협진의가 촬영시야(

)내의 제1실시간 영상 (제1 HMD(100)의 제1카메라의 촬영시야(

)에 대응되는 실시간 영상)을 주시하다 고개를 돌려 보조1(11)의 방향으로 시선을 돌리는 경우, 집도의(10)가 착용한 1HMD(100)의 보조1(11) 방향측에 구비된 제2카메라의 촬영시야에서 촬영된 제2실시간영상을 연속적으로 제공하여 집도의와는 독립적으로 시야를 옮길 수 있다.

본원발명의 3차원 포인팅 제어시스템은 제2 HMD(200)에 디스플레이된 실시간 영상을 시야고정모드로 설정한 후, 협진 제안을 위한 3차원 포인팅을 할 수 있다.

3차원 포인팅을 위한 컨트롤 기기(210)는 포인팅수단(211) 및 방향선택수단(212)을 포함할 수 있다. 컨트롤기기(210)는 집도의의 제어에 따라 3차원 실시간영상에 가상선 및 3차원 포인터를 생성하기 위한 제어신호를 제2HMD(200)로 출력할 수 있고, 포인팅수단(211) 및 방향선택수단(212)을 이용하여 3차원 포인터의 이동을 제어할 수 있다(S704).

포인팅수단(211)은 3차원 실시간 영상에 생성된 가상선을 따라 뎁스 방향(도 8 내지 10에서 z방향)으로 3차원 포인터를 이동시키고, 방향선택수단(212)은 뎁스 방향에 수직한 방향(도 8 내지 10에서 x 또는 y 방향)으로 3차원 포인터를 이동시킬 수 있다.

포인팅 수단(211) 및 방향선택수단(212)은 도8 내지 도 10 등과 같은 컨트롤 기기(500, 500a, 600)로 다양하게 실시될 수 있고, 방향선택수단(212)은 풋 페달(foot pedal)형태로 이용될 수도 있다.

또한, S704 단계에서의 제어신호는 제2 HMD(200)의 입력부에서 센싱되는 협진의의 기설정된 제스쳐, 시선 처리, 눈 움직임(눈 깜박거림 등)에 의해 입력되거나, 도 8내지 도 10의 컨트롤 기기 중 하나에 의해 입력되는 신호가 될 수 있다.

먼저, 제2 HMD(200)의 입력부에서 센싱되는 협진의의 기설정된 제스쳐, 시선, 시선 움직임 등을 이용하는 경우, 일 예로, 제1제스쳐(양팔을 일정각도 벌리는 동작)를 통해 시야고정모드를 설정하고, 시선처리(포인팅을 위한 환부를 기설정 시간이상 응시)를 통해 환부에 포인터(P1) 및 가상선(3)을 형성하고, 제2 제스쳐(손 움직임)을 통해 가상선(3) 상에서 뎁스(depth)방향으로 포인터(P2)를 이동시킬 수 있다. 이를 통해 환자의 신체 내부의 환부에 3차원 포인팅할 수 있다.

이때, 뎁스 및 뎁스별 환자의 신체 내부 장기 및 혈관을 매칭시켜, 뎁스 조절이 가능하도록 설정할 수 있다. 보다 구체적으로는, 컨트롤기기(210)를 이용하여 집도의는 뎁스방향(z) 및 뎁스방향에 수직한 방향(x,y)으로 포인터를 이동시키며 특정 환부 세그먼트 영역을 선택할 수 있다.

구체적으로, 환자의 환부 세그먼트 영역은 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정될 수 있다. 특히, 환자의 환부 세그먼트 영역은 인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 나뉘어질 수 있다.

ICG는 의료용 시약으로 녹색의 색소로 805nm의 적외선 파장에서 형광 발현하며 체내 세포질과 조직에 존재하는 수용성 단백질인 알부민과 결합하는 특징을 가진다. 정맥주사를 통해 환자의 혈관에 ICG를 주입하여 ICG 염색한 후, 적외선을 조사하여 여가시킨 반사광을 필터가 구비된 카메라를 통해 촬영함으로써 형광 염색된 환부영상을 얻을 수 있다.

원격협진 지원서버(1000)는 환부영상을 수집하여 환자별 병명별 염색영역을 학습하여 통계적으로 환부 세그먼트 영역을 구분하여 나눌 수 있다.

또한, 해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 집도의와 협진의의 각 시점에서 관찰되는 환부 영역의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분하여 나눌 수도 있다.

여기서, 집도의와 협진의의 각 시점에서 관찰되는 환부 영역의 뎁스 차이는, 하나의 환부 세그먼트 영역에 대해, 집도의가 응시하는 세부 환부영역과 협진의가 응시하는 세부 환부영역 간의 뎁스방향(z)에서의 거리(뎁스단계) 차이가 될 수 있다.

한편, 실시간 수술에서 ICG염색된 환부영상을 이용하는 경우, 필터가 사용된 카메라(에서 촬영한 ICG염색된 환부영상을 제1HMD 및 제2HMD에서 수신하여 실시간 영상에 정합하여 디스플레이 할 수 있다.

이를 통해, 집도의와 협진의는 환부 세그먼트 영역을 3차원 포인팅하여 선택함으로써 실시간 수술을 진행할 수 있다. 일 예로, 집도의가 포인팅 수단(211)을 이용하여 3차원 실시간영상에 가상선 및 가상선에 위치하는 3차원 포인터를 생성하면, 서버(1000)는 3차원 포인터의 3차원위치(x,y,z)로부터 최단 수직 거리에 위치하는 환자의 환부 세그먼트 영역이 선택된 것으로 판단하여, 해당 환부 세그먼트 영역에 선택표시를 제공할 수 있다(S705). 이에, 제1HMD(100) 및 제2HMD(200)를 통해 집도의 및 협진의가 선택영역을 공유할 수 있게 된다.

또한, 집도의는 방향 선택수단(212)을 이용하여 뎁스방향(z)에 대하여 수직방향(x,y)인 특정 방향 신호를 선택함으로써 3차원포인터를 수직방향으로 이동시킬 수 있다. 즉, 서버(1000)는 기 선택 표시된 환부 세그먼트 영역을 기준으로 방향선택수단(212)을 통해 선택된 특정 방향 측으로 근접한 다른 환부 세그먼트 영역이 선택되도록 선택표시를 이동시킬 수 있다(S706).

또한, 3차원 포인팅은 본원발명의 도 8내지 도 10의 컨트롤 기기 등의 다양한 실시 예를 통해 제공될 수도 있다.

(제1실시예)- 컨트롤 기기(500)

도 8을 참조하면, 컨트롤 기기(500)는 제1입력부(501), 제2입력부(502) 및 제어부(503)를 포함할 수 있다. 이때, 제1입력부(501), 제2입력부(502)는 버튼 형태 등으로 몸체에 구비될 수 있다.

제1입력부(501)는 버튼 푸쉬에 의해 입력신호가 수신되면, 제2 HMD(200)에서 출력되는 실시간 영상을 시야고정 모드 또는 시야고정 해지모드로 설정하기 위한 제1제어신호를 출력할 수 있다. 제2 HMD(200)는 제1제어신호를 수신하여 모드를 설정할 수 있다.

또한, 제1입력부(501)에 의해 시야고정 모드가 설정된 상태에서, 제1입력부(502)는 버튼 푸쉬에 의한 입력신호가 수신되면 제2 HMD(200)에 출력되는 실시간 영상에 가상선(3) 및 포인터(p1)를 생성시키는 제2제어신호를 출력할 수 있다.

다음으로, 제어부(503)는 가상선의 뎁스(depth)방향 또는 뎁스 역방향으로의 컨트롤 기기의 본체 움직임을 감지하여 가상선(3) 상에서 포인터(p1->p2)를 이동시키는 제3제어신호를 출력하여 제2 HMD(200)에 디스플레이된 실시간영상에 3차원포인팅할 수 있다.

이때, 포인팅된 위치의 뎁스단계에 매칭된 레이어(L1, L2) 중 선택된 레이어(L2)가 선택표시될 수 있다. 여기서, 레이어는 3차원 환부 영상을 환부 세그먼트 영역으로 나누어 구분한 환부영상이 될 수 있다.

즉, 3차원 포인터(P2)의 위치에서 뎁스방향(z)으로 최단 수직거리에 있는 환부 세그먼트 영역이 선택될 수 있다. 또한, 컨트롤기기(500)의 몸체를 뎁스방향(z)에 수직한 방향(x,y) 즉, 사용자 손을 중심으로 좌우 또는 상하로 움직여 3차원 포인터를 이동시킴으로써 방향선택수단으로 이용하여 다른 환부 세그먼트 영역을 선택할 수도 있다.

(제2실시예)- 컨트롤 기기(500a)

다른 실시 예로, 도 9의 컨트롤 기기(500a)는 건(gun) 형태로 사용자의 그립감 및 편의성이 향상될 수 있다. 구체적으로, 컨트롤 기기(500a)는 헤더부(530a), 입력버튼(511) 및 걸쇠(520)가 구비된 손잡이부(510a) 및 제어부(540)를 포함할 수 있다.

헤더부(530a)는 입력버튼(511)이 푸쉬되는 경우 실시간 영상에 가상선을 생성하여 가상선 방향이 특정위치를 향할 수 있도록 방향을 가이드할 수 있다.

손잡이부(510a)의 입력버튼(511)은 입력신호 수신시 시야고정모드를 설정함과 동시에, 헤더부(530a)를 이용하여 가상선(3) 및 포인터(p1)를 생성할 수 있다. 또한, 입력버튼(511)은 시야고정모드가 설정된 상태에서 재푸쉬하면(입력신호를 재수신) 시야고정 해지모드로 설정할 수 있다.

손잡이부(510a)의 걸쇠(520)는 걸쇠 동작시마다 가상선(3)의 뎁스방향(p1->p2)으로 포인터를 가상선(3) 상에서 이동시키는 제어신호를 출력할 수 있다.

이때, 가상선(3) 상의 기설정 뎁스에 매칭 넘버링된 환부 세그먼트 영역이 걸쇠 동작시 마다 뎁스에 따라 순차적으로 순환하며 제공될 수 있다.

또한, 컨트롤기기(500a)의 몸체를 뎁스방향(z)에 수직한 방향(x,y) 즉, 사용자 손을 중심으로 좌우 또는 상하로 움직여 3차원 포인터를 이동시킴으로써 방향선택수단으로 이용함으로써 다른 환부 세그먼트 영역을 선택할 수도 있다. 한편, 컨트롤기기(500, 500a)는 포인팅수단(211)으로만 이용할 수도 있으며 이 경우, 별도의 풋페달을 방향선택수단(212)으로 이용하여 3차원 포인팅을 제어할 수도 있다.

(제3실시예)- 컨트롤 기기(600)

또 다른 실시예로, 도 10의 컨트롤 기기(600)는 도 9의 컨트롤 기기(500a)에 컨트롤러(500b)가 더 구비된다. 즉, 컨트롤기기(600)는 제1 컨트롤 기기(500b) 및 제2 컨트롤 기기(500a)를 포함한다. 이때, 제2 컨트롤 기기(500a)의 형태는 도 9와 동일하나, 일부 기능에 있어 설정에 따라 달라질 수 있다.

제1 컨트롤 기기(500b)는, 시야고정모드를 설정받기 위한 제1버튼 및 시야고정 해지모드를 설정받기 위한 제2버튼을 구비하는 손잡이(510b)와 가이드 링이 형성된 가이드 헤더부(530b)를 포함할 수 있다.

가이드 헤더부(530b)의 가이드 링을 통해 제2 컨트롤 기기(500a)의 헤드부(530a)의 초점을 맞춰 헤드부(530a)에 의한 가상선 생성 방향을 가이드할 수 있다.

이때, 손잡이부(520)의 걸쇠(520) 동작시마다 가상선(3)의 뎁스방향으로 포인터를 이동(p1->p2)시키는 제어신호를 출력할 수 있다.

이때, 원격협진 지원서버(1000)의 협진 지원부(1100)는 제2 HMD(200)로부터 가상선(3) 상의 특정 포인터 위치(p1, p2 등의 포인터 중 한 위치)를 수신시, 포인터 위치에 대응되는 장기 또는 혈관에 대한 환부 세그먼트 영역을 제1HMD 내지 제3 HMD에서 출력되는 실시간 영상에 삽입하여 제공할 수 있다. 또한, 선택된 환부 세그먼트 영역(L1)을 하위 세그먼트 영역으로 구분하여 제공할 수도 있다.

한편, 집도의의 3차원 포인팅을 중심으로 설명하였으나, 집도의도 동일한 방법으로 환부영역에 3차원 포인팅할 수 있다.

원격협진 지원시스템의 영상태깅

또한, 원격협진 지원시스템은 실시간 수술 진행시, 원격 협진 시 발생되는 협진의 제안, AI기반 추천서버(3000)에 의해 발생되는 추천제안 및 집도의가 직접 설정한 이벤트 등의 발생시, 각 카메라에 의해 촬영되는 실시간 영상에 태깅하여, 이후 수술 집도, 협진, 교육/훈련 및 책임소재 판별 등에 활용할 수 있다.

이를 위해, 원격협진 지원 시스템은 원격협진 지원서버(1000), DB(2000), AI기반 추천서버(3000) 및 영상 중개거래서버(4000)를 구성하며, 도 3을 참고하면, 원격협진 지원서버(1000)의 영상 태깅부(1200)는, UI제공부(1110), 태깅부(1120) 및 책임설정부(1130)를 포함할 수 있다.

도 3을 참조하여, 본원 발명의 일 실시 예에 따른 협진의의 원격 참여 및 실시간 영상 태깅에 대하여 설명하도록 한다.

이때, 원격협진 지원시스템은, 실시간 수술을 촬영하는 카메라 및 촬영영상에 우선순위를 기설정하여, 제2 HMD(200)의 디스플레이부에서 기설정된 우선순위에 따라 순서대로 해당 카메라의 촬영영상이 돌아가며 표시되게 하여, 협진의가 모니터링하며 협진 제안을 결정할 수 있게 한다. 일 예로, 집도의의 제1HMD(100)의 카메라, CCTV, 보조1 등의 순으로 협진의가 설정하거나 협진서버(1100)에서 기설정할 수도 있다.

또한, 협진의의 필요에 따라 특정 카메라를 선택하여 해당 촬영영상을 디스플레이 할 수도 있다.

도 1 내지 도 3을 참고하면, 협진의(20)는 제2 HMD(200)를 통해 집도의(10)의 실시간 수술영상을 모니터링하며, 협진이 필요할 때 제안을 전송할 수 있다.

원격협진 지원서버(1000)의 협진 지원부(1100)는 실시간 수술을 촬영하는 각 카메라로부터 실시간 영상을 수집하여 제2 HMD(200)에 전송할 수 있다.

이때, UI제공부(1110)는, 제2 HMD(200)로부터 협진 제안이 수신되거나, AI기반 추천서버(3000)로부터 제안이 추천되면, 제1 HMD(100)로 제안의 수락여부를 선택받기 위한 UI를 제공할 수 있다. 제안 수락여부에 대한 UI는 도 13와 같이 텍스트 제공 또는 음성 등으로 제공될 수도 있다.

태깅부(1120)는 실시간 수술 중 제안 및 이벤트에 따른 태그 발생시, 집도의의 수락여부에 따라 실시간 영상에 태깅할 수 있다. 이때, 협진의의 제안은 수술진행순서 또는 수술에 포함된 특정처치순서에 대한 제안이 될 수 있다. UI제공부(1110)를 통해, 제안에 대한 수락여부가 수신되면, 태깅부(1120)는 제1 HMD(100)로부터 집도의의 수락여부에 대한 태그를 생성하여, 수집되는 실시간 영상에 태깅할 수 있다.

이때, 태그는, 제안에 따른 실시간 수술에 대한 책임주체정보, 실시간 영상 내의 태깅 위치정보를 포함할 수 있고, 태그에 포함된 정보는 블록체인기반의 분산원장에 저장될 수 있다.

여기서, 태그는 실시간 수술 중 발생되는 협진의의 제안, AI기반 추천서버(3000)에 의해 발생되는 추천제안 및 집도의가 직접 설정한 이벤트 등에 관한 메타데이터로, 실시간 영상에 삽입되는 마킹정보가 될 수 있다.

일 예로, 태그는 협진의의 AR 수술 시연, 협진의 코멘트, 실시간 수술과 유사 또는 동일한 이전 수술 영상, 특정 수술 도구, 음성 또는 텍스트 정보, 바이탈 사인 등 실시간 수술에 이슈가 될 수 있는 모든 정보들이 될 수 있다.

이때, 본원발명의 원격협진 지원시스템은 실시간 영상에 태그를 태깅시, 책임소재를 판별하기 위한 책임주체정보를 삽입할 수 있으며, 실시간 수술의 세부 처치/수술로 구분되는 세부 구간단위로 실시간 수술에 태깅된 태그구간을 구분할 수 있다.

구체적으로, 태깅부(1120)는 제1 HMD(100)로부터 기설정된 특정입력이 수신되면, 타임스탬프를 생성하여 실시간 영상에 태깅하고, 태깅된 복수의 타임스탬프를 기반으로 실시간 수술을 집도의에 의해 정의된 복수의 세부 구간으로 구분할 수 있다.

여기서, 기설정된 특정입력은 제스쳐, 음성명령, 제어신호명령 중 적어도 하나가 되고, 세부 구간은 집도의에 의해 정의된 실시간 수술의 세부 처치 및 수술 시퀀스에 대응되는 구간이 될 수 있다.

도 11은 본 발명의 일 실시 예에 따른 태그 구간 설정을 설명하기 위한 도면이다. 집도의(10)는 실시간 수술에 대한 정보를 협진의(20)에게 사전에 제공할 수 있다.

이때, 사전 제공되는 정보는 실시간 수술의 수술정보, 개략적인 세부 처치 또는 수술 순서 등이 될 수 있다. 이때, 세부 처치 마다 서로 다른 협진의가 원격 참여할 수도 있으며, 협진 지원부(1100)는 참여 세부구간 동안만 실시간 영상을 해당 협진의(20)의 제2HMD(200)로 제공하도록 제한할 수도 있다.

또한, 실시간 수술 중 각 세부구간에 대해, 집도의(10)와 협진의(20)는 현재 진행되고 있는 수술 및 처치에 대한 세부구간이 본인의 책임 구간이라는 플래그(flag)를 띄울 수 있다. 이때, 어느 일방이 플래그를 띄운 상태에서는 해당 세부구간의 태그정보에 어느 일방의 책임구간으로 마킹될 수 있다.

이때, 양쪽 모두 플래그를 들거나, 모두 플래그를 내린 경우, 이 책임구간에 동의하지 않는 사람이 이의신청에 대한 반대(objection) 메시지를 띄울 수 있으며, 협진 지원부(110)는 반대메시지가 표시된 후 일정 시간이 지나면 음성으로 의사소통을 할 수 있도록 지원할 수 있다.

또한, 세부구간에 대해, 누구의 책임구간인지 결정되면, AR제공부(1130)는 해당책임자의 기설정된 아바타를 실시간 수술 영상에 제공하여 실시간 책임구간을 확인할 수 있다.

또한, 집도의(10)가 해당 수술 경험이 부족한 경우, 해당 전문의가 협진의(20)가 되어 원격 협진을 할 수 있다. 이때, 협진지원부(1100)는 협진의(20)가 집도의(10)보다 전문의 경력이나 이번 수술 경험에 대한 평가 수치 데이터가 미리 정해진 값 이상이면, 협진의의 책임 구간으로 실시간 영상에 표시하고, 녹화 영상구간에 연동된 이력 태그정보(메타데이터)로 태깅되는 것을 우선순위로 할 수 있다.

도 11을 참고하면, 일예로 관상동맥 스탠트 시술인 경우, 시술명(관상동맥 스탠트), 환자정보, 세부 처치 또는 순서(마취, 스탠트 등)을 원격 참여하는 협진의에게 제공할 수 있고, 실시간 수술 중 집도의(10)의 특정입력으로 세부 구간을 구분할 수 있다.

이때, 태깅부(1120)는 제1 HMD(100)를 통해 특정입력이 입력되는 시점에 타임스탬프를 삽입하고, 세부구간의 시작 및 끝을 구분시킬 수 있다.

이때, 수술 집도에 따라 양손이 자유롭지 않으므로, 특정입력은 기설정된 제스쳐 또는 음성입력이 되는 것이 바람직하며, 세부 구간의 설정은 실시간 영상 촬영 이후에, 태그 삽입되거나 AI분석 등을 통해 구분될 수도 있다. 또한, 집도의(10)가 아닌 실제 수술현장(1)에 참여한 보조의 음성 등으로 입력될 수도 있다.

UI제공부(1110)는, 제2 HMD(200) 또는 AI기반 추천서버(3000)로부터 제안을 수신하면, 도 12의 (a) 같이, 협진 제안을 UI와 함께 제1 HMD(100)로 미리보기 제공할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 협진 제안을 수신한 제1HMD의 디스플레이 화면을 설명하기 위한 도면이다.

도 12를 참고하면, (a)는 집도의의 제1 HMD(100)에 출력되는 화면으로, 제1HMD(100)에서 실시간 촬영되는 실시간 영상(71)과, 협진 제안된 미리보기 제안내용 및 제안 수락여부를 문의하는 UI(72)가 표시될 수 있다.

또한, (b)는 협진의의 제안 수신시, 보조1의 제3 HMD(100-1)에 출력되는 화면이고, (c)는 협진의의 제안 수신시, 보조2의 제3 HMD(100-1)에 출력되는 화면이 될 수 있다. 이때, 보조1 및 보조2에 수신된 제안은 집도의의 제안수락에 따라 수신되는 정보가 될 수 있다. 즉, 집도의의 HMD(100)에도 (b) 및 (c)에 대한 제안이 표시될 수 있고, 보조1 및 보조2는 집도의에 의해 수락된 제안에 따라 보조를 수행할 수 있다. 즉, 이벤트 발생에 따른 수락여부는 집도의가 결정할 수 있다.

즉, 도 12의 (b)와 같이, 원격지에 있는 협진의는 수술에 필요한 '가상의 수술도구'에 대한 셋팅을 하여 수술참가자들(10,11,12)의 HMD에 보여줄 수 있으며 이 셋팅을 보고 수술참가자들이 미리 '실제 수술도구'를 준비할 수 있다.

또한, 협진의는 가상의 수술도구를 실시간 영상의 특정 환부에 매핑하여 집도의에게 사용될 수술도구를 제안할 수 있으며, 수술도구를 이용하여 처치가 필요한 시간 타이머 또는 처치 순서를 제안할 수 있다. 이때, 제안된 수술도구, 처치 시간 타이머, 처치 순서 등은 AR데이터로 HMD를 통해 실시간영상에 제공될 수 있다.

제1 HMD(100)에서 제안이 수락되면, 제안 수신에 따른 인증을 수행한 후 실시간 영상에 제안에 대응되는 AR데이터(텍스트, 영상, 이미지, 음성 등)를 태깅하여 제1 HMD(100) 및 제2 HMD(200)로 디스플레이할 수 있다.

여기서, 인증은 제안을 제공한 제2HMD(200)와 제안을 수신한 제1HMD에서 동시에 수행될 수 있다. 도 13을 참조하면, 책임 설정부(1130)는 제1 HMD(100) 및 제2 HMD(200)로부터 서명을 수신하여 기저장하고, 제안 및 제안수락에 따라 서명 인증화면을 공유할 수 있도록 제1 HMD(100) 및 제2 HMD(200)에 디스플레이할 수 있다.

도 13의 (a)와 같이, 제2HMD(200)로부터 협진의(20)에 의한 제안이 수신되면, 제안과 함께 제안 책임에 대한 기설정된 협진의 서명을 자동 수행하는 협진의 아바타를 제1 HMD(100) 및 제2 HMD(200)로 제공할 수 있다.

또한, 도 13의 (b)와 같이, 제1 HMD(100)에서 제안을 수락시 제안수락 책임에 대한 기설정된 집도의 서명을 자동 수행하는 집도의 아바타를 제1 HMD 및 제2 HMD로 제공할 수 있다.

또한, 집도의(10) 및 협진의(20)가 자동서명에 대한 조건을 설정하는 경우, 해당 아바타가 자동 서명을 수행할 수도 있다. 구체적으로, 책임설정부(1130)는 협진의(20) 및 집도의(10)에게 사전 설문한 설문조사결과 또는 협진의/집도의가 추천하는 수술영상의 수술 스타일에 대한 데이터를 수집하여 협진의(20) 및 집도의(10) 각각에 해당하는 아바타 속성(자동서명 조건)을 협진의 및 집도의 각각의 단말기(HMD 또는 사용자단말기 등)로 제공하여, 아바타 속성을 지정할 수도 있다.

일 예로, 협진의는 집도의 및 참여자들(보조1,보조2)에게 수술 전이나 수술 중에 기녹화된 다른 수술영상을 추천할 수 있다. 원격협진 지원서버(1000)는 이러한 추천된 수술영상들의 메타데이터를 이용하여 협진의가 선호하는 수술스타일을 통계적으로 추출하여 파악할 수 있다.

이를 통해, 집도의가 실시간 수술 중 발생되는 제안 수락여부에 일일이 대응하지 않고도, 제안을 수락하고 책임에 동의할 수 있다.

이때, 제안이 제2 HMD(200)로부터 수신된 협진의 제안이면, 태그에는 제1HMD(100)를 착용한 집도의(10)의 제안 수락 책임 및 제2HMD(200)를 착용한 협진의(20)의 제안 책임이 책임소재정보로 기록할 수 있다.

이때, 제안은 제1 HMD(100)뿐 아니라, 제안의 특징에 따라 보조1 또는 보조2의 역할을 기반으로 해당 제3 HMD(300)로 제공될 수도 있다.

또한, 제2 HMD(200)는 제안을 직접 설정하여 제1 HMD(100)로 전송할 수도 있고, AI기반 추천 서버(3000)로부터 제1 HMD(100)에 제안할 제안정보를 제안받아 제1 HMD(100)로 제공할 수도 있다.

또한, 제1 HMD(100)는 AI기반 추천 서버(3000)로부터 직접 제안을 추천(자동제안)받을 수도 있다.

이때, 제안은 태그구간의 태그구간정보 즉, 세부구간에 대응되는 처치, 수술, 시술별로 제안될 수 있고, 유사/동일한 추천 태그가 발생되는 경우, AI기반 추천서버(3000)는 기설정된 태그 중요도, 처치/수술 난이도 등을 고려하여 기설정된 우선순위에 따른 최적의 태그정보를 제안할 수 있다.

(제1실시예) 제안 - 제2 HMD가 제1 HMD에직접 제안

DB(2000)는 적어도 하나의 태그가 태깅된 수술영상을 저장하며, 병원/의사별, 환자상태별, 처치 및 수술 카테고리별 등의 분류기준으로 분류하여 저장될 수 있다.

도 14를 참조하면, 제2 HMD(200)는, 제1 HMD(100)에서 촬영되는 실시간 영상을 출력하는 제1화면(미도시) 및 실시간 수술시 제안할 수 있는 적어도 하나의 제안을 미리보기 윈도우로 표시한 제2화면(도 14) 중 적어도 한 화면을 선택적으로 출력할 수 있다. 이때, 제1화면 및 제2화면은 협진 지원부(1100)에 의해 제공될 수 있다.

제2 HMD(200)는, DB(2000)에 저장된 수술영상에 태깅된 태그 중 적어도 하나를 관심태그로 미리보기 윈도우에 불러올 수 있고, 관심태그의 표시시간과 표시간격을 설정 받을 수 있다. 상기 협진 지원부(1100)는, 제2 HMD(200)의 설정에 따라 관심태그를 제2화면의 미리보기 윈도우로 출력할 수 있다.

제2 HMD(200)는 관심태그를 제1 HMD(100)로 설정에 따라 선택적으로 또는 자동으로 제안할 수 있다.

(제2실시예) 제안 - AI기반 추천된 제안을 제2 HMD가 제1 HMD에 제안

AI기반 추천 서버(3000)는 협진의의 이전 수술영상으로부터 실시간 수술과 유사한 유사수술에 태깅된 태그들을 추출하여, 미리보기 윈도우로 추천할 수 있다.

여기서, 이전 수술영상은 협진의가 집도의 또는 협진의로 참여했던 수술에 대한 영상, 협진의가 재생했던 수술영상 등이 될 수 있다.

협진의는 추천된 미리보기 윈도우의 태그를 설정에 따라 제1 HMD(100)에 선택적으로 또는 자동으로 제안할 수 있다.

(제3실시예) 제안 - AI기반 추천된 제안을 협진의의 제안으로 제1 HMD에 자동 제안

AI기반 추천부(3000)는 DB(2000)로부터 협진의가 참여했던 이전 수술 영상 중, 실시간 수술과 유사한 유사 수술시 태깅된 태그가 현재 실시간 수술 중에 제안되지 않은 경우, 유사 수술시 태깅된 태그를 협진의의 제안으로 제1 HMD에 자동 제안할 수 있다.

이 경우, AI기반 추천서버(3000)는, 유사 수술시 태깅된 태그의 태깅지점 및 태깅간격을 기반으로, 상기 실시간 영상에서 제안되는 태그의 태깅지점 및 태깅간격을 결정하여 제1 HMD로 자동 제안할 수 있다.

(제4실시예) 제안 - 책임 동의 자동 설정에 대응되는 AI기반 추천 제안

제1 HMD(100) 및 제2 HMD(200)는 수술 카테고리별 및 환자 상태별로 기정의된 특정 처치 또는 수술에 대해 책임 동의를 자동 설정할 수 있다.

책임 설정부(1130)는 HMD별 책임 동의가 자동 설정된 특정 처치 또는 수술에 대해 AI기반 추천 서버(3000)에 추천을 요청할 수 있다.

또한, 책임 설정부(1130)는 각 HMD별로 기정의된 특정 처치 또는 수술에 대한 제안이 발생되면, 책임 동의가 자동 설정된 해당 HMD의 기설정된 서명을 자동 수행하는 아바타를 해당 HMD로 제공하여 인증을 수행할 수 있다.

AI기반 추천서버(3000)는 DB(2000)에 기저장된 수술영상 중 상기 실시간 수술과 유사한 유사수술에 포함된 세부 구간이, 제2HMD(200)에 의해 책임동의가 설정된 기정의된 특정 처치 또는 수술에 대응되면, 세부 구간에 포함된 태그들을 제1HMD(100)로 자동 제안할 수 있다.

이때, 태깅부(1120)는 책임 동의가 자동 설정된 기정의된 특정 처치 또는 수술에 대한 제안을 수신시 실시간 영상에 자동 태깅할 수 있다.

또한, 책임설정부(1130)는 각 HMD별로 기정의된 특정 처치 또는 수술에 대한 제안이 발생되면, 책임 동의가 자동 설정된 해당 HMD의 기설정된 서명을 자동 수행하는 아바타를 제1 HMD 및 상기 제2 HMD로 제공할 수 있다.

(제5실시예) 제안 - 수술시 HMD별 필수 태그 자동 제안

AI기반 추천서버(3000)는 실시간 수술에 대한 각 HMD별 착용자의 정보 중 이번 실시간 수술에서의 역할정보(협진의, 보조1, 보조2)를 기반으로, 각 HMD에서 필수 재생이 필요한 태그를 추출하여 대응되는 HMD로 자동 제안할 수 있다.

한편, 상기에서는 실시간 수술 중 협진의의 제안에 따른 집도의의 수락여부에 따라, 세부구간에 대한 책임소재를 태깅하는 것에 대해 설명하였다. 이와 달리, 협진 지원부(1100)는 집도의와 협진의가 수술 시작전에 미리 수술 책임 구간에 대해서 협의를 한 경우에는 전체 수술 구간을 미리 알려진 처치들로 나누어 도 11의 (a)와 같이 세부구간들로 구분하여 각 HMD에 출력되는 실시간영상에 제공할 수 있으며, 미리 알려진 처치들에 대응되는 세부구간에 기협의된 책임주체를 매칭하여 태깅할 수 있다.

이때, 현재 집도의가 진행하는 처치가 미리 알려진 처치들에 해당되는지 판단할 필요가 있으며, 이는 기존 수술영상들에 포함된 데이터를 기계학습하여 생성된 모델 등을 통해 판단할 수 있다.

일 예로, 원격협진 지원서버(1000)는 기협의된 전체 수술이 피부절개, 혈관 클램핑, 양측 혈관연결 등의 순서로 진행되는 경우, 각 처치/수술은 세부구간으로 구분하여 실시간 영상에 제공할 수 있고, 집도의가 ‘미리 협진의가 지정한 순서’에서 지정한 처치를 수행한 것으로 판단되면 기설정된 협진의의 아바타가 책임구간에 서명하는 AR데이터를 실시간영상에 제공할 수 있다.

이와 같이, 본원발명의 원격지원 협진시스템은 상기와 같이 다양한 실시예의 방법들을 통해 실시간 수술에서 이슈가 될 수 있는 태그들을 추출하고, 실시간 영상에 태깅할 수 있다. 이때, 각 실시예들은 개별 또는 병합될 수도 있다.

특히, 협진의의 수술진행순서 또는 특정처치순서 제안에 따른 태그의 태깅시 집도의의 수락여부에 따른 책임주체정보를 태그정보로 기록함으로써 책임소재 판별에 용이하게 이용될 수 있다.

한편, 태깅부(1120)는 실시간 영상에 태깅시, 환자가 개인정보 보호를 위해 검열요청한 부분이 있는 경우 마스킹하여 처리하거나, 동시간대의 다른 실시간영상 부분으로 대체할 수도 있다.

원격협진 지원서버(1000)는 실시간 수술 중 복수 개의 태그가 태깅된 수술영상을 DB(2000)에 저장할 수 있다. 이때, 저장되는 수술영상들은 집도의, 협진의 및 교육/훈련생들이 목적에 따라 활용되도록 제공될 수 있다. 본원발명의 원격협진 지원시스템은 영상 중개 서버(4000)를 통해 수술영상을 활용하도록 중개하고, 활용에 따른 수익을 분배하는 수술영상 중개시스템으로 구현될 수도 있다.

태그를 포함하는 수술영상의 거래 및 사용을 위한 중개시스템

도 15는 도 1의 영상 중개 서버의 구성을 설명하기 위한 블록도이다. 도 16은 원격 협진 지원시스템의 블록체인 구조를 설명하기 위한 도면이다.

도 15를 참고하면, 영상중개서버(4000)는 NFT 관리부(4100), 영상 거래부(4200), 검색부(4300) 및 UI제공부(4400)를 포함할 수 있다.

또한, 도 16을 참고하면, 원격 협진 지원시스템은 회원 병원사의 병원서버(a 내지 n)와 블록체인 네트워크를 형성할 수 있으며, 각 병원서버(a 내지 n)를 통해 실시간 수술시 생성되는 수술영상을 수집하고, 활용을 위한 수술영상을 제공할 수 있다.

NFT 관리부(4100)는 각 병원서버(a 내지 n)로부터 수술영상이 DB(2000)에 저장 수집되면, 수집된 수술영상에 고유ID를 부여하여 해당 병원사에 NFT(Non-Fungible Token)기반 소유권을 발행할 수 있다.

영상 중개 서버(4000)는 수술영상 또는 수술영상에 포함된 태그에 대한 제3자의 사용자 단말로부터 매매 또는 사용 발생시, 매매 또는 사용에 따른 사용료를 암호화화폐를 이용하여 정산하여 관리할 수 있다.

또한, 영상 중개 서버(4000)는 특정 병원서버로부터 소유권을 갖고 있는 수술영상에 대해 분할매도가 요청되면, 수술영상에 포함된 각 태그구간에 고유ID를 부여하여 태그구간별 NFT 소유권을 발행할 수 있다. 이에, 태그구간별 수술 또는 처치 영상에 대한 분할 매매를 제공할 수도 있다.

NFT 관리부(4100)는 병원서버별 수술영상의 거래시 기설정된 비용이 정산되면, NFT 소유권을 매도한 병원사로 이전 관리할 수 있다.

또한, NTF 관리부(4100)는, 수술영상 사용을 요청한 사용자단말기의 소속 병원사와 사용자단말기에 의해 요청된 수술영상의 소유권자를 비교하여, 동일하지 않으면 즉, 소유권이 없는 제3자의 사용자단말기로 판단하여, 영상 거래부(4200)에 사용료 산출을 요청할 수 있다.

영상 거래부(4200)는, 사용자 단말기에서 사용을 요청한 수술영상에 포함된 태그의 개수 및 태그별 기설정된 중요도를 기반으로 사용료를 산출할 수 있다.

여기서, 태그는, 태그정보, 책임주체정보, 해당 수술 영상 내 태그구간, 태그구간 정보, 태그구간 정보 입력자, NFT기반 소유권 정보, 매매 및 사용 이력, 토큰 정산 정보 중 적어도 하나를 포함할 수 있다.

여기서, 수술 영상 내 태그구간은, 수술 영상에 포함된 세부 처치 또는 세부 수술에 의해 구분되는 구간이 될 수 있다. 또한, 태그구간 정보는, 상기 세부 처치 또는 세부 수술 정보가 되며, 태그구간 정보 입력자는, 세부 처치 또는 세부 수술을 수행한 집도의 또는 협진의가 될 수 있다.

사용자단말기의 사용 및 병원서버별 매매에 따라, 태그에 포함된 정보가 변경되거나, 새로운 신규정보가 발생되면, 블록체인 네트워크 내 노드들의 합의를 통해 갱신정보에 따른 블록체인을 분산원장에 추가하여 갱신할 수 있다.

또한, 영상 거래부(4200)는, 특정 사용자단말기에서 태그구간 정보를 이용 시, 해당 사용자단말기로 징수된 사용료에 기반하여 해당 태그구간 정보 입력자에게 암호화화폐를 적립해 줄 수 있다.

검색부(4300)는 DB(2000)에 저장된 태그의 태그 정보, 태그 구간 정보를 기반으로 영상 재생 목적에 따른 검색 서비스를 제공하여 사용자단말기별 필요한 수술영상 및 태그를 활용할 수 있게 한다.

여기서, 사용자단말기는, 실시간 수술을 집도하는 집도의, 상기 실시간 수술을 협진하는 협진의, 상기 실시간 수술에 참여하는 적어도 하나의 보조 및 교육 훈련생 중 적어도 하나가 착용하는 HMD(100, 100-1, 100-2, 200, 500)가 될 수 있다.

AI기반 추천서버(3000)는 사용자단말기로부터 참여 수술 정보를 수신시, 유사수술에 대한 수술영상 및 태그를 추천 제공할 수 있다.

또한, AI기반 추천 서버(3000)는 사용자단말기로부터 참여 수술에 대한 사용자 역할정보를 입력받으면, 사용자 역할정보를 기반으로 유사수술에 포함된 태그를 필수재생태그로 추천할 수도 있다.

UI제공부(4400)는 AI기반 추천 서버(3000)에 의해 사용자단말기로 추천된 유사수술에 포함된 복수 개의 태그에 대해, 사용목적에 맞게 사용 또는 제거를 선택받기 위한 목록을 해당 사용자단말기로 제공할 수 있다.

UI제공부(4400)는 사용자단말기의 역할 정보를 기반으로, 사용자단말기별 필수 재생 태그정보를 기설정하고, 기설정된 필수 재생 태그정보에 대응되는 태그는 상기 목록에서 제외시켜 제공할 수 있다.

이때, 영상거래부(4200)는, 해당 사용자단말기에 의해 사용 또는 제거된 태그 개수를 반영하여 사용료를 산출하여 정산할 수 있다.

이와 같이, 본 발명의 중개시스템은 태그를 포함하는 수술영상에 NFT기반 소유권을 부여하여 사용 및 거래를 중개함으로써, 투명하고 신뢰성있는 거래를 중개할 수 있고, 거래 수익을 분배할 수 있다.

본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 수정 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1000 : 원격협진 지원서버
1100 : 협진지원부 1200 : 영상태깅부
1110 : UI제공부 1120 : 태깅부
1130 : AR 제공부
2000 : DB 3000 : AI기반 추천서버
4000 : 영상중개서버
4100 : NFT 관리부 4200 : 영상 거래부
4300 : 검색부 4400 : UI제공부
100 : 제1 HMD, 10 : 집도의 200 : 제2 HMD, 20 : 협진의
100-1, 100-2 : 제3 HMD, 11: 보조1, 12 : 보조2
500, 500a, 600 : 컨트롤 기기

Claims

삭제
실제 수술현장에서 집도의가 착용하되, 상기 집도의의 시선 응시영역 및 주변영역을 촬영하는 카메라 및 상기 카메라에 의해 촬영되는 실시간 영상을 출력하는 디스플레이부를 포함하는 제1 HMD;
상기 집도의로부터 원격에 위치하는 협진의가 착용하며, 상기 실시간 영상을 수신하여 출력하고, 수신되는 제어신호에 따라 상기 실시간 영상에 가상선 및 3차원 포인터를 생성하는 제2 HMD;
상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 포인팅 이동수단;
상기 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 원격협진 지원서버; 및
상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향 측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 방향 선택수단;을 포함하는, 원격협진지원을 위한 3차원 포인팅시스템.
제2항에 있어서,
상기 환자의 환부 세그먼트 영역은,
상기 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정되되, 인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 구분되어지는, 원격협진지원을 위한 3차원 포인팅시스템.
삭제
제3항에 있어서,
상기 환자의 환부 세그먼트 영역은,
해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 상기 집도의와 협진의의 시점에서 관찰되는 환부 영역간의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분되는, 원격협진지원을 위한 3차원 포인팅시스템.
제2항에 있어서,
상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함하고,
상기 제2 HMD는,
상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드; 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드;를 제공하는, 원격협진지원을 위한 3차원 포인팅 시스템.
제6항에 있어서,
상기 포인팅 이동수단 및 방향선택수단은, 상기 시야고정모드에서 상기 3차원 포인터의 이동을 제어는, 원격협진지원을 위한 3차원 포인팅시스템.
삭제
(a) 실제 수술현장에서 집도의가 착용하는 제1 HMD가, 상기 집도의의 시선 응시영역 및 주변영역을 촬영하여 디스플레이부에 실시간 영상을 출력하는 단계;
(b) 상기 집도의로부터 원격에 위치하는 협진의가 착용하는 제2 HMD가, 서버를 통해 상기 실시간 영상을 수신하여 출력하는 단계;
(c) 포인팅 이동수단이, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 실시간 영상에 가상선 및 3차원 포인터를 생성시키는 단계;
(d) 포인팅 이동수단이, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 단계;
(e) 상기 서버가, 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 단계; 및
(f) 상기 서버가, 방향 선택수단을 통해 상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 단계;를 포함하는, 원격협진지원을 위한 3차원 포인팅방법.
제9항에 있어서,
상기 환자의 환부 세그먼트 영역은,
상기 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정되되, 인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 구분되어지는, 원격협진지원을 위한 3차원 포인팅방법.
삭제
제10항에 있어서,
상기 환자의 환부 세그먼트 영역은,
해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 상기 집도의와 협진의의 시점에서 관찰되는 환부 영역간의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분되는, 원격협진지원을 위한 3차원 포인팅방법.
제9항에 있어서,
상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함하고,
상기 제2 HMD는,
상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드; 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드;를 제공하는, 원격협진지원을 위한 3차원 포인팅방법.
제13항에 있어서,
상기 (c) 내지 (f)단계는, 시야고정모드에서 수행되는, 원격협진지원을 위한 3차원 포인팅방법.
제9항, 제10항, 제12항 내지 제14항 중 어느 한 항에 의한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.