KR102410812B1 - Xr 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 xr 기반 응급 의료 처치 시스템 - Google Patents

Xr 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 xr 기반 응급 의료 처치 시스템 Download PDF

Info

Publication number
KR102410812B1
KR102410812B1 KR1020200149816A KR20200149816A KR102410812B1 KR 102410812 B1 KR102410812 B1 KR 102410812B1 KR 1020200149816 A KR1020200149816 A KR 1020200149816A KR 20200149816 A KR20200149816 A KR 20200149816A KR 102410812 B1 KR102410812 B1 KR 102410812B1
Authority
KR
South Korea
Prior art keywords
unit
marker
present
rotation angle
emergency
Prior art date
Application number
KR1020200149816A
Other languages
English (en)
Other versions
KR20220063893A (ko
Inventor
배종환
박선희
이수열
Original Assignee
주식회사 유토비즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유토비즈 filed Critical 주식회사 유토비즈
Priority to KR1020200149816A priority Critical patent/KR102410812B1/ko
Publication of KR20220063893A publication Critical patent/KR20220063893A/ko
Priority to KR1020220072059A priority patent/KR102637330B1/ko
Priority to KR1020220072044A priority patent/KR102578334B1/ko
Application granted granted Critical
Publication of KR102410812B1 publication Critical patent/KR102410812B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Geometry (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 가상현실을 기반으로 하는 응급 의료 처치 시스템에 관한 발명으로서, 더욱 구체적으로는 인체 각부위를 인식할 수 있는 확장현실(eXtended Reality) 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 XR 기반 응급 의료 처치 시스템에 관한 발명이다.
본 발명은 XR 시스템에 사용되는 생체객체 인식용 마커에 있어서,
테이핑몸체부(410), 거리산출부(420), 기울기 회전각 산출부(430)을 포함하여 구성되어 있는 XR 시스템에 대한 생체객체 인식용 마커(400)를 제공한다.
또한 본 발명은 상기한 테이핑몸체부(410)는 앞면부(411)와 뒷면부(412)로 형성되어 있고,
상기한 거리산출부(420)는 테이핑몸체부(410)에 일정한 거리(L)로 형성되어 있는 인식거리부(421)들로 형성되어 있고,
상기한 기울기 회전각 산출부(430)는 방향 특징점(431)이 형성되어 있어 마커의 중심 부위의 기울기 및 회전각 산출이 가능한 구조로 된 것을 특징으로 하는 XR 시스템에 대한 생체객체 인식용 마커(400)를 제공한다.
또한 본 발명은 상기의 XR 시스템에 대한 생체객체 인식용 마커(400)를 포함하고,
응급처치자 부쓰부(100), 운용통제 서버(200), 원격의료관 부쓰부(300)를 포함하여 구성된 XR 기반 응급 의료 처치 시스템을 제공한다.
또한 본 발명은 상기한 응급처치자 부쓰부(100)는 XR 처치장비(110), 치료장치부(120), 치료도구부(130)를 포함하여 구성되어 있고,
상기한 원격의료관 부쓰부(300)는 XR 원격장비(310), 원격치료장치부(320)를 포함하여 구성되어 있는 것을 특징으로 하는 XR 기반 응급 의료 처치 시스템을 제공한다.

Description

XR 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 XR 기반 응급 의료 처치 시스템{a living object cognition marker for XR system and the XR emergency medical treatment system using thereof}
본 발명은 가상현실을 기반으로 하는 응급 의료 처치 시스템에 관한 발명으로서, 더욱 구체적으로는 인체 각부위를 인식할 수 있는 확장현실(eXtended Reality) 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 XR 응급 의료 처치 시스템에 관한 발명이다.
일반적으로 증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 즉, 사용자가 보고 있는 실사 영상(객체)에 3차원 가상영상을 겹침(overlap)으로써 현실환경에 필요한 정보를 추가 제공하는 역할을 하는 것이다.
이러한 증강현실기술은 가상현실(virtual reality)의 확장 개념으로 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을
제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 따라서 증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.
예를 들어, 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 안내 서비스 등은 이미 상업적 서비스로 운영되고 있다.
이러한 증강현실기술은 가상현실과 접목되어 혼합현실(Mixed Rality) 기술로 발전하고 있다.
특히 이러한 기술은 의료기술분야에서 활발히 응용되어 활용되고 개발되고 있다. 특히 사고로 인해 긴급한 구호조치(응급처치)를 받아야 하는 환자들의 경우 신속한 처치가 매우 중요한데, 이를 완벽하게 배워야 하는 실습자들에게 현재 제공되는 환자처치실습교육은 의료적 응급상황을 상상에 의존하거나, 또는 같은 실습자나 마네킹을 대상으로 현장감 없는 실습을 반복하고 있는 것이 현실이다.
한편, 증강현실의 구현에 있어서 중요한 기술적 과제로서, 실제 환경과 가상의 객체가 시간적 및 공간적으로 정확하게 정합된 영상이 구현되어야 하는 점이 중요한데, 이러한 영상 정합을 위해서, 기존에는 현실환경의 객체와 함께 인식될 수 있는 다양한 형태의 마커가 필요하다.
종래기술에 있어 이러한 마커는 인위적으로 제작 또는 생성된 마커를 현실환경의 객체에 부착 또는 인쇄하거나, 영상 인식이 가능한 객체 자체의 특징점을 마커로서 미리 등록하는 등의 방식으로 제공된다.
이와 관련된 기술로 등록특허 10-2077607호(환자처치실습을 위한 증강현실구현방법, 이하 선행기술)는 "카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실 영상을 증강현실구현장치의 디스플레이에 출력하는 단계와, 상기 증강현실에서 사용될 다수개의 처치실습을 위한 가상영상을 데이터베이스에 저장함에 있어 각각의 처치실습 가상영상과 각 해당마커를 매칭하는 단계와, 상기 처치실습 가상영상을 증강현실구현장치에 표현될 객체의 좌표에 설정하는 단계를 포함하는 증강현실구현방법에 있어서, 상기 좌표에 객체의 위치를 설정함에 있어 증강현실구현장치의 디스플레이에 출력되는 마커와 처치실습 가상영상은 서로 소정간격 이격되게 표현되도록 하여 처치실습시 실습자에 의해 마커가 가려지는 것을 방지하도록 하고, 상기 마커에는 상처 또는 부상의 종류 및 표현되는 신체의 부위가 기재되도록 하여 학습자들이 어떤 교육 및 처치실습이 이루어지고 있는지를 쉽게 알 수 있도록 구성됨을 특징으로 하는 환자처치실습을 위한 증강현실구현방법"이 제시된바 있다.
종래기술 및 선행기술의 경우 종래의 가상현실(Virtual Reality), 증강현실(Augmeneted Reality), 혼합현실(Mixed Reality) 또는 확장현실(eXtended Reality) 등에서 객체 인식 수단으로 사용되는 마커(Marker)는 본 발명에서 인식해야 하는 응급 환자의 출혈, 쇼크(얼굴 변형), 신체 부위 절단, 의류 착용 상태 등과 같은 다양한 상황에서의 생체 객체 인식에 어려움이 발생하게 된다.
특히, 종래의 대부분의 인식 분야에서는 특징점을 이용한 객체 인식 방법을 사용하지만 특징점을 찾기 어려운 환자의 신체 부위 및 주변환경(군복 패턴, 환자별 체형 등) 요소들에 의하여 마커 기반의 인식 기술을 적용하더라도 정확한 응급 환자의 손상 부위를 인식하는 것이 매우 어려운 현실이다.
또한, 응급 환자의 인체의 특징(팔, 다리 등) 부위에 대한 정보가 제공되더라도 컴퓨터인 운용통제 서버의 생체객체인식모듈은 해당 부위를 추측하기 어려울 뿐만 아니라 출혈, 쇼크(얼굴 변형), 신체 부위 절단, 의류 착용 상태 등과 같은 다양한 상황에서의 응급환자의 경우는 더더욱 객체 인식률이 현저히 낮은 문제점이 발생하게 된다.
더불어, 딥러닝(deep learning)과 같은 기술을 사용한다고 해도 응급 환자의 수 많은 경우의 수를 학습시켜 응급 환자를 인식시키기에는 많은 어려움이 따르게 된다.
즉, 예측 불가능한 다양한 조건에 따른 응급환자 상태를 사전에 학습시키기 어렵게 되고 그에 따라 특징점에 의한 패턴화가 난해하여 응급 환자를 인식시키기에는 많은 어려움이 있게 된다.
따라서, 본 발명은 이와 같은 객체 인식의 문제점을 해결하고자 응급처치자 시점의 영상을 이용한 생체객체 인식을 위한 인식용 마킹 및 트래킹 기술을 제공하고자 한다.
또한 본 발명은 작전 상황시, 재난 발생시, 응급환자 상황시 응급처치자(출동 대원, 출동 의사, 출동 의무병 또는 군의관 등)가 XR 장비를 이용하여 직접 응급 환자를 치료할 수 있는 XR 응급 의료 처치 시스템에 대한 생체객체 인식용 마커를 제공하고자 한다.
또한 본 발명은 상기한 XR 응급 의료 처치 시스템에 대한 생체객체 인식용 마커를 이용한 XR 응급 의료 처치 시스템을 제공하고자 한다.
본 발명은 상기한 요구 및 문제를 해결하기 위하여,
XR 시스템에 사용되는 생체객체 인식용 마커에 있어서,
테이핑몸체부(410), 거리산출부(420), 기울기 회전각 산출부(430)을 포함하여 구성되어 있는 XR 시스템에 대한 생체객체 인식용 마커(400)를 제공한다.
또한 본 발명은 상기한 테이핑몸체부(410)는 앞면부(411)와 뒷면부(412)로 형성되어 있고,
상기한 거리산출부(420)는 테이핑몸체부(410)에 일정한 거리(L)로 형성되어 있는 인식거리부(421)들로 형성되어 있고,
상기한 기울기 회전각 산출부(430)는 방향 특징점(431)이 형성되어 있어 마커의 중심 부위의 기울기 및 회전각 산출이 가능한 구조로 된 것을 특징으로 하는 XR 시스템에 대한 생체객체 인식용 마커(400)를 제공한다.
또한 본 발명은 상기한 기울기 회전각 산출부(430)는 다각형 형태 또는 불규칙 패턴으로 될 수 있으며 마커의 다른 구성 부분과 다른 색상으로 형성될 수 있는 것을 특징으로 하는 XR 시스템에 대한 생체객체 인식용 마커(400)를 제공한다.
또한 본 발명은 상기의 XR 시스템에 대한 생체객체 인식용 마커(400)를 포함하고,
응급처치자 부쓰부(100), 운용통제 서버(200), 원격의료관 부쓰부(300)를 포함하여 구성된 XR 응급 의료 처치 시스템을 제공한다.
또한 본 발명은 상기한 응급처치자 부쓰부(100)는 XR 처치장비(110), 치료장치부(120), 치료도구부(130)를 포함하여 구성되어 있고,
상기한 원격의료관 부쓰부(300)는 XR 원격장비(310), 원격치료장치부(320)를 포함하여 구성되어 있는 것을 특징으로 하는 XR 응급 의료 처치 시스템을 제공한다.
본 발명에 따른 XR 시스템에 대한 생체객체 인식용 마커는 응급처치자 시점의 2D 영상을 이용하여 3차원 형태의 생체객체 인식기술을 제공하게 되며, 응급처치자 시점 변화 및 환자의 움직임을 빠르게 트래킹하는 기술을 제공하는 효과가 나타난다.
또한 본 발명의 XR 시스템에 대한 생체객체 인식용 마커는 마킹 정보를 이용한 실시간 생체객체 크기 및 회전각 산출 계산이 도출되는 기능이 수행되어, 3차원 모델링된 생체객체의 정합률을 현저히 높이는 효과가 나타난다.
또한 본 발명의 XR 시스템에 대한 생체객체 인식용 마커는 테이핑 형태로 되어 있어서, XR 응급 의료 처치 시스템에서 응급처치자가 용이하게 사용할 수 있는 편의성 증진 효과가 나타난다.
또한 본 발명의 XR 시스템에 대한 생체객체 인식용 마커를 이용한 XR 응급 의료 처치 시스템은 원격의료관 부쓰부로부터 운용통제 서버를 거쳐 제공받는 응급환자에 대한 가상현실, 증강현실 또는/및 혼합현실을 이용한 XR(확장현실) 응급처지 가이드 정보에 따라 응급 환자를 응급처치자가 정확하게 응급처치할 수 있도록 하게 하는 작용과 효과가 나타나게 된다.
도 1은 본 발명에 따른 XR(확장현실, eXtended Reality) 응급 의료 처치 시스템 구성도.
도 2는 본 발명에 따른 XR 응급 의료 처치 시스템의 응급처치자 부쓰부 구성도.
도 2b는 본 발명에 따른 XR 응급 의료 처치 시스템의 치료장치부 구성도.
도 3은 본 발명에 따른 XR 시스템에 대한 생체객체 인식용 마커의 구성도.
도 3b는 본 발명에 따른 XR 시스템에 대한 생체객체 인식용 마커의 뒷면 구성도.
도 3c는 본 발명에 따른 붕대형 XR 시스템에 대한 생체객체 인식용 마커 구성도.
도 3d는 본 발명에 따른 일회용 반창고형 XR 시스템에 대한 생체객체 인식용 마커 구성도.
도 3e는 본 발명에 따른 롤 형태의 반창고형 XR 시스템에 대한 생체객체 인식용 마커 구성도.
도 4는 본 발명에 따른 다수의 마커가 응급 환자의 신체 부위(손상 부위)에 부착된 경우의 사용도.
도 5는 본 발명에 따른 마커의 기울기 회전각 산출부의 구성도.
도 5b는 본 발명에 따른 십자형 구조의 기울기 회전각 산출부의 기울기 산출을 위한 교차각(θ2) 측정 개념도.
도 5c는 본 발명에 따른 사각형 구조의 기울기 회전각 산출부의 기울기 산출을 위한 교차각(θ2) 및 회전각 산출을 의한 교차각(θ1) 측정 개념도.
도 5d 및 도 5e는 본 발명에 따른 마름모형 구조의 기울기 회전각 산출부의 기울기 산출을 위한 교차각(θ2) 및 회전각 산출을 의한 교차각(θ1) 측정 개념도.
도 6은 본 발명에 따른 XR 응급 의료 처치 시스템의 세부 구성도 및 기능 작용도.
도 7은 본 발명에 따른 XR 응급 의료 처치 시스템의 영상내 3D객체 변환행렬 계산부의 작동 개념도.
도 8은 본 발명에 따른 XR 응급 의료 처치 시스템의 원격의료관 부쓰부 구성도.
도 8b는 본 발명에 따른 XR 응급 의료 처치 시스템의 원격치료장치부 구성도.
이하 본 발명을 도면을 참고하여 상세히 설명하고자 한다.
본 발명은 응급처치자 부쓰부(100), 운용통제 서버(200), 원격의료관 부쓰부(300)를 포함하여 구성된 XR(확장현실, eXtended Reality) 기반 응급 의료 처치 시스템을 제공한다.
즉, 본 발명은 응급 환자 발생시 구급차 등에 설치되어 있는 응급처치자 부쓰부(100)에 응급 환자를 안치하여 응급처치자가 응급처치를 함에 있어, 원격의료관 부쓰부(300)로부터 운용통제 서버(200)를 거쳐 제공받는 응급환자에 대한 가상현실(VR), 증강현실(AR), 혼합현실(MR) 또는/및 이들을 이용한 XR(eXtended Reality, 확장현실)로 구현된 응급처지 가이드 정보에 따라 응급처치자가 응급 환자를 응급처치할 수 있도록 하게 하는 XR(확장현실, eXtended Reality) 기반 응급 의료 처치 시스템을 제공한다.
본 발명에 사용되는 XR(eXtended Reality, 확장현실)은 가상현실(VR), 증강현실(AR), 혼합현실(MR) 또는/및 이들을 이용한 확장현실(XR) 개념을 모두 포함하는 개념이다.
또한 본 발명은 상기한 바와 같은 작전 상황시, 재난 발생시, 응급환자 상황시 응급처치자(출동 대원, 출동 의사, 출동 의무병 또는 군의관 등)가 직접 응급 환자를 치료할 수 있는 XR 기반 응급 의료 처치 시스템에 사용되는 XR 시스템에 대한 생체객체 인식용 마커(400)를 제공한다.
도 1에서 보는 것처럼, 본 발명의 응급처치자 부쓰부(100)는 작전 상황시, 재난 발생시, 응급환자 상황시 응급처치자(출동 대원, 출동 의사, 출동 의무병 또는 군의관 등)가 직접 응급 환자를 처치(또는 치료)할 수 있는 장비와 공간을 제공해주는 장치 또는 수단을 의미한다.
도 2에서 보는 것처럼, 본 발명의 응급처치자 부쓰부(100)는 XR 처치장비(110), 치료장치부(120), 치료도구부(130)를 포함하여 구성되어 있다.
본 발명의 XR 처치장비(110)는 디스플레이부(111), 헤드셋부(112), 센서감지부(113), 처치 제스쳐 트래킹부(Gesture tracking)(114)를 포함하여 구성되어 있다.
본 발명의 XR 처치장비(110)는 가상현실, 증강현실, 혼합현실, 확장현실 등을 구현하는데 사용되는 장비 또는 수단을 포함하여 구성되어 있다.
본 발명의 상기한 디스플레이부(111)는 사용자가 작업하는 동시에 한눈에 가상정보를 쉽게 볼 수 있도록 표현하는 인터페이스 등을 의미하며 HMD(Head Mounted Display), FMD(Face Mounted Display)를 포함하는 장치 또는 수단을 의미한다.
응급처치자는 이와 같은 HMD 등을 착용하여 원격의료관으로부터 의료처치를 지시하는 영상 가이드 또는/및 환자의 손상 유형 및 부위에 따른 응급처치 방법/주의사항 영상 가이드에 따라 환자의 응급처치를 할 수 있게 하는 기능이 수행된다.
본 발명의 상기한 헤드셋부(112)는 원격의료관으로부터 의료처치를 지시하는 사항 또는/및 환자의 손상 유형 및 부위에 따른 응급처치 방법/주의사항 가이드에 따른 사항을 들을 수 있게 하는 기능을 수행하는 장치 또는 수단을 의미한다.
상기한 헤드셋부(112)는 마이크부(도면 미도시)가 부가될 수 있으며 의료처치자의 음성을 전송하게 하는 기능을 수행하게 된다.
본 발명의 센서감지부(113)는 상기한 응급 환자의 처치 부위를 인식하는 마커를 센싱하고 또한/및 응급처치자의 응급처치과정을 센싱하여 치료장치부(120)에 전송하는 기능을 수행하는 장치 또는 수단을 의미한다.
본 발명의 처치 제스쳐 트래킹부(Gesture tracking)(114)는 응급처치자의 손에 착용되는 기능이 수행되며 응급처치자가 응급 치료를 하는 과정을 센싱하고 그와 같이 센싱된 정보를 취득하는 기능을 수행하는 장치 또는 수단을 의미한다.
본 발명의 XR 처치장비(110)에서 취득한 응급 환자에 대한 센싱정보 또는/및 응급처치자에 대한 치료과정이 센싱된 정보는 운용통제 서버(200)로 전송되고 다시 운용통제 서버(200)에서 원격의료관 부쓰부(300)로 전송되게 된다.
본 발명의 치료장치부(120)는 응급환자에 대한 치료를 위하여 필요한 사항을 입력하는 기능, 이와 같이 입력된 사항을 운용통제 서버(200)에 전송하는 기능, 응급환자에 대한 응급처치 방법 및 주의사항 가이드가 운용통제 서버(200)로부터 입력되는 기능을 수행하는 것과 같이 의료처치자가 응급처치를 하도록 보조하는 기능을 수행하는 장치 또는 수단을 의미한다.
상기한 치료장치부(120)는 통상의 중앙처리장치, 데이터입출력 시스템, 응용 프로그램, 제어장치, 메모리 등이 탑재된 컴퓨터, 서버 등으로 구현할 수 있다.
본 발명의 치료장치부(120)는 도구설정모듈(121), 정보입력모듈(122), 손상부위선택모듈(123), 손상발생위치정보모듈(124), 응급처치가이드모듈(125)을 포함하여 구성되어 있다.
본 발명의 상기한 모듈은 각각의 모듈에서 기능하고자 하는 것을 수행시키는 프로그램, 소프트웨어 상의 기능 또는 장치 등을 의미한다.
상기한 도구설정모듈(121)은 응급처치자가 사용 가능한 의료 조치 도구를 설정할 수 있는 기능을 수행하는 것을 의미한다.
상기한 도구설정모듈에서 응급처치자는 응급 환자를 처치하기 위한 의료 조치 도구를 설정하거나 입력한다.
상기한 정보입력모듈(122)은 응급 환자에 대한 인적사항 및 환자평가정보가 입력되는 기능이 수행된다.
상기한 손상부위선택모듈(123)은 응급 환자의 손상 유형이 선택되고 손상 신체 부위가 선택되어 설정되는 기능이 수행된다.
상기한 손상발생위치정보모듈(124)은 응급 환자의 손상이 발생된 지리적 위치가 입력되거나 설정되는 기능이 수행된다.
상기한 응급처치가이드모듈(125)은 상기에서 입력된 응급 환자의 손상 유형및 손상 부위에 따른 응급처치방법 및 주의사항이 제시되는 기능이 수행된다.
이와 같은 응급처치가이드모듈(125)은 동영상 또는 음성으로 가이드가 될 수 있으며, 치료장치부(120)에 기설정되어 있을 수 있고 더불어 원격의료관에 의하여 제공되거나 업데이트 될 수 있다.
본 발명의 치료장치부(120)에 입력되거나 설정된 정보는 상기한 운용통제 서버(200)로 전송되며, 이와 같은 정보는 다시 응급처치자 부쓰부(100)로 제공되게 된다.
본 발명의 치료장치부(120)에는 모니터부가 부가되어 응급처치자가 모니터부를 통하여 치료장치부(120)를 운용할 수 있다.
본 발명의 치료도구부(130)는 응급 환자를 치료하기 위한 실질적인 수술도구, 약품, 장비 등이 구비된 장치 또는 수단 등을 의미한다.
본 발명의 운용통제 서버(200)는 상기한 응급처치자 부쓰부(100)에서 제공하는 영상정보, 환자정보, 손상 정보 등의 각종 정보를 수신하여 생체객체를 인식하는 기능, 생체객체 3D 모델링 기능, 응급 처치자의 시각 위치에 따른 3차원 모델링 데이터 정합기능, 3차원 모델링 및 의료 데이터 정합 기능, 응급처치 가이드 정합 기능을 수행하고, 데이터를 교환하는 기능을 수행하며, 생체객체 인식 기능, 데이터베이스 관리를 하는 기능 등을 수행한다.
또한 운용통제 서버(200)는 원격의료관 부쓰부(300)에서 제공하거나 입력하는 정보를 수신하여 처리하는 기능 또는/및 이와 같이 처리된 정보를 응급처치자 부쓰부(100)에게 전송하는 기능을 수행한다.
상기한 운용통제 서버(200)는 통상의 중앙처리장치, 데이터입출력 시스템, 응용 프로그램, 제어장치, 메모리 등이 탑재되어 있다.
본 발명의 운용통제 서버(200)는 데이터 교환 모듈(210), 운용 통제 모듈(220), 생체객체인식모듈(230), 데이터베이스 관리모듈(240)을 포함하여 구성되어 있다.
상기한 데이터 교환 모듈(210)은 응급처치자 부쓰부(100)에서 제공된 명령, 정보 또는/및 원격의료관 부쓰부(300)에서 제공된 명령, 정보 등을 서로 교환하거나 제공 받을 수 있도록 하는 기능을 수행한다.
상기한 운용 통제 모듈(220)은 운용통제 서버(200)의 관리자가 운용통제 서버(200), 응급처치자 부쓰부(100) 또는/및 원격의료관 부쓰부(300)의 각 구성 및 운용에 대한 통제를 할 수 있도록 하는 기능을 수행한다.
상기한 생체객체인식모듈(230)은 상기한 응급처치자 부쓰부(100)의 XR 처치장비(110)에 인식되어 제공되는 응급 환자에 대한 인식 정보를 통하여 응급 환자 및 손상 부위를 확장현실(XR)로 인식하는 기능을 수행한다.
특히, 생체객체인식모듈(230)은 상기한 XR 처치장비(110)가 응급 환자에 부착된 마커를 인식하여 응급 환자의 손상부위를 인식하게 하고, 처치 제스쳐 트래킹부(Gesture tracking)(114)를 통하여 응급처치자의 응급 치료 처치하는 과정을 인식하게 하는 기능을 수행하게 된다.
종래의 가상현실(Virtual Reality), 증강현실(Augmeneted Reality), 혼합현실(Mixed Reality) 등에서 객체 인식 수단으로 사용되는 마커(Marker)는 본 발명에서 인식해야 하는 응급 환자의 출혈, 쇼크(얼굴 변형), 신체 부위 절단, 의류 착용 상태 등과 같은 다양한 상황에서의 생체 객체 인식에 어려움이 발생하게 된다.
특히, 종래의 대부분의 인식 분야에서는 특징점을 이용한 객체 인식 방법을 사용하지만 특징점을 찾기 어려운 환자의 신체 부위 및 주변환경(군복 패턴, 환자별 체형 등) 요소들에 의하여 마커 기반의 인식 기술을 적용하더라도 정확한 응급 환자의 손상 부위를 인식하는 것이 매우 어려운 현실이다.
또한, 응급 환자의 인체의 특징(팔, 다리 등) 부위에 대한 정보가 제공되더라도 컴퓨터인 운용통제 서버(200)의 생체객체인식모듈(230)은 해당 부위를 추측하기 어려울 뿐만 아니라 출혈, 쇼크(얼굴 변형), 신체 부위 절단, 의류 착용 상태 등과 같은 다양한 상황에서의 응급환자의 경우는 더더욱 객체 인식률이 현저히 낮은 문제점이 발생하게 된다.
더불어, 딥러닝(deep learning)과 같은 기술을 사용한다고 해도 응급 환자의 수 많은 경우의 수를 학습시켜 응급 환자를 인식시키기에는 많은 어려움이 따르게 된다.
즉, 예측 불가능한 다양한 조건에 따른 응급환자 상태를 사전에 학습시키기 어렵게 되고 그에 따라 특징점에 의한 패턴화가 난해하여 응급 환자를 인식시키기에는 많은 어려움이 있게 된다.
따라서, 본 발명은 이와 같은 객체 인식의 문제점을 해결하고자 응급처치자 시점의 영상을 이용한 생체객체 인식을 위한 인식용 마킹 및 트래킹 기술을 제공한다.
따라서 본 발명의 XR 기반 응급 의료 처치 시스템은 XR 시스템에 대한 생체객체 인식용 마커(400)를 더 포함하게 된다.
본 발명은 3차원 생체 객체의 방향 및 크기를 인식하기 위한 효과적인 XR 시스템에 대한 생체객체 인식용 마커(400)를 제공하게 된다.
따라서 본 발명은 상기한 마커(400)를 이용하여 응급처치자 시점의 2D 영상을 이용하여 3차원 형태의 생체객체 인식기술을 제공하게 되며, 응급처치자 시점 변화 및 환자의 움직임을 빠르게 트래킹하는 기술을 제공하게 된다.
본 발명의 XR 시스템에 대한 생체객체 인식용 마커(400)는 마킹 정보를 이용한 실시간 생체객체 크기 및 회전각 산출 계산이 도출되는 기능이 수행된다.
또한 본 발명의 XR 시스템에 대한 생체객체 인식용 마커(400)는 거리 산출이 가능하고, 기울기 및 회전각 산출이 가능하며, 테이핑 형태의 편리성이 구비되어 있다.
본 발명의 XR 시스템에 대한 생체객체 인식용 마커(400)는 테이핑몸체부(410), 거리산출부(420), 기울기 회전각 산출부(430)을 포함하여 구성되어 있다.
도 3에서 보는 바와 같이, 테이핑몸체부(410)는 앞면부(411)와 뒷면부(412)로 형성되어 있다.
테이핑몸체부(410)는 다양향 형태로 형성될 수 있으며 띠 형태로 되어 있는 것이 일반적이다.
상기한 앞면부(411)는 상기한 거리산출부(420), 기울기 회전각 산출부(430)가 형성되어 있는 부분을 의미한다.
상기한 뒷면부(412)는 응급 환자에게 부착되는 기능을 수행하며, 따라서 뒷면부에는 접착물질이 형성되어 있는 접착부가 구비되어 응급 환자에서 용이하게 마커를 부착하게 하는 기능을 수행한다.
본 발명의 거리산출부(420)는 실제의 응급 환자에게 부착된 마커가 인식되는 경우 인식 대상인 응급 환자의 손상 부위를 실제적인 거리가 측정될 수 있도록 해 주는 기능을 수행하는 형상, 구조 또는 수단을 의미한다.
따라서 거리산출부(420)의 일실시예로 테이핑몸체부(410)에 일정한 거리(L)로 형성되어 있는 인식거리부(421)들로 형성되어 있을 수 있다.
도 3에서 보는 바와 같이 거리산출부(420)의 인식거리부(421)는 테이핑몸체부(410)에 일정한 거리(L)로 형성되어 있는 라인(421)들로 형성되어 있을 수 있다.
이 경우 기울기 회전각 산출부(430)를 사이에 둔 라인(421) 사이의 거리(L2)는 상기한 라인과 라인 사이의 거리(L)와 일정한 수식 관계로 기설정되어 있을 수 있어, 기울기 회전각 산출부(430)를 사이에 둔 라인(421) 사이의 거리(L2)는 라인과 라인 사이의 거리(L)를 알게 되면 수식으로 도출될 수 있다.
따라서 거리산출부의 라인(421)들의 간격은 기설정된 일정한 거리(L)로 설정되어 있어서 이러한 라인들이 인식되면 응급 환자의 손상 부위의 거리를 실제로 측정할 수 있게 되는 기능을 수행한다.
도 4에서 보는 바와 같이, 치료가 필요한 응급 환자의 신체 부위(손상 부위)에 본 발명의 마커(400)를 하나 이상 부착하여 마커들을 인식하는 경우 마커들을 인식하게 되고 또한 마커에 형성된 거리산출부(420)를 인식하게 되어 응급 환자의 신체 부위(손상 부위) 간의 거리를 정확하게 측정하고 인식하게 되는 효과가 발휘된다.
본 발명의 상기한 기울기 회전각 산출부(430)는 테이핑몸체부(410)에 형성되어 있으며, 마커의 중심 부위의 기울기 및 회전각 산출을 위하여 형성된 형상, 구조 또는 수단을 의미한다.
기울기 회전각 산출부(430)는 마커의 중심 부위의 기울기 및 회전각 산출을 위하여 다양한 형태로 형성될 수 있으며, 다각형 형태 또는 불규칙 패턴으로 될 수 있으며 마커의 다른 구성 부분과 다른 색상으로 형성될 수 있다.
상기한 기울기 회전각 산출부(430)는 방향 특징점(431)이 형성되어 있으며, 이와 같은 방향 특징점은 2개 이상 형성되어 있는 것이 바람직하다.
도 5에서 보는 것처럼, 본 발명의 방향 특징점(431)은 기울기 회전각 산출부(430)가 테이핑몸체부(410)와 구별되는 공간 좌표 상의 선 또는 면이 급격히 변하는 변곡점과 같은 것으로 설정되는 있는 것을 의미한다.
따라서 이와 같은 방향 특징점(431)들은 마커의 공간좌표로 기설정되어 있다.
도 5는 기울기 회전각 산출부(430)의 일실시 예로 십자형 구조의 기울기 회전각 산출부(430)를 보여준다.
상기한 십자형 구조의 기울기 회전각 산출부(430)는 총 8개 이상의 방향 특징점(431)이 형성되어 있으며 동서남북 방향으로 각각 2개씩 형성되어 있고 각각의 각각의 방향 특징점(431)들은 마커의 공간좌표로 기설정되어 있다.
따라서, 마커가 응급 환자에 부착되었을 경우 응급처치자 부쓰부(100)의 XR 처치장비(110)에 인식되어 제공되는 인식정보에 대하여 생체객체인식모듈(230)은 상기한 기울기 회전각 산출부(430)의 방향 특징점(431)들에 대한 기설정된 공간좌표를 인식하게 된다.
도 5에서 보는 바와 같이, 이 경우 생체객체인식모듈(230)은 방향 특징점(431-1) 및 방향 특징점(431-2)를 잇는 방향선(D1)의 중심과 방향 특징점(431-5) 및 방향 특징점(431-6)를 잇는 방향선(D2)의 중심을 잇는 상하기준선(S1)을 인식하게 되고,
방향 특징점(431-3) 및 방향 특징점(431-4)를 잇는 방향선(D3)의 중심과 방향 특징점(431-7) 및 방향 특징점(431-8)를 잇는 방향선(D4)의 중심을 잇는 좌우기준선(S2)을 인식하게 된다.
도 5b에서 보는 것처럼, 본 발명은 처음에 인식된 마커(MF1)의 상하기준선(S1) 또는/및 좌우기준선(S2)를 기준으로 하여 응급처치자가 응급환자를 보는 시점 및 이동에 따른 경우(또는 마커가 부착된 환자가 움직이는 경우)에 인식된 마커(MF2)에서 인식된 상하기준선(S1-1) 또는/및 좌우기준선(S2-1)과의 교차각(θ2)을 측정함으로써 마커의 기울기를 산출할 수 있게 되며 이는 곧 환자의 움직임 기울기를 산출하게 된다.
또한 생체객체인식모듈(230)은 방향 특징점(431-2)와 방향 특징점(431-6)을 잇는 회전각선(T1)을 인식하게 된다.
상기한 회전각은 상기한 상하기준선(S1) 또는/및 좌우기준선(S2)과 교차되어 형성되는 교차각(θ1)을 의미한다.
따라서 회전각선(T1)은 다수의 방향 특징점(431)에서 선택되는 2개를 연결하여 형성하는 선으로서 상하기준선(S1) 또는/및 좌우기준선(S2)과 교차되어 교차각(θ1)을 형성하는 선을 모두 포함하게 된다.
이와 같이 회전각선(T1)을 형성하는 방향 특징점(431)은 기설정되어 있으며, 회전각선은 하나 이상 설정되어 형성될 수 있다,
상기한 교차각(θ1)을 산출하여 공간 이동된 마커의 회전각을 산출할 수 있게 되며, 이와 같은 회전각 산출을 통하여 환자의 움직임을 더욱 더 정확하게 인식할 수 있게 된다.
본 발명의 상기한 기울기 회전각 산출부(430)는 테이핑몸체부(410)에 형성되어 있으며, 마커의 중심 부위의 기울기 및 회전각 산출을 위하여 형성된 형상, 구조 또는 수단을 의미한다.
도 5c는 사각형 형상의 기울기 회전각 산출부(430)를 보여주는 것으로서, 방향 특징점(431)이 4개 설정되어 있으며, 그에 따라 상하기준선(S1) 또는/및 좌우기준선(S2)이 설정되고, 회전각선(T1)도 설정되는바 교차각(θ1)을 형성하여 회전각을 산출할 수 있게 된다.
더불어 처음에 인식된 마커(MF1)의 상하기준선(S1) 또는/및 좌우기준선(S2)를 기준으로 하여 응급처치자가 응급환자를 보는 시점 및 이동에 따른 경우(또는 마커가 부착된 환자가 움직이는 경우)에 인식된 마커(MF2)에서 인식된 상하기준선(S1-1) 또는/및 좌우기준선(S2-1)과의 교차각(θ2)이 측정되어 마커의 기울기를 산출할 수 있는 구조가 된다.
도 5d 및 도 5e는 마름모 형상의 기울기 회전각 산출부(430)를 보여주는 것으로서, 방향 특징점(431)이 5개 설정되어 있으며, 그에 따라 방향 특징점(431-1)과 방향 특징점(431-3) 및 방향 특징점(431-4)를 잇는 방향선(D3)의 중심을 잇는 상하기준선(S1)을 설정하게 되거나 방향 특징점(431-2) 및 방향 특징점(431-3)을 잇는 선의 중심과 방향 특징점(431-4) 및 방향 특징점(431-5)을 잇는 선의 중심을 연결하여 좌우기준선(S2)이 설정하게 된다.
따라서 이와 같은 상하기준선(S1) 또는/및 좌우기준선(S2)이 설정되고, 방향 특징점(431-2) 및 방향 특징점(431-4)를 연결하여 회전각선(T1)도 설정되는바 교차각(θ1)을 형성하여 회전각을 산출할 수 있게 된다.
더불어 처음에 인식된 마커(MF1)의 상하기준선(S1) 또는/및 좌우기준선(S2)를 기준으로 하여 응급처치자가 응급환자를 보는 시점 및 이동에 따른 경우(또는 마커가 부착된 환자가 움직이는 경우)에 인식된 마커(MF2)에서 인식된 상하기준선(S1-1) 또는/및 좌우기준선(S2-1)과의 교차각(θ2)이 측정되어 마커의 기울기를 산출할 수 있는 구조가 된다,
따라서 본 발명의 기울기 회전각 산출부(430)는 마커의 중심 부위의 기울기 및 회전각 산출을 위하여 형성된 다각형 또는 불규칙 패턴의 형상, 구조 또는 수단을 모두 포함한다.
도 4에서 보는 바와 같이 본 발명의 마커(400)는 다수로 부착될 수 있는바, 이와 같이 다수로 부착된 마커(400)에 대한 각각의 거리산출, 기울기 및 회전각이 산출되고, 마커들 사이의 거리산출이 되는 경우 응급처치자에 이동 및 시점 변화에 따른 응급 환자의 손상 부위에 대한 정확한 인식이 가능해지게 된다.
즉, 본 발명의 마커(400)는 마커(400-1), 마커(400-2), 마커(400-3).....마커(400-n)과 같이 다수의 마커가 응급 환자(또는 손상부위)에 부착되어 각각의 마커들 간의 거리 산출이 개별 마커에 포함된 거리산출부(420)에 기설정된 거리값에에 의하여 가능하게 된다.
도 3c 내지 도 3 e에서 보는 것처럼, 본 발명의 마커는 붕대 형, 일회용 반창고 형, 롤 형태의 반창고형 등 다양한 형태로 형성될 수 있다.
마커가 일회용 반창고 형, 롤 형태의 반창고형의 부착형이 되면 지혈대, 피복, 인체 등 모든 부위에 부착이 가능하여 여려 형태의 상황에 대처가 가능하다.
본 발명의 상기한 생체객체인식모듈(230)은 원격의료관 부쓰부(300)에 제공하기 위한 응급 환자에 대한 3D 생체객체 정보, 3D 객체 변환 행렬 정보를 생성하는 기능을 수행하게 된다.
도 6에서 보는 바와 같이, 생체객체인식모듈(230)은 상기한 응급처치자 부쓰부(100)에서 제공되는 응급 환자에 대하여 인식된 영상 정보(PI)를 받은 후 영상정보획득부(231), 마킹정보 획득처리부(232), 생체객체 크기 기울기 회전각 산출부(233), 3D 생체객체간 모델링부(234), 시점자 및 생체객체간 상대좌표 계산부(235), 영상내 3D객체 변환행렬 계산부(236), 좌표변환 및 정합오차 계산부(237)을 통하여 응급 환자에 대한 3D 생체객체 정보 및 3D 객체 변환 행렬 정보(I)를 생성하여 원격의료관 부쓰부(300)에 제공한다.
더불어 상기와 같이 생성된 응급 환자에 대한 3D 생체객체 정보 및 3D 객체 변환 행렬 정보(I)를 응급처치자 부쓰부(100)에 전송하여 XR 처치장비(110)를 통하여 응급환자에 출력되고 원격의료관 부쓰부(300)에서 전송한 응급처치 가이드 정보(GI)에 따라 응급처치자가 이를 토대로 의료 처치를 할 수 있게 한다.
본 발명의 상기한 영상정보획득부(231)는 응급처치자 부쓰부(100)에서 제공되는 응급 환자에 대하여 인식된 영상 정보를 수신하여 획득하는 기능을 수행하는 모듈, 프로그램, 장치 등의 수단을 의미한다.
상기한 마킹정보 획득처리부(232)는 응급처치자 부쓰부(100)에서 제공되는 응급 환자에 부착한 마커로부터 얻은 마킹 정보를 획득하는 기능을 수행하는 모듈, 프로그램, 장치 등의 수단을 의미한다.
상기한 생체객체 크기 기울기 회전각 산출부(233)는 상기의 마킹정보 획득처리부(232)에서 제공하는 마킹 정보를 통하여 생체객체(응급 환자 등)의 크기, 기울기 및 회전각을 산출하는 기능을 수행하는 모듈, 프로그램, 장치 등의 수단을 의미한다.
상기한 3D 생체객체간 모델링부(234)는 상기에서 취득한 응급 환자에 대하여 인식된 영상 정보를 이용하여 통상의 3D(3차원) 모델로 모델링을 하는 기능을 수행하는 모듈, 프로그램, 장치 등의 수단을 의미한다.
이와 같은 3D(3차원) 모델은 3D 생체객체 정보 및 3D 객체 변환 행렬 정보(I)에 포함되게 된다.
상기한 시점자 및 생체객체간 상대좌표 계산부(235)는 응급처치자가 응급환자를 보는 시점에서 응급환자에 대한 3차원 좌표가 생성되거나 계산되는 모듈, 프로그램, 장치 등의 수단을 의미한다.
시점자 및 생체객체간 상대좌표 계산부(235)는 상기한 영상정보획득부(231)에서 획득한 응급환자에 대한 영상정보를 통하여 시스템상의 기설정된 공간에서 응급환자에 대한 3차원 좌표로 생성되거나 또는/및 계산되는 기능이 수행된다.
상기한 영상내 3D객체 변환행렬 계산부(236)는 상기의 3D 생체객체간 모델링부(234)에서 취득한 3D 모델, 상기의 시점자 및 생체객체간 상대좌표 계산부(235)에서 취득한 3차원 좌표, 상기의 생체객체 크기 기울기 회전각 산출부(233)에서 취득된 응급 환자에 대한 크기, 기울기 및 회전각을 통한 변환 행렬을 적용하여 변환 3D 인체 모델로 변환하는 기능을 수행하는 모듈, 프로그램, 장치 등의 수단을 의미한다.
도 7에서 보는 바와 같이 3D 모듈(표준 3D 인체 모듈)(SM)은 변환 행렬(TR)을 통하고, 마커에서 인식한 객체(응급 환자, 손상 부위 등)의 크기(OS)를 적용하여 변환 3D 인체 모델(TM)로 변환되게 된다.
이와 같은 변환 3D 인체 모델(TM)은 3D 생체객체 정보 및 3D 객체 변환 행렬 정보(I)에 포함되게 된다.
상기한 변환 행렬(TR)은 통상의 변환 행렬을 사용할 수 있으며 다음의 [식 1]과 같은 변환 행렬은 하나의 실시예로 사용할 수 있다.
[식 1]
Figure 112020120432222-pat00001
상기한 Rx(θ)에서 X는 마커 및 생체객체에 대한 공간상의 X 좌표를 의미하고 θ는 기울기 또는/및 회전각을 의미한다.
또한, Ry(θ)에서 y는 마커 및 생체객체에 대한 공간상의 y 좌표를 의미하고 θ는 기울기 또는/및 회전각을 의미한다.
또한, Rz(θ)에서 z는 마커 및 생체객체에 대한 공간상의 z 좌표를 의미하고 θ는 기울기 또는/및 회전각을 의미한다.
이와 같이 변환 3D 인체 모델(TM)로 된 것을 XR 상에서 출력되도록 적용함으로써 실제의 객체(응급 환자)와의 정합률이 현저히 상승되게 되는 효과가 나타나게 된다.
따라서 이와 같이 변환된 변환 3D 인체 모델(TM)이 응급처치자 부쓰부(100) 또는/및 원격의료관 부쓰부(300)에 전송되어 응급 환자에 정확하게 정합되는 변환 3D 인체 모델(TM)을 제공받게 되어 원격의료관은 정확한 의료처치 가이드를 수행할 수 있고 응급처치자는 응급 환자의 정확한 치료부위에 대한 정확한 의료처치 가이드를 제공받아 응급 환자를 정확하게 치료할 수 있는 효과가 나타나게 된다.
상기한 좌표변환 및 정합오차 계산부(237)는 상기한 시점자 및 생체객체간 상대좌표 계산부(235)에서 획득한 응급처치자가 응급환자를 보는 시점에서의 응급환자에 대한 3차원 객체를 2차원 평면에 투영하기 위한 스크린 좌표로 일치시키는 계산을 하는 모듈, 프로그램, 장치 등의 수단을 의미한다.
좌표변환 및 정합오차 계산부(237)는 통상의 3차원 객체를 2차원 평면에 투용하기 위한 스크린 좌표 변환 기술에 사용되는 통상의 가우시안 보간 방식(gausian inerpolation method)과 같은 정합률 계산 방법을 적용할 수 있다.
이와 같은 좌표변환 및 정합오차 계산부(237)의 상기의 변환된 변환 3D 인체 모델(TM)에 대하여 실제 응급환자와의 정합률을 더욱 높이는 작용으로 재설정된 변환 3D 인체 모델(TM)이 응급처치자 부쓰부(100) 또는/및 원격의료관 부쓰부(300)에 전송되어 응급 환자에 정확하게 정합되는 변환 3D 인체 모델(TM)을 제공받게 되어 원격의료관은 더욱 더 정확한 의료처치 가이드를 수행할 수 있고 응급처치자는 응급 환자의 정확한 치료부위에 대한 정확한 의료처치 가이드를 제공받아 응급 환자를 더욱 더 정확하게 치료할 수 있는 효과가 나타나게 된다.
본 발명의 데이터베이스 관리모듈(240)은 운용통제 서버(200), 응급처치자 부쓰부(100) 또는/및 원격의료관 부쓰부(300)에서 생성되거나 인식되는 정보를 저장, 관리할 수 있는 기능을 수행한다.
본 발명의 원격의료관 부쓰부(300)는 응급처치자 부쓰부(100)에서 제공하는 영상정보, 환자정보, 손상 정보 등의 각종 정보 또는/및 이를 이용하여 운용통제 서버(200)를 통하여 제공되는 응급 환자에 대한 3D 생체객체 정보 및 3D 객체 변환 행렬 정보(I)를 제공받아 형성되는 XR 영상(확정 현실 영상)을 원격의료관이 이용하여 응급처치를 하는 것을 응급처치자 부쓰부(100)로 제공하는 기능을 수행하는 장치 수단을 의미한다.
본 발명에서의 원격의료관은 원거리에서 응급치료를 가이딩하는 의사, 원격군의관, 원격 진료관 등을 포함하는 개념이다.
도 8에서 보는 것처럼, 본 발명의 원격의료관 부쓰부(300)는 XR 원격장비(310), 원격치료장치부(320)를 포함하여 구성되어 있다.
본 발명의 XR 원격장비(310)는 원격디스플레이부(311), 원격헤드셋부(312), 원격센서감지부(313), 가이드 제스쳐 트래킹부(Gesture tracking)(314)를 포함하여 구성되어 있다.
본 발명의 XR 원격장비(310)는 가상현실, 증강현실, 혼합현실, 확장현실 등을 구현하는데 사용되는 장비 또는 수단을 포함하여 구성되어 있다.
본 발명의 상기한 원격디스플레이부(311)는 사용자가 작업하는 동시에 한눈에 가상정보를 쉽게 볼 수 있도록 표현하는 인터페이스 등을 의미하며 HMD(Head Mounted Display), FMD(Face Mounted Display)를 포함하는 장치 또는 수단을 의미한다.
원격의료관은 HMD를 착용하여 응급 환자에 대한 XR 영상(확장 현실 영상)을 보고 의료처치를 지시하는 영상 가이드를 생성하는 기능이 수행되는 장치 또는 수단을 의미한다.
본 발명의 상기한 원격헤드셋부(312)는 원격의료관이 의료처치를 지시하는 사항 또는/및 환자의 손상 유형 및 부위에 따른 응급처치 방법/주의사항 가이드에 대한 사항을 음성으로 입력하거나 출력하게 기능이 수행되는 장치 또는 수단을 의미한다.
따라서 원격헤드셋부(312)는 마이크부가 부가될 수 있으며 원격의료관의 음성을 전송하게 하는 기능을 수행하게 된다.
본 발명의 원격센서감지부(313)는 원격의료관이 응급 환자에 대한 XR 영상(확장 현실 영상)을 보고 처치 제스쳐 트래킹부(Gesture tracking)를 착용하여 의료처치를 수행하는 지시 동작에 대한 것을 센싱하여 원격치료장치부(320)에 전송하는 기능을 수행하는 장치 또는 수단을 의미한다.
본 발명의 처치 제스쳐 트래킹부(Gesture tracking)(314)는 원격의료관의 손에 착용되는 기능이 수행되며 원격의료관이 XR 영상(확장 현실 영상)을 통하여 응급 치료를 하는 손동작 및 움직임에 대한 정보를 제공하는 모션 디바이스 등과 같은 장치 또는 수단을 의미한다.
본 발명의 XR 원격장비(310)에서 취득한 원격의료관의 응급처치 가이드는 운용통제 서버(200)로 전송되고 다시 운용통제 서버(200)에서 응급처치자 부쓰부(100)로 전송되게 된다.
본 발명의 원격장치부(320)는 환자의료정보 입력 기능, 응급처치자의 사용 가능한 의료 조치 도구 확인 기능, 환자 인적 사항 및 평가 정보를 이용한 환자 상태 확인 기능, 응급 처지 가이드 정보 제공 기능 등을 수행하는 장치 또는 수단을 의미한다.
상기한 원격장치부(320)는 통상의 중앙처리장치, 데이터입출력 시스템, 응용 프로그램, 제어장치, 메모리 등이 탑재된 컴퓨터, 서버 등으로 구현할 수 있다.
본 발명의 원격장치부(320)는 환자의료정보 입력 모듈(321), 응급처치자의 사용 가능한 의료 조치 도구 확인 모듈(322), 환자 인적 사항 및 평가 정보를 이용한 환자 상태 확인 모듈(323), 응급 처지 가이드 정보 제공 모듈(324), 영상 관리 모듈(325)를 포함하여 구성되어 있다.
본 발명의 상기한 모듈은 각각의 모듈에서 기능하고자 하는 것을 수행시키는 프로그램, 소프트웨어 상의 기능 또는 장치 등을 의미한다.
상기한 환자의료정보 입력 모듈(321)은 원격의료관에 의하여 응급 환자에 대한 인적사항 및 환자평가정보가 입력되는 기능이 수행된다.
상기한 응급처치자의 사용 가능한 의료 조치 도구 확인 모듈(322)은 원격의료관에 의하여 응급 환자에 대하여 사용 가능한 의료 조치 도구를 설정할 수 있는 기능을 수행하는 것을 의미한다.
상기한 응급처치자의 사용 가능한 의료 조치 도구 확인 모듈에서 원격의료관은 응급 환자를 처치하기 위한 의료 조치 도구를 설정하거나 입력한다.
상기한 환자 인적 사항 및 평가 정보를 이용한 환자 상태 확인 모듈(323)은 응급처치자 부쓰부(100)의 정보입력모듈(122)에서 입력되는 응급 환자에 대한 인적사항 및 환자평가정보를 통하여 환자 상태를 보여주는 기능을 수행한다.
상기한 응급 처지 가이드 정보 제공 모듈(324)은 상기한 응급처치가이드모듈(125)은 상기에서 입력된 응급 환자의 손상 유형및 손상 부위에 따른 응급처치방법 및 주의사항이 제공되는 기능을 수행한다.
이와 같은 응급 처지 가이드 정보 제공 모듈(324)은 동영상 또는 음성으로 응급처치가이드를 제공할 수 있으며, 원격의료관에 의하여 입력되거나 업데이트 될 수 있다.
또한 응급 처지 가이드 정보 제공 모듈(324)은 원격의료관이 직접 응급 환자를 XR 원격장비(310)를 이용하여 처치(또는 치료)하는 것을 확장 현실을 통하여 직접 응급 처치 가이드를 시행할 수 있으며, 이와 같은 응급 처지 가이드 정보가 응급처치자 부쓰부(100)로 전송되게 하는 기능을 수행하게 된다.
상기한 영상 관리 모듈(325)은 원격의료관에 의하여 응급처치자 부쓰부(100)에서 전송되는 영상에 대하여 관리를 할 수 있는 기능을 수행하게 된다.
본 발명은 상기한 구성과 기능으로 이루어진 XR 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 XR 기반 응급 의료 처치 시스템을 제공한다.
본 발명은 가상현실, 증강현실, 혼합현실 또는 확장현실에 사용되는 마커를 생산, 제조, 판매, 유통, 연구하는 산업에 유용하다.
특히 가상현실, 증강현실, 혼합현실 또는 확장현실을 이용하는 응급 의료 처치 시스템에 매우 유용하다.
응급처치자 부쓰부(100),
XR 처치장비(110), 치료장치부(120), 치료도구부(130),
운용통제 서버(200),
도구설정모듈(121), 정보입력모듈(122), 손상부위선택모듈(123), 손상발생위치정보모듈(124), 응급처치가이드모듈(125),
원격의료관 부쓰부(300),
XR 원격장비(310), 원격치료장치부(320),
XR 시스템에 대한 생체객체 인식용 마커(400),
테이핑몸체부(410), 거리산출부(420), 기울기 회전각 산출부(430),

Claims (4)

  1. XR 시스템에 사용되는 생체객체 인식용 마커에 있어서,
    테이핑몸체부(410), 거리산출부(420), 기울기 회전각 산출부(430)을 포함하여 구성되어 있되,
    상기한 테이핑몸체부(410)는 앞면부(411)와 뒷면부(412)로 형성되어 있고,
    상기한 거리산출부(420)는 테이핑몸체부(410)에 일정한 거리(L)로 형성되어 있는 인식거리부(421)들로 형성되어 있고,
    상기한 기울기 회전각 산출부(430)는 방향 특징점(431)이 형성되어 있어 마커의 중심 부위의 기울기 및 회전각 산출이 가능한 구조로 된 것을 특징으로 하는 XR 시스템에 대한 생체객체 인식용 마커(400).
  2. 삭제
  3. 제1항에 있어서,
    상기한 기울기 회전각 산출부(430)는 다각형 형태 또는 불규칙 패턴으로 될 수 있으며 마커의 다른 구성 부분과 다른 색상으로 형성될 수 있는 것을 특징으로 하는 XR 시스템에 대한 생체객체 인식용 마커(400).
  4. 제1항 또는 제3항의 XR 시스템에 대한 생체객체 인식용 마커(400)를 포함하고,
    응급처치자 부쓰부(100), 운용통제 서버(200), 원격의료관 부쓰부(300)를 포함하여 구성된 XR 기반 응급 의료 처치 시스템.

KR1020200149816A 2020-11-11 2020-11-11 Xr 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 xr 기반 응급 의료 처치 시스템 KR102410812B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200149816A KR102410812B1 (ko) 2020-11-11 2020-11-11 Xr 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 xr 기반 응급 의료 처치 시스템
KR1020220072059A KR102637330B1 (ko) 2020-11-11 2022-06-14 확장현실형 응급처지 가이드 정보에 따른 응급처치자 교육형 의료 시스템
KR1020220072044A KR102578334B1 (ko) 2020-11-11 2022-06-14 확장현실을 이용한 딥러닝 의료 처치 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200149816A KR102410812B1 (ko) 2020-11-11 2020-11-11 Xr 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 xr 기반 응급 의료 처치 시스템

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020220072059A Division KR102637330B1 (ko) 2020-11-11 2022-06-14 확장현실형 응급처지 가이드 정보에 따른 응급처치자 교육형 의료 시스템
KR1020220072044A Division KR102578334B1 (ko) 2020-11-11 2022-06-14 확장현실을 이용한 딥러닝 의료 처치 시스템

Publications (2)

Publication Number Publication Date
KR20220063893A KR20220063893A (ko) 2022-05-18
KR102410812B1 true KR102410812B1 (ko) 2022-06-20

Family

ID=81804134

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020200149816A KR102410812B1 (ko) 2020-11-11 2020-11-11 Xr 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 xr 기반 응급 의료 처치 시스템
KR1020220072044A KR102578334B1 (ko) 2020-11-11 2022-06-14 확장현실을 이용한 딥러닝 의료 처치 시스템
KR1020220072059A KR102637330B1 (ko) 2020-11-11 2022-06-14 확장현실형 응급처지 가이드 정보에 따른 응급처치자 교육형 의료 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220072044A KR102578334B1 (ko) 2020-11-11 2022-06-14 확장현실을 이용한 딥러닝 의료 처치 시스템
KR1020220072059A KR102637330B1 (ko) 2020-11-11 2022-06-14 확장현실형 응급처지 가이드 정보에 따른 응급처치자 교육형 의료 시스템

Country Status (1)

Country Link
KR (3) KR102410812B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102045260B1 (ko) * 2018-01-17 2019-12-02 대구보건대학교산학협력단 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법
KR20190097361A (ko) * 2018-02-12 2019-08-21 경남대학교 산학협력단 자세 교정을 위한 자세 평가 시스템 및 그 방법
KR102077607B1 (ko) * 2018-05-30 2020-02-17 호남대학교 산학협력단 환자처치실습을 위한 증강현실구현방법
KR102225822B1 (ko) * 2018-11-26 2021-03-10 국민대학교산학협력단 인공지능 수행을 위한 학습 데이터 생성장치 및 방법

Also Published As

Publication number Publication date
KR102637330B1 (ko) 2024-02-19
KR20220063893A (ko) 2022-05-18
KR20220097862A (ko) 2022-07-08
KR20220098321A (ko) 2022-07-12
KR102578334B1 (ko) 2023-09-14

Similar Documents

Publication Publication Date Title
US11707330B2 (en) Systems and methods for surgical navigation
US20210174706A1 (en) Injection site training system
CA3034314C (en) Methods and systems for registration of virtual space with real space in an augmented reality system
US10359916B2 (en) Virtual object display device, method, program, and system
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
EP3593227B1 (en) Augmented reality pre-registration
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
CN103735312B (zh) 多模影像超声引导手术导航系统
EP3423972A1 (en) Sensory enhanced environments for injection aid and social training
CN109069103A (zh) 超声成像探头定位
US20230404680A1 (en) Method for determining the spatial position of objects
US11340708B2 (en) Gesture control of medical displays
WO2021202609A1 (en) Method and system for facilitating remote presentation or interaction
CN115835830A (zh) 用于计算机辅助干预的空间感知显示器
US20230065505A1 (en) System and method for augmented reality data interaction for ultrasound imaging
Van Gestel et al. Neuro-oncological augmented reality planning for intracranial tumor resection
KR102410812B1 (ko) Xr 시스템에 대한 생체객체 인식용 마커 및 이를 이용한 xr 기반 응급 의료 처치 시스템
KR102301863B1 (ko) 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
RU2451982C1 (ru) Способ воздействия на виртуальные объекты
TWM484404U (zh) 成像投影系統設備應用
Liu et al. A portable projection mapping device for medical augmented reality in single-stage cranioplasty
TWI644285B (zh) Acupuncture visualization Chinese medicine system and method thereof by using AR technology
JPH11237867A (ja) 仮想空間表示装置
KR102443956B1 (ko) 확장현실 기반의 침술 시스템 및 그 방법
Coertze Visualisation and manipulation of 3D patient-specific bone geometry using augmented reality

Legal Events

Date Code Title Description
GRNT Written decision to grant