KR20230163726A - 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램 - Google Patents

증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램 Download PDF

Info

Publication number
KR20230163726A
KR20230163726A KR1020220063372A KR20220063372A KR20230163726A KR 20230163726 A KR20230163726 A KR 20230163726A KR 1020220063372 A KR1020220063372 A KR 1020220063372A KR 20220063372 A KR20220063372 A KR 20220063372A KR 20230163726 A KR20230163726 A KR 20230163726A
Authority
KR
South Korea
Prior art keywords
marker
medical image
indicator
image
virtual
Prior art date
Application number
KR1020220063372A
Other languages
English (en)
Inventor
홍종원
이어진
Original Assignee
연세대학교 산학협력단
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 한국해양과학기술원 filed Critical 연세대학교 산학협력단
Priority to KR1020220063372A priority Critical patent/KR20230163726A/ko
Publication of KR20230163726A publication Critical patent/KR20230163726A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • General Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 의료 영상의 객체 지시를 위한 인디케이터(indicator)를 식별하여 마커(marker)를 제공하는 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램에 관한 것으로, 실시간 공간 영상에 환자의 의료 정보가 출력되도록 증강 현실 기반의 가상 의료 영상을 제공하는 디스플레이부, 상기 가상 의료 영상의 객체를 지시하는 인디케이터, 상기 인디케이터를 포함한 실시간 공간 영상을 획득하는 카메라부, 그리고 상기 디스플레이부 및 카메라부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 인디케이터를 포함한 실시간 공간 영상으로부터 상기 인디케이터를 식별하고, 상기 인디케이터에 상응하는 마커를 생성하며, 상기 실시간 공간 영상에서의 인디케이터 좌표를 산출하고, 상기 산출된 좌표를 기반으로 상기 생성한 마커를 상기 가상 의료 영상에 오버랩(overlap)하여 표시하도록 상기 디스플레이부를 제어하며, 상기 가상 의료 영상에 오버랩된 마커가 상기 가상 의료 영상의 특정 객체를 선택하도록 보정하는 것을 특징으로 한다.

Description

증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램{AUGMENTED REALITY BASED TELEMEDICINE SYSTEM AND METHOD AND PROGRAM FOR CONTROLLING THE SAME}
본 발명은 증강 현실 기반 원격 의료 시스템에 관한 것으로, 보다 구체적으로 가상 의료 영상의 객체 지시를 위한 인디케이터(indicator)를 식별하여 마커(marker)를 제공하는 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램에 관한 것이다.
일반적으로, 증강 현실은, 현실 세계에 실시간으로 부가정보를 갖는 가상 세계를 겹쳐 하나의 영상으로 보여주는 기술이다.
증강 현실 기술은, 가시적인 정보를 제공하기 때문에, 의료분야에서 수술을 돕는데 특히 유용하게 적용될 수 있다.
증강 현실 기술은, 수술에 필요한 영상 정보를 제공할 수 있고, 수술 전 계획 단계에서는 의료진에게 수술의 시뮬레이션을 제공할 수 있으며, 수술 중에는 내비게이션 역할을 할 수 있다.
수술실에서 증강 현실 기술이 실질적으로 이용되기 위해서는, 집도의는 양손이 자유로운 상태에서, 눈앞에서 필요한 정보를 볼 수 있어야 하므로, 구글 글래스(Google Glass)나 마이크로소프트 홀로렌즈(HoloLens)와 같은 웨어러블 장치(wearable devices)가 증강 현실 이미지 전달에 중요한 역할을 할 것으로 기대되며, 실제로 이와 관련된 연구들이 활발히 진행되고 있다.
이처럼, 의료분야에의 증강 현실 기술 적용이 미래의학 기술로 떠오르고 있지만, 정밀함이 요구하는 임상에 증강 현실 기술을 적용하기에는 아직도 많은 기술적인 한계들이 있다.
특히, 증강 현실 기술을 이용하여 수술 중에 교육 및 커뮤니케이션을 위해서는, 가상 의료 영상의 특정 객체를 표시하거나 또는 마킹이 필요하지만, 수술실에서 기기 사용자인 임상 의사의 동작이 제한되므로 가상 의료 영상의 객체 표시 또는 마킹을 위한 기기 조작에 상응하는 사용자의 불편함이 발생할 수 있고, 객체 표시 및 마킹이 부정확하며, 기기 조작 실수로 인한 수술실 및 환자 수술 부위의 감염이 발생할 수도 있는 문제들이 있다.
따라서, 향후, 가상 의료 영상의 객체 지시를 위한 인디케이터를 식별하여 마커를 제공함으로써, 간편하고 안전하면서도 감염 예방이 가능하도록 가상 의료 영상의 객체를 정확하게 표시하거나 또는 마킹할 수 있는 증강 현실 기반 원격 의료 시스템의 개발이 요구되고 있다.
대한민국 공개특허 10-2021-0052270호 (2021. 05. 10)
상술한 바와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 가상 의료 영상의 객체 지시를 위한 인디케이터를 식별하여 마커를 제공함으로써, 사용자 편의성을 향상시키고 안전하면서도 감염 예방이 가능하도록 가상 의료 영상의 객체를 정확하게 표시하거나 또는 마킹할 수 있는 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 원격 의료 시스템은, 실시간 공간 영상에 환자의 의료 정보가 출력되도록 증강 현실 기반의 가상 의료 영상을 제공하는 디스플레이부, 상기 가상 의료 영상의 객체를 지시하는 인디케이터, 상기 인디케이터를 포함한 실시간 공간 영상을 획득하는 카메라부, 그리고 상기 디스플레이부 및 카메라부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 인디케이터를 포함한 실시간 공간 영상으로부터 상기 인디케이터를 식별하고, 상기 인디케이터에 상응하는 마커를 생성하며, 상기 실시간 공간 영상에서의 인디케이터 좌표를 산출하고, 상기 산출된 좌표를 기반으로 상기 생성한 마커를 상기 가상 의료 영상에 오버랩(overlap)하여 표시하도록 상기 디스플레이부를 제어하며, 상기 가상 의료 영상에 오버랩된 마커가 상기 가상 의료 영상의 특정 객체를 선택하도록 보정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 디스플레이부는, 사용자의 눈에 장착되는 스마트 글래스를 포함하고, 상기 스마트 글래스는, 적어도 하나의 렌즈를 포함하고, 상기 환자의 의료 정보가 수신되면 상기 수신한 의료 정보를 상기 렌즈에 투영하는 것을 특징으로 한다.
실시 예에 있어서, 상기 인디케이터는, 사용자의 손에 의해 그립되는 본체부, 그리고 상기 본체부의 일측 끝단에 배치되어 특정 식별자가 표시되는 식별자 표시부를 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 인디케이터의 본체부는, 제1 길이와 제1 폭을 갖는 제1 형상을 가지고, 상기 인디케이터의 식별자 표시부는, 상기 제1 길이보다 더 짧은 제2 길이와 상기 제1 폭보다 더 넓은 제2 폭을 갖는 제2 형상을 가지는 것을 특징으로 한다.
실시 예에 있어서, 상기 인디케이터의 식별자 표시부는, 특정 형상의 적어도 하나의 특정 식별자가 프린팅되어 표시되는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 생성한 마커를 상기 가상 의료 영상에 오버랩하여 표시할 때, 상기 산출된 인디케이터 좌표가 상기 가상 의료 영상 내에 인디케이터가 위치하는 것으로 판단되면 상기 마커의 이미지를 상기 가상 의료 영상에 오버랩하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 마커의 이미지를 상기 가상 의료 영상에 오버랩할 때, 상기 마커의 이미지가 오버랩되는 상기 가상 의료 영상의 색상 및 밝기를 확인하고, 상기 가상 의료 영상의 색상 및 밝기에 기반하여 상기 마커의 투명도를 조정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 생성한 마커를 상기 가상 의료 영상에 오버랩하여 표시할 때, 상기 마커의 이미지를 상기 가상 의료 영상에 포함되는 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나에 오버랩하여 표시하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 마커가 상기 가상 의료 영상의 특정 객체를 선택하도록 보정할 때, 상기 마커가 상기 가상 의료 영상에 오버랩되면 상기 가상 의료 영상을 다수의 구역들로 분리하고, 상기 분리된 구역들 중 어느 하나의 구역에 상기 마커가 진입하면 상기 마커가 해당 구역 내의 특정 객체를 자동 선택하도록 보정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 마커가 상기 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, L1 - L2 ＜ Ref이면 L2 = L1 (여기서, L1은 분리된 구역의 가장자리와 특정 객체 사이의 거리이고, L2는 분리된 구역의 가장자리와 마커 사이의 거리이며, Ref는 분리된 구역의 가장자리와 중심 사이의 거리임)로 이루어지는 수식에 의해 이루어지는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 마커가 상기 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, 상기 특정 객체를 선택하는 마커의 이미지가 360도 전방향에서 볼 수 있도록 시각화하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 원격 의료 시스템의 제어 방법은, 증강 현실 기반의 가상 의료 영상을 제공하는 디스플레이부, 상기 가상 의료 영상의 객체를 지시하는 인디케이터 및 상기 디스플레이부를 제어하는 제어부를 포함하는 원격 의료 시스템의 제어 방법으로서, 상기 제어부가 상기 인디케이터를 포함한 실시간 공간 영상으로부터 상기 인디케이터를 식별하는 단계, 상기 제어부가 상기 인디케이터에 상응하는 마커를 생성하는 단계, 상기 제어부가 상기 실시간 공간 영상에서의 인디케이터 좌표를 산출하는 단계, 상기 제어부가 상기 산출된 좌표를 기반으로 상기 생성한 마커를 상기 가상 의료 영상에 오버랩(overlap)하여 표시하도록 상기 디스플레이부를 제어하는 단계, 및 상기 제어부가 상기 가상 의료 영상에 오버랩된 마커가 상기 가상 의료 영상의 특정 객체를 선택하도록 보정하는 단계를 포함하는 것을 특징으로 한다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 원격 의료 시스템의 제어 방법을 제공하는 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상술한 방법 중 어느 하나의 방법을 수행하기 위해 매체에 저장된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같이 본 발명에 따르면, 가상 의료 영상의 객체 지시를 위한 인디케이터를 식별하여 마커를 제공함으로써, 사용자 편의성을 향상시키고 안전하면서도 감염 예방이 가능하도록 가상 의료 영상의 객체를 정확하게 표시하거나 또는 마킹할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은, 본 발명의 일 실시예에 따른 원격 의료 시스템을 설명하기 위한 블록 구성도이다.
도 2는, 본 발명에 따른 원격 의료 시스템을 설명하기 위한 개략도이다.
도 3은, 본 발명에 따른 원격 의료 시스템의 가상 의료 영상 제공 과정을 설명하기 위한 도면이다.
도 4는, 본 발명에 따른 인디케이터의 식별자 변경 과정을 설명하기 위한 블록 구성도이다.
도 5는, 본 발명에 따른 마커의 특정 객체 선택을 보정하는 과정을 설명하기 위한 도면이다.
도 6은, 본 발명에 따른 원격 의료 시스템이 수술실에 적용되는 실시예를 보여주는 도면이다.
도 7 내지 도 9는, 본 발명에 따른 원격 의료 시스템의 제어 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은, 본 발명의 일 실시예에 따른 원격 의료 시스템을 설명하기 위한 블록 구성도이고, 도 2는, 본 발명에 따른 원격 의료 시스템을 설명하기 위한 개략도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 원격 의료 시스템은, 실시간 공간 영상에 환자의 의료 정보가 출력되도록 증강 현실 기반의 가상 의료 영상을 제공하는 디스플레이부(100), 가상 의료 영상의 객체를 지시하는 인디케이터(200), 인디케이터(200)를 포함한 실시간 공간 영상을 획득하는 카메라부(300), 그리고 디스플레이부(100) 및 카메라부(300)를 제어하는 제어부(400)를 포함할 수 있다.
여기서, 제어부(400)는, 인디케이터(200)를 포함한 실시간 공간 영상으로부터 인디케이터(200)를 식별하고, 인디케이터(200)에 상응하는 마커(700)를 생성하며, 실시간 공간 영상에서의 인디케이터 좌표를 산출하고, 산출된 좌표를 기반으로 생성한 마커(700)를 가상 의료 영상에 오버랩(overlap)하여 표시하도록 디스플레이부(100)를 제어하며, 가상 의료 영상에 오버랩된 마커(700)가 가상 의료 영상의 특정 객체를 선택하도록 보정할 수 있다.
또한, 본 발명의 원격 의료 시스템은, 증강 현실 기반의 가상 의료 영상을 전송하는 통신부(400), 그리고 디스플레이부(100)에 제공되는 동일한 가상 의료 영상을 표시하는 보조 디스플레이부(600)를 더 포함할 수도 있다.
여기서, 제어부(400)는, 디스플레이부(100)에 제공되는 동일한 가상 의료 영상을 보조 디스플레이부(600)로 전송하도록 통신부(500)를 제어하고, 실시간 공간 영상에 환자의 의료 정보가 출력되는 증강 현실 기반의 가상 의료 영상을 표시하도록 보조 디스플레이부(600)를 제어할 수 있다.
또한, 본 발명의 원격 의료 시스템에서, 디스플레이부(100)는, 사용자의 눈에 장착되는 스마트 글래스를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
여기서, 스마트 글래스는, 적어도 하나의 렌즈(110)를 포함하고, 환자의 의료 정보가 수신되면 수신한 의료 정보를 렌즈(110)에 투영할 수 있다.
그리고, 디스플레이부(100)는, 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나를 포함하는 가상 의료 영상을 제공할 수 있다.
일 예로, 인체 내부 영상 정보는, 인체 일부 영역에 대한 내부 모습을 레이어(layer)별로 보여주는 가상 이미지를 포함할 수 있고, 환자 진료 정보는, 환자의 진료 기록 내역을 보여주는 가상 진료 기록 이미지를 포함할 수 있으며, 환자 의료 영상 정보는, 의료 기기에서 촬영된 환자의 의료 영상 데이터를 보여주는 가상 의료 영상 데이터 이미지를 포함할 수 있다.
예를 들면, 환자 진료 정보는, EMR(Electronic Medical Record) 연동 환자 정보를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
또한, 환자 의료 영상 정보는, PCAS(Patient Care Algorithm System) 연동 DICOM(Digital Imaging and Communications in Medical) 이미지에 대한 영상 의학 정보를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
이어, 디스플레이부(100)는, 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나를 포함하는 가상 의료 영상의 출력을 제어하기 위한 가상 조작 버튼을 제공할 수 있다.
여기서, 디스플레이부(100)는, 가상 조작 버튼을 조작하는 사용자 입력을 통해 가상 의료 영상의 투명도, 색상, 크기, 형상 중 적어도 어느 하나를 변경할 수 있다.
또한, 디스플레이부(100)는, 마커(700)의 출력을 제어하기 위한 가상 보조 버튼을 제공할 수도 있다.
여기서, 디스플레이부(100)는, 가상 보조 버튼을 조작하는 사용자 입력을 통해 마커의 투명도, 색상, 크기, 형상 중 적어도 어느 하나를 변경할 수 있다.
일 예로, 가상 보조 버튼은, 마커(700)의 출력을 제어하는 마커 제어 버튼, 마커(700) 및 가상 의료 영상의 출력을 중지하는 출력 중지 버튼, 그리고 사용자의 동작 인식을 중지하는 동작 인식 중지 버튼을 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
다음, 인디케이터(200)는, 사용자의 손에 의해 그립되는 본체부(210), 그리고 본체부(210)의 일측 끝단에 배치되어 특정 식별자(230)가 표시되는 식별자 표시부(220)를 포함할 수 있다.
여기서, 인디케이터(200)의 본체부(210)는, 제1 길이와 제1 폭을 갖는 제1 형상을 가지고, 인디케이터(200)의 식별자 표시부(220)는, 제1 길이보다 더 짧은 제2 길이와 제1 폭보다 더 넓은 제2 폭을 갖는 제2 형상을 가질 수 있다.
일 예로, 인디케이터(200)의 식별자 표시부(220)의 제2 길이는, 가상 의료 영상에 오버랩되는 마커(700)의 길이를 결정할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
즉, 인디케이터(200)의 식별자 표시부(220)는, 제2 길이의 증감에 비례하여 가상 의료 영상에 오버랩되는 마커(700)의 길이가 증감할 수 있다.
또한, 인디케이터(200)의 본체부(210)는, 나무, 플라스틱, 종이 중 적어도 어느 하나를 포함하는 재질로 이루어지고, 인디케이터(200)의 식별자 표시부(220)는, 탈지면 및 종이 중 적어도 어느 하나를 포함하는 재질로 이루어질 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
여기서, 인디케이터(200)는, 본체부(210)의 재질과 식별자 표시부(220)의 재질이 서로 다를 수 있다.
그 이유는, 인디케이터(200)의 본체부(210) 기능과 식별자 표시부(220) 기능이 다르므로, 해당 기능, 길이 및 강도 등을 고려하여 재질이 결정될 수 있기 때문이다.
또한, 인디케이터(200)의 식별자 표시부(220)는, 특정 형상의 적어도 하나의 특정 식별자(230)가 프린팅되어 표시될 수 있다.
여기서, 특정 식별자(230)는, 식별자 표시부(220)의 중앙 영역에 배치될 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
다른 일 예로, 특정 식별자(230)는, 식별자 표시부(220)의 상면의 중앙 영역에 배치되는 제1 식별자, 그리고 식별자 표시부(220)의 하면의 중앙 영역에 배치되는 제2 식별자를 포함할 수 있다.
여기서, 제1, 제2 식별자는, 서로 동일한 형상을 가지고, 식별자 표시부(220)의 상면 또는 하면을 기준으로 서로 대칭되어 배치될 수 있다.
경우에 따라, 제1, 제2 식별자는, 서로 다른 형상을 가지고, 식별자 표시부(220)의 상면 또는 하면을 기준으로 서로 대칭되어 배치될 수도 있다.
다른 경우로서, 제1, 제2 식별자는, 식별자 표시부(220)의 상면 또는 하면을 기준으로 서로 어긋나게 배치될 수도 있다.
또한, 인디케이터(200)는, 사용자 입력에 상응하여 식별자 표시부(220)에 표시되는 특정 식별자(230)를 변경하는 식별자 변경부를 더 포함할 수도 있다.
여기서, 식별자 변경부는, 특정 식별자(230)의 형상, 크기, 색상 중 적어도 어느 하나를 변경할 수 있다.
다음, 제어부(400)는, 실시간 공간 영상을 획득하도록 카메라부(300)를 제어하고, 카메라부(300)가 실시간 공간 영상을 획득하면 획득한 실시간 공간 영상으로부터 인디케이터(200)의 특정 식별자(230)를 추출하며, 추출한 특정 식별자(230)를 기반으로 인디케이터(200)를 식별할 수 있다.
여기서, 제어부(400)는, 인디케이터(200)를 식별할 때, 실시간 공간 영상으로부터 특정 식별자(230)가 추출되면 추출한 특정 식별자(230)가 미리 설정된 인디케이터용 식별자인지를 확인하고, 추출한 특정 식별자(230)가 미리 설정된 인디케이터용 식별자이면 실시간 공간 영상 내에 인디케이터(200)가 존재하는 것으로 인식하며, 추출한 특정 식별자(230)를 기반으로 인디케이터(200)를 식별할 수 있다.
이때, 제어부(400)는, 추출한 특정 식별자(230)가 미리 설정된 인디케이터용 식별자가 아니면 실시간 공간 영상 내에 인디케이터(200)가 존재하지 않는 것으로 인식하고, 추출한 특정 식별자(230)를 무시할 수 있다.
일 예로, 특정 식별자(230)는, 실시간 공간 영상 내의 노이즈일 수 있다.
또한, 제어부(400)는, 인디케이터(200)에 상응하는 마커(700)를 생성할 때, 추출한 특정 식별자(230)를 기반으로 실시간 공간 영상 내에 인디케이터(200)가 존재한다고 인식하면 미리 설정된 기본 마커를 생성할 수 있다.
일 예로, 제어부(400)는, 기본 마커를 생성할 때, 가장 최근에 생성된 마커(700)를 기본 마커로 생성할 수 있다.
다른 일 예로, 제어부(400)는, 기본 마커를 생성할 때, 가장 자주 생성된 마커(700)를 기본 마커로 생성할 수도 있다.
또 다른 일 예로, 제어부(400)는, 기본 마커를 생성할 때, 인디케이터(200)의 특정 식별자(230) 형상별로 미리 설정된 마커(700)를 기본 마커로 생성할 수도 있다.
다음, 제어부(400)는, 인디케이터 좌표를 산출할 때, 실시간 공간 영상에서 특정 식별자(230)의 중심점이 위치하는 XY 좌표를 산출하고, 특정 식별자(230)의 XY 좌표를 기반으로 인디케이터 좌표를 산출할 수 있다.
여기서, 제어부(400)는, 실시간 공간 영상 내의 픽셀 수에 기반하여 특정 식별자의 중심점이 위치하는 XY 좌표를 산출할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
이어, 제어부(400)는, 생성한 마커를 가상 의료 영상에 오버랩하여 표시할 때, 산출된 인디케이터 좌표가 가상 의료 영상 내에 인디케이터가 위치하는 것으로 판단되면 마커(700)의 이미지를 가상 의료 영상에 오버랩할 수 있다.
여기서, 제어부(400)는, 마커(700)의 이미지를 가상 의료 영상에 오버랩할 때, 마커(700)의 이미지가 오버랩되는 가상 의료 영상의 색상 및 밝기를 확인하고, 가상 의료 영상의 색상 및 밝기에 기반하여 마커(700)의 투명도를 조정할 수 있다.
일 예로, 제어부(400)는, 가상 의료 영상의 색상 및 밝기가 감소하면 마커(700)의 투명도를 높이고, 가상 의료 영상의 색상 및 밝기가 증가하면 마커(700)의 투명도를 낮출 수 있다.
그리고, 제어부(400)는, 생성한 마커(700)를 가상 의료 영상에 오버랩하여 표시할 때, 마커(700)의 이미지를 가상 의료 영상에 포함되는 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나에 오버랩하여 표시할 수도 있다.
이어, 제어부(400)는, 마커(700)가 가상 의료 영상의 특정 객체를 선택하도록 보정할 때, 마커(700)가 가상 의료 영상에 오버랩되면 가상 의료 영상을 다수의 구역들로 분리하고, 분리된 구역들 중 어느 하나의 구역에 마커(700)가 진입하면 마커(700)가 해당 구역 내의 특정 객체를 자동 선택하도록 보정할 수 있다.
여기서, 제어부(400)는, 가상 의료 영상을 다수의 구역들로 분리할 때, 가상 의료 영상 중에서 사용자가 자주 선택하는 구역들로 분리할 수 있다.
그리고, 제어부(400)는, 다수의 구역들 중 어느 하나의 구역에 마커(700)가 진입하면 마커(700)가 진입한 구역 내에 다수의 객체들이 존재하는지를 확인하고, 다수의 객체들이 존재하면 다수의 객체들 중 사용자가 자주 선택하는 특정 객체를 자동 선택하도록 보정할 수 있다.
예를 들면, 제어부(400)는, 마커(700)가 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, L1 - L2 ＜ Ref이면 L2 = L1 (여기서, L1은 분리된 구역의 가장자리와 특정 객체 사이의 거리이고, L2는 분리된 구역의 가장자리와 마커 사이의 거리이며, Ref는 분리된 구역의 가장자리와 중심 사이의 거리임)로 이루어지는 수식에 의해 이루어질 수 있다.
다음, 제어부(400)는, 마커(700)가 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, 자동 선택된 특정 객체의 색상 및 밝기 중 적어도 어느 하나를 주변 구역과 다르게 표시할 수 있다.
또한, 제어부(400)는, 마커(700)가 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, 특정 객체를 선택하는 마커의 이미지가 360도 전방향에서 볼 수 있도록 시각화할 수 있다.
또한, 제어부(400)는, 특정 객체를 선택하는 마커의 이미지에 특정 객체를 지시하는 방향 지시자가 표시되도록 시각화할 수도 있다.
여기서, 제어부(400)는, 인디케이터(200)의 이동 방향에 상응하여 방향 지시자가 마커(700)의 이미지에 표시되도록 시각화할 수 있다.
이와 같이 본 발명은, 가상 의료 영상의 객체 지시를 위한 인디케이터를 식별하여 마커를 제공함으로써, 사용자 편의성을 향상시키고 안전하면서도 감염 예방이 가능하도록 가상 의료 영상의 객체를 정확하게 표시하거나 또는 마킹할 수 있다.
도 3은, 본 발명에 따른 원격 의료 시스템의 가상 의료 영상 제공 과정을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 본 발명의 원격 의료 시스템은, 실시간 공간 영상 내에 포함되는 인디케이터의 마커를 생성하고, 생성한 마커를 가상 의료 영상(120)에 오버랩(overlap)하여 표시하도록 디스플레이부(100)를 제어하며, 가상 의료 영상(120)에 오버랩된 마커가 가상 의료 영상(120)의 특정 객체를 선택하도록 보정할 수 있다.
여기서, 디스플레이부(100)는, 사용자의 눈에 장착되는 스마트 글래스를 포함할 수 있는데, 스마트 글래스는, 환자의 의료 정보가 수신되면 수신한 의료 정보를 렌즈에 투영할 수 있다.
그리고, 디스플레이부(100)는, 환자의 인체 내부 영상 정보(122), 환자 진료 정보(124), 환자 의료 영상 정보(126) 중 적어도 어느 하나를 포함하는 가상 의료 영상(120)을 제공할 수 있다.
여기서, 인체 내부 영상 정보(122)는, 인체 일부 영역에 대한 내부 모습을 레이어(layer)별로 보여주는 가상 이미지를 포함할 수 있다.
이어, 환자 진료 정보(124)는, 환자의 진료 기록 내역을 보여주는 가상 진료 기록 이미지를 포함할 수 있다.
일 예로, 환자 진료 정보(124)는, EMR(Electronic Medical Record) 연동 환자 정보를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
다음, 환자 의료 영상 정보(126)는, 의료 기기에서 촬영된 환자의 의료 영상 데이터를 보여주는 가상 의료 영상 데이터 이미지를 포함할 수 있다.
일 예로, 환자 의료 영상 정보는, PCAS(Patient Care Algorithm System) 연동 DICOM(Digital Imaging and Communications in Medical) 이미지에 대한 영상 의학 정보를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
또한, 디스플레이부(100)는, 환자의 인체 내부 영상 정보(122), 환자 진료 정보(124), 환자 의료 영상 정보(126) 중 적어도 어느 하나를 포함하는 가상 의료 영상(120)의 출력을 제어하기 위한 가상 조작 버튼(130)을 제공할 수 있다.
여기서, 디스플레이부(100)는, 가상 조작 버튼(130)을 조작하는 사용자 입력을 통해 가상 의료 영상(120)의 투명도, 색상, 크기, 형상 중 적어도 어느 하나를 변경할 수 있다.
또한, 디스플레이부(100)는, 마커의 출력을 제어하기 위한 가상 보조 버튼(140)을 제공할 수도 있다.
여기서, 디스플레이부(100)는, 가상 보조 버튼(140)을 조작하는 사용자 입력을 통해 마커의 투명도, 색상, 크기, 형상 중 적어도 어느 하나를 변경할 수 있다.
일 예로, 가상 보조 버튼(140)은, 마커의 출력을 제어하는 마커 제어 버튼(142), 마커 및 가상 의료 영상의 출력을 중지하는 출력 중지 버튼(144), 그리고 사용자의 동작 인식을 중지하는 동작 인식 중지 버튼(146)을 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
도 4는, 본 발명에 따른 인디케이터의 식별자 변경 과정을 설명하기 위한 블록 구성도이다.
도 4에 도시된 바와 같이, 인디케이터(200)는, 사용자의 손에 의해 그립되는 본체부, 그리고 본체부의 일측 끝단에 배치되어 특정 식별자가 표시되는 식별자 표시부를 포함할 수 있다.
여기서, 인디케이터(200)의 식별자 표시부는, 특정 형상의 적어도 하나의 특정 식별자가 표시될 수 있다.
일 예로, 특정 식별자는, 실시간 공간 영상 내에서 가상 의료 영상을 지시하는 인디케이터를 식별하기 위한 것으로, 다양한 형상, 크기 및 색상을 가질 수 있다.
본 발명은, 인디케이터에 표시되는 특정 식별자를 통해 실시간 공간 영상 내에서 인디케이터를 인식할 수 있다.
또한, 인디케이터(200)는, 사용자 입력에 상응하여 식별자 표시부에 표시되는 특정 식별자(230)를 변경하는 식별자 변경부(250)를 포함할 수 있다.
여기서, 식별자 변경부(250)는, 특정 식별자의 형상, 크기, 색상 중 적어도 어느 하나를 변경할 수 있다.
경우에 따라, 식별자 변경부(250)는, 인디케이터의 식별자 표시부 내에서 특정 식별자의 위치를 변경할 수도 있다.
이처럼, 본 발명은, 식별자 변경부(250)를 통해 인디케이터(200)의 특정 식별자를 쉽고 간편하게 변경 가능하므로 사용자 편의성을 향상시킬 수 있고, 실시간 공간 영상 내에서 인디케이터를 쉽고 빠르고 정확하게 인식할 수 있다.
또한, 본 발명은, 인디케이터에 다수의 특정 식별자들이 표시되는 경우, 서로 다른 형상으로 표시할 수도 있고, 서로 다른 위치에 표시할 수도 있다.
이처럼, 본 발명은, 실시간 공간 영상을 획득하면 획득한 실시간 공간 영상으로부터 인디케이터(200)의 특정 식별자를 추출하고, 추출한 특정 식별자를 기반으로 인디케이터(200)를 식별할 수 있다.
즉, 본 발명은, 인디케이터(200)를 식별할 때, 실시간 공간 영상으로부터 특정 식별자가 추출되면 추출한 특정 식별자가 미리 설정된 인디케이터용 식별자인지를 확인하고, 추출한 특정 식별자가 미리 설정된 인디케이터용 식별자이면 실시간 공간 영상 내에 인디케이터(200)가 존재하는 것으로 인식하며, 추출한 특정 식별자를 기반으로 인디케이터(200)를 식별할 수 있다.
이때, 본 발명은, 추출한 특정 식별자가 미리 설정된 인디케이터용 식별자가 아니면 실시간 공간 영상 내에 인디케이터(200)가 존재하지 않는 것으로 인식하고, 추출한 특정 식별자를 무시할 수 있다.
그 이유는, 특정 식별자가, 실시간 공간 영상 내의 노이즈일 수 있기 때문이다.
도 5는, 본 발명에 따른 마커의 특정 객체 선택을 보정하는 과정을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 본 발명은, 마커(700)가 생성되면 마커(700)를 가상 의료 영상(120)에 오버랩하여 표시할 수 있다.
즉, 본 발명은, 산출된 인디케이터 좌표를 통해, 가상 의료 영상(120) 내에 인디케이터가 위치하는 것으로 판단되면, 마커(700)의 이미지를 가상 의료 영상(120)에 오버랩할 수 있다.
여기서, 본 발명은, 마커(700)의 이미지를 가상 의료 영상(120)에 오버랩할 때, 마커(700)의 이미지가 오버랩되는 가상 의료 영상(120)의 색상 및 밝기를 확인하고, 가상 의료 영상(120)의 색상 및 밝기에 기반하여 마커(700)의 투명도를 조정할 수 있다.
일 예로, 본 발명은, 가상 의료 영상(120)의 색상 및 밝기가 감소하면 마커(700)의 투명도를 높이고, 가상 의료 영상(120)의 색상 및 밝기가 증가하면 마커(700)의 투명도를 낮출 수 있다.
그리고, 본 발명은, 마커(700)가 가상 의료 영상(120)에 오버랩되면 가상 의료 영상(120)을 다수의 구역(160)들로 분리하고, 분리된 구역(160)들 중 어느 하나의 구역에 마커(700)가 진입하면 마커(700)가 해당 구역(160) 내의 특정 객체(162)를 자동 선택하도록 보정할 수 있다.
여기서, 본 발명은, 가상 의료 영상(120)을 다수의 구역(160)들로 분리할 때, 가상 의료 영상(120) 중에서 사용자가 자주 선택하는 구역들로 분리할 수 있다.
그리고, 본 발명은, 다수의 구역들 중 어느 하나의 구역(160)에 마커(700)가 진입하면 마커(700)가 진입한 구역(160) 내에 다수의 객체들이 존재하는지를 확인하고, 다수의 객체들이 존재하면 다수의 객체들 중 사용자가 자주 선택하는 특정 객체(162)를 자동 선택하도록 보정할 수 있다.
예를 들면, 본 발명은, 도 5와 같이, 마커(700)가 가상 의료 영상(120)의 특정 객체(162)를 자동 선택하도록 보정할 때, L1 - L2 ＜ Ref이면 L2 = L1 (여기서, L1은 분리된 구역(160)의 가장자리와 특정 객체(162) 사이의 거리이고, L2는 분리된 구역(160)의 가장자리와 마커(700) 사이의 거리이며, Ref는 분리된 구역(160)의 가장자리와 중심(164) 사이의 거리임)로 이루어지는 수식에 의해 이루어질 수 있다.
이처럼, 본 발명은, 마커가 특정 객체를 부정확하게 선택하여도 마커의 위치를 기반으로 자동으로 특정 객체를 정확하게 선택하도록 보정함으로써, 사용자에게 편의성을 제공하고 신뢰성을 높일 수 있다.
도 6은, 본 발명에 따른 원격 의료 시스템이 수술실에 적용되는 실시예를 보여주는 도면이다.
도 6에 도시된 바와 같이, 본 발명의 원격 의료 시스템은, 수술실에서 수술 중에 교육을 위해 증강 현실 기반의 가상 의료 영상(120)을 제공할 때, 집도의가 인디케이터(200)를 사용하여 가상 의료 영상(120)의 특정 객체를 지시하면 인디케이터(200)에 상응하는 마커(700)가 생성되고, 가상 의료 영상(120)에 생성된 마커(700)가 오버랩되며, 집도의를 포함한 다수의 의사들이 디스플레이부(100)를 통해 마커(700)가 선택하는 특정 객체를 확인할 수 있다.
따라서, 본 발명은, 가상 의료 영상의 객체 지시를 위한 인디케이터를 식별하여 마커를 제공함으로써, 사용자 편의성을 향상시키고 안전하면서도 감염 예방이 가능하도록 가상 의료 영상의 객체를 정확하게 표시하거나 또는 마킹할 수 있다.
도 7 내지 도 9는, 본 발명에 따른 원격 의료 시스템의 제어 방법을 설명하기 위한 순서도이다.
도 7에 도시된 바와 같이, 본 발명은, 인디케이터를 포함한 실시간 공간 영상으로부터 인디케이터를 식별할 수 있다(S10).
여기서, 본 발명은, 실시간 공간 영상을 획득하고, 획득한 실시간 공간 영상으로부터 인디케이터의 특정 식별자를 추출하며, 추출한 특정 식별자를 기반으로 인디케이터를 식별할 수 있다.
그리고, 본 발명은, 인디케이터에 상응하는 마커를 생성할 수 있다(S20).
여기서, 본 발명은, 추출한 특정 식별자를 기반으로 실시간 공간 영상 내에 인디케이터가 존재한다고 인식하면 미리 설정된 기본 마커를 생성할 수 있다.
일 예로, 본 발명은, 가장 최근에 생성된 마커를 기본 마커로 생성할 수 있다.
다른 일 예로, 본 발명은, 가장 자주 생성된 마커를 기본 마커로 생성할 수도 있다.
또 다른 일 예로, 본 발명은, 인디케이터의 특정 식별자 형상별로 미리 설정된 마커를 기본 마커로 생성할 수도 있다.
다음, 본 발명은, 실시간 공간 영상에서의 인디케이터 좌표를 산출할 수 있다(S30).
여기서, 본 발명은, 실시간 공간 영상에서 특정 식별자의 중심점이 위치하는 XY 좌표를 산출하고, 특정 식별자의 XY 좌표를 기반으로 인디케이터 좌표를 산출할 수 있다.
이어, 본 발명은, 산출된 좌표를 기반으로 생성한 마커를 가상 의료 영상에 오버랩(overlap)하여 표시할 수 있다(S40).
여기서, 본 발명은, 산출된 인디케이터 좌표가 가상 의료 영상 내에 인디케이터가 위치하는 것으로 판단되면 마커의 이미지를 가상 의료 영상에 오버랩할 수 있다.
일 예로, 본 발명은, 마커의 이미지가 오버랩되는 가상 의료 영상의 색상 및 밝기를 확인하고, 가상 의료 영상의 색상 및 밝기에 기반하여 마커의 투명도를 조정할 수 있다.
또한, 본 발명은, 마커의 이미지를 가상 의료 영상에 포함되는 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나에 오버랩하여 표시할 수도 있다.
그리고, 본 발명은, 가상 의료 영상에 오버랩된 마커가 가상 의료 영상의 특정 객체를 선택하도록 보정할 수 있다(S50).
여기서, 본 발명은, 마커가 가상 의료 영상에 오버랩되면 가상 의료 영상을 다수의 구역들로 분리하고, 분리된 구역들 중 어느 하나의 구역에 마커가 진입하면 마커가 해당 구역 내의 특정 객체를 자동 선택하도록 보정할 수 있다.
도 8에 도시된 바와 같이, 본 발명의 인디케이터 식별 과정 S10을 좀 더 상세히 설명하면 다음과 같다.
도 8과 같이, 본 발명은, 실시간 공간 영상으로부터 특정 식별자를 추출할 수 있다(S12).
이어, 본 발명은, 특정 식별자가 추출되면 추출한 특정 식별자가 미리 설정된 인디케이터용 식별자인지를 확인할 수 있다(S14).
다음, 본 발명은, 추출한 특정 식별자가 미리 설정된 인디케이터용 식별자이면 실시간 공간 영상 내에 인디케이터가 존재하는 것으로 인식할 수 있다(S16).
그리고, 본 발명은, 추출한 특정 식별자를 기반으로 인디케이터를 식별할 수 있다(S18).
또한, 본 발명은, 추출한 특정 식별자가 미리 설정된 인디케이터용 식별자가 아니면 실시간 공간 영상 내에 인디케이터가 존재하지 않는 것으로 인식하고, 추출한 특정 식별자를 무시할 수 있다(S19).
도 9에 도시된 바와 같이, 본 발명의 마커 선택 보정 과정 S50을 좀 더 상세히 설명하면 다음과 같다.
도 9와 같이, 본 발명은, 마커가 가상 의료 영상에 오버랩되면 가상 의료 영상을 다수의 구역들로 분리할 수 있다(S52).
여기서, 본 발명은, 가상 의료 영상 중에서 사용자가 자주 선택하는 구역들로 분리할 수 있다.
그리고, 본 발명은, 분리된 구역들 중 어느 하나의 구역에 마커가 진입하면 마커가 진입한 구역 내에 다수의 객체들이 존재하는지를 확인할 수 있다(S54).
다음, 본 발명은, 다수의 객체들이 존재하면 다수의 객체들 중 사용자가 자주 선택하는 특정 객체를 자동 선택하도록 보정할 수 있다(S56).
예를 들면, 본 발명은, 마커가 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, L1 - L2 ＜ Ref이면 L2 = L1 (여기서, L1은 분리된 구역의 가장자리와 특정 객체 사이의 거리이고, L2는 분리된 구역의 가장자리와 마커 사이의 거리이며, Ref는 분리된 구역의 가장자리와 중심 사이의 거리임)로 이루어지는 수식에 의해 이루어질 수 있다.
여기서, 본 발명은, 마커가 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, 자동 선택된 특정 객체의 색상 및 밝기 중 적어도 어느 하나를 주변 구역과 다르게 표시할 수 있다.
또한, 본 발명은, 특정 객체를 선택하는 마커의 이미지가 360도 전방향에서 볼 수 있도록 시각화할 수 있다.
또한, 본 발명은, 특정 객체를 선택하는 마커의 이미지에 특정 객체를 지시하는 방향 지시자가 표시되도록 시각화할 수도 있다.
이와 같이 본 발명은, 가상 의료 영상의 객체 지시를 위한 인디케이터를 식별하여 마커를 제공함으로써, 사용자 편의성을 향상시키고 안전하면서도 감염 예방이 가능하도록 가상 의료 영상의 객체를 정확하게 표시하거나 또는 마킹할 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 실시간 공간 영상에 환자의 의료 정보가 출력되도록 증강 현실 기반의 가상 의료 영상을 제공하는 디스플레이부;
    상기 가상 의료 영상의 객체를 지시하는 인디케이터;
    상기 인디케이터를 포함한 실시간 공간 영상을 획득하는 카메라부; 그리고,
    상기 디스플레이부 및 카메라부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 인디케이터를 포함한 실시간 공간 영상으로부터 상기 인디케이터를 식별하고, 상기 인디케이터에 상응하는 마커를 생성하며, 상기 실시간 공간 영상에서의 인디케이터 좌표를 산출하고, 상기 산출된 좌표를 기반으로 상기 생성한 마커를 상기 가상 의료 영상에 오버랩(overlap)하여 표시하도록 상기 디스플레이부를 제어하며, 상기 가상 의료 영상에 오버랩된 마커가 상기 가상 의료 영상의 특정 객체를 선택하도록 보정하는 것을 특징으로 하는 원격 의료 시스템.
  2. 제1 항에 있어서,
    상기 디스플레이부는,
    사용자의 눈에 장착되는 스마트 글래스를 포함하고,
    상기 스마트 글래스는,
    적어도 하나의 렌즈를 포함하고, 상기 환자의 의료 정보가 수신되면 상기 수신한 의료 정보를 상기 렌즈에 투영하는 것을 특징으로 하는 원격 의료 시스템.
  3. 제2 항에 있어서,
    상기 디스플레이부는,
    상기 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나를 포함하는 가상 의료 영상을 제공하는 것을 특징으로 하는 원격 의료 시스템.
  4. 제3 항에 있어서,
    상기 디스플레이부는,
    상기 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나를 포함하는 가상 의료 영상의 출력을 제어하기 위한 가상 조작 버튼을 제공하는 것을 특징으로 하는 원격 의료 시스템.
  5. 제4 항에 있어서,
    상기 디스플레이부는,
    상기 마커의 출력을 제어하기 위한 가상 보조 버튼을 제공하는 것을 특징으로 하는 원격 의료 시스템.
  6. 제1 항에 있어서,
    상기 인디케이터는,
    사용자의 손에 의해 그립되는 본체부; 그리고,
    상기 본체부의 일측 끝단에 배치되어 특정 식별자가 표시되는 식별자 표시부를 포함하는 것을 특징으로 하는 원격 의료 시스템.
  7. 제6 항에 있어서,
    상기 인디케이터의 본체부는,
    제1 길이와 제1 폭을 갖는 제1 형상을 가지고,
    상기 인디케이터의 식별자 표시부는,
    상기 제1 길이보다 더 짧은 제2 길이와 상기 제1 폭보다 더 넓은 제2 폭을 갖는 제2 형상을 가지는 것을 특징으로 하는 원격 의료 시스템.
  8. 제6 항에 있어서,
    상기 인디케이터의 식별자 표시부는,
    특정 형상의 적어도 하나의 특정 식별자가 프린팅되어 표시되는 것을 특징으로 하는 원격 의료 시스템.
  9. 제6 항에 있어서,
    상기 인디케이터는,
    사용자 입력에 상응하여 상기 식별자 표시부에 표시되는 특정 식별자를 변경하는 식별자 변경부를 더 포함하는 것을 특징으로 하는 원격 의료 시스템.
  10. 제1 항에 있어서,
    상기 제어부는,
    상기 생성한 마커를 상기 가상 의료 영상에 오버랩하여 표시할 때, 상기 산출된 인디케이터 좌표가 상기 가상 의료 영상 내에 인디케이터가 위치하는 것으로 판단되면 상기 마커의 이미지를 상기 가상 의료 영상에 오버랩하는 것을 특징으로 하는 원격 의료 시스템.
  11. 제10 항에 있어서,
    상기 제어부는,
    상기 마커의 이미지를 상기 가상 의료 영상에 오버랩할 때, 상기 마커의 이미지가 오버랩되는 상기 가상 의료 영상의 색상 및 밝기를 확인하고, 상기 가상 의료 영상의 색상 및 밝기에 기반하여 상기 마커의 투명도를 조정하는 것을 특징으로 하는 원격 의료 시스템.
  12. 제1 항에 있어서,
    상기 제어부는,
    상기 생성한 마커를 상기 가상 의료 영상에 오버랩하여 표시할 때, 상기 마커의 이미지를 상기 가상 의료 영상에 포함되는 환자의 인체 내부 영상 정보, 환자 진료 정보, 환자 의료 영상 정보 중 적어도 어느 하나에 오버랩하여 표시하는 것을 특징으로 하는 원격 의료 시스템.
  13. 제1 항에 있어서,
    상기 제어부는,
    상기 마커가 상기 가상 의료 영상의 특정 객체를 선택하도록 보정할 때, 상기 마커가 상기 가상 의료 영상에 오버랩되면 상기 가상 의료 영상을 다수의 구역들로 분리하고, 상기 분리된 구역들 중 어느 하나의 구역에 상기 마커가 진입하면 상기 마커가 해당 구역 내의 특정 객체를 자동 선택하도록 보정하는 것을 특징으로 하는 원격 의료 시스템.
  14. 제13 항에 있어서,
    상기 제어부는,
    상기 가상 의료 영상을 다수의 구역들로 분리할 때, 상기 가상 의료 영상 중에서 사용자가 자주 선택하는 구역들로 분리하는 것을 특징으로 하는 원격 의료 시스템.
  15. 제13 항에 있어서,
    상기 제어부는,
    상기 다수의 구역들 중 어느 하나의 구역에 상기 마커가 진입하면 상기 마커가 진입한 구역 내에 다수의 객체들이 존재하는지를 확인하고, 다수의 객체들이 존재하면 상기 다수의 객체들 중 사용자가 자주 선택하는 특정 객체를 자동 선택하도록 보정하는 것을 특징으로 하는 원격 의료 시스템.
  16. 제13 항에 있어서,
    상기 제어부는,
    상기 마커가 상기 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, L1 - L2 ＜ Ref이면 L2 = L1 (여기서, L1은 분리된 구역의 가장자리와 특정 객체 사이의 거리이고, L2는 분리된 구역의 가장자리와 마커 사이의 거리이며, Ref는 분리된 구역의 가장자리와 중심 사이의 거리임)로 이루어지는 수식에 의해 이루어지는 것을 특징으로 하는 원격 의료 시스템.
  17. 제13 항에 있어서,
    상기 제어부는,
    상기 마커가 상기 가상 의료 영상의 특정 객체를 자동 선택하도록 보정할 때, 상기 특정 객체를 선택하는 마커의 이미지가 360도 전방향에서 볼 수 있도록 시각화하는 것을 특징으로 하는 원격 의료 시스템.
  18. 제1 항에 있어서,
    상기 증강 현실 기반의 가상 의료 영상을 전송하는 통신부; 그리고,
    상기 디스플레이부에 제공되는 동일한 가상 의료 영상을 표시하는 보조 디스플레이부를 더 포함하고,
    상기 제어부는,
    상기 디스플레이부에 제공되는 동일한 가상 의료 영상을 상기 보조 디스플레이부로 전송하도록 상기 통신부를 제어하고,
    상기 실시간 공간 영상에 환자의 의료 정보가 출력되는 증강 현실 기반의 가상 의료 영상을 표시하도록 상기 보조 디스플레이부를 제어하는 것을 특징으로 하는 원격 의료 시스템.
  19. 증강 현실 기반의 가상 의료 영상을 제공하는 디스플레이부, 상기 가상 의료 영상의 객체를 지시하는 인디케이터 및 상기 디스플레이부를 제어하는 제어부를 포함하는 원격 의료 시스템의 제어 방법에 있어서,
    상기 제어부가, 상기 인디케이터를 포함한 실시간 공간 영상으로부터 상기 인디케이터를 식별하는 단계;
    상기 제어부가, 상기 인디케이터에 상응하는 마커를 생성하는 단계;
    상기 제어부가, 상기 실시간 공간 영상에서의 인디케이터 좌표를 산출하는 단계;
    상기 제어부가, 상기 산출된 좌표를 기반으로 상기 생성한 마커를 상기 가상 의료 영상에 오버랩(overlap)하여 표시하도록 상기 디스플레이부를 제어하는 단계; 및
    상기 제어부가, 상기 가상 의료 영상에 오버랩된 마커가 상기 가상 의료 영상의 특정 객체를 선택하도록 보정하는 단계를 포함하는 것을 특징으로 하는 원격 의료 시스템의 제어 방법.
  20. 하드웨어인 컴퓨터와 결합되어, 상기 제19 항의 제어 방법을 수행하기 위해 매체에 저장된, 원격 의료 시스템의 제어 방법을 제공하는 컴퓨터 프로그램.
KR1020220063372A 2022-05-24 2022-05-24 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램 KR20230163726A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220063372A KR20230163726A (ko) 2022-05-24 2022-05-24 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220063372A KR20230163726A (ko) 2022-05-24 2022-05-24 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR20230163726A true KR20230163726A (ko) 2023-12-01

Family

ID=89124405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220063372A KR20230163726A (ko) 2022-05-24 2022-05-24 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램

Country Status (1)

Country Link
KR (1) KR20230163726A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210052270A (ko) 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210052270A (ko) 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
US20230072188A1 (en) Calibration for Augmented Reality
US20220346889A1 (en) Graphical user interface for use in a surgical navigation system with a robot arm
US20190053851A1 (en) Surgical navigation system and method for providing an augmented reality image during operation
CN110494921A (zh) 利用三维数据增强患者的实时视图
JP2020523102A (ja) 滅菌野及び他の作業環境のためのユーザインターフェースシステム
US20190361592A1 (en) System and method of utilizing surgical tooling equipment with graphical user interfaces
CN106097294B (zh) 基于自动对应进行骨重定位
EP3797422B1 (en) System and method of utilizing surgical tooling equipment with graphical user interfaces
US20230346506A1 (en) Mixed reality-based screw trajectory guidance
AU2020404991B2 (en) Surgical guidance for surgical tools
KR20230163726A (ko) 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램
US12023109B2 (en) Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system
US11227441B2 (en) Technique for calibrating a registration of an augmented reality device
JP2022526540A (ja) 整形外科的固定制御及び可視化
KR102425063B1 (ko) 증강 현실을 이용한 수술 가이드 방법 및 장치
CN113490905B (zh) 用于控制牙科机器的方法和系统
CN109481016A (zh) 以患者面部作为触摸板用户界面
CN115778544B (zh) 基于混合现实的手术导航精度指示系统、方法和存储介质
US20230326059A1 (en) Patterned incision foil and method for determining a geometry of an anatomical surface
US20240206988A1 (en) Graphical user interface for a surgical navigation system
US20230127963A1 (en) Technique For Providing Guidance To A User On Where To Arrange An Object Of Interest In An Operating Room