KR102301234B1 - 수술 영상 제공 시스템 및 그 방법 - Google Patents

수술 영상 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR102301234B1
KR102301234B1 KR1020190115748A KR20190115748A KR102301234B1 KR 102301234 B1 KR102301234 B1 KR 102301234B1 KR 1020190115748 A KR1020190115748 A KR 1020190115748A KR 20190115748 A KR20190115748 A KR 20190115748A KR 102301234 B1 KR102301234 B1 KR 102301234B1
Authority
KR
South Korea
Prior art keywords
surgical
image
actual
standard
organ
Prior art date
Application number
KR1020190115748A
Other languages
English (en)
Other versions
KR20210034178A (ko
Inventor
이상욱
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020190115748A priority Critical patent/KR102301234B1/ko
Publication of KR20210034178A publication Critical patent/KR20210034178A/ko
Priority to KR1020210118649A priority patent/KR102382544B1/ko
Application granted granted Critical
Publication of KR102301234B1 publication Critical patent/KR102301234B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Gynecology & Obstetrics (AREA)
  • Urology & Nephrology (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

수술 영상 제공 시스템 및 그 방법이 제공된다. 상기 방법은 컴퓨터가 수행하는 수술 영상 제공 방법에 있어서, 수술 대상자에 대한 수술영역을 포함하는 실제수술영상을 실시간으로 획득하는 단계; 상기 실제수술영상으로부터 상기 수술영역에 대한 실제특징점을 설정하는 단계; 표준데이터를 기초로하여 상기 수술영역의 특징점에 대응되는 표준영역의 표준특징점을 설정하는 단계; 상기 수술영역의 실제특징점과 상기 표준영역의 표준특징점을 서로 매핑하여 상기 수술영역에 대한 보정데이터를 생성하는 단계; 및 상기 실제수술영상에 상기 보정데이터를 부가하여 가상현실영상을 생성하여 실시간으로 시각화하는 단계;를 포함하는 수술 영상 제공 방법을 포함할 수 있다.

Description

수술 영상 제공 시스템 및 그 방법 {SYSTEM FOR PROVIDING SURGICAL VIDEO AND METHOD THEREOF}
본 발명은 실제수술영상에 보정데이터가 부가된 가상현실영상을 실시간으로 제공하는 수술 영상 제공 시스템 및 그 방법에 관한 것이다.
수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.
현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.
복강경 수술은 개복을 하지 않고 배꼽 부위에 1cm 정도의 구멍을 내어 특수 카메라가 부착된 배 안을 들여다보는 내시경인 복강경과 수술 도구를 몸속으로 삽입하여 비디오 모니터를 통해서 관측하면서 레이저나 특수 기구를 이용하여 미세수술을 시행하는 수술이다.
이와 같은 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다.
하지만, 현재 복강경 수술 시 복강경에 의해 촬영된 수술 영상이 수술자에게 출력되어 수술자가 이를 보며 수술하고 있어서 직접 개복하여 수행하는 수술보다는 실제감이 다소 떨어지는 문제점이 있다. 또한 촉지검사를 수행할 수 없으므로, 전적으로 카메라를 통해 전송되는 수술 영상에만 의지하여 판단할 수 밖에 없다. 그리고, 복강경에 의해 촬영된 수술 영상은 수술 도구의 일부 형상만을 포함하고 있으므로, 수술자는 이들이 서로 충돌하거나 중첩되는 경우 조작이 어렵거나 시야 확보가 어려워 수술중 손상이 발생하여 추가적인 수술을 진행해야하는 경우가 발생할 수 있다.
따라서, 실제 수술시 획득되는 수술영상을 통해서 수술영역 및 이와 관련된 다양하고 명확한 정보를 제공하여 주는 것이 중요하다.
한국공개특허 제10-2011-0036453호, 2011.04.07
본 발명이 해결하고자 하는 과제는 수술 영상 제공 시스템 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 실제수술영상을 통해 수술영역에 포함된 장기들을 정확하게 보정하여 실제수술영상에 부가된 가상현실영상을 실시간으로 제공하는 수술 영상 제공 시스템 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 수술 영상 제공 방법은, 컴퓨터가 수행하는 수술 영상 제공 방법에 있어서, 수술 대상자에 대한 수술영역을 포함하는 실제수술영상을 실시간으로 획득하는 단계; 실제수술영상으로부터 수술영역에 대한 실제특징점을 설정하는 단계; 표준데이터를 기초로하여 수술영역의 특징점에 대응되는 표준영역의 표준특징점을 설정하는 단계; 수술영역의 실제특징점과 표준영역의 표준특징점을 서로 매핑하여 수술영역에 대한 보정데이터를 생성하는 단계; 및 실제수술영상에 보정데이터를 부가하여 가상현실영상을 생성하여 실시간으로 시각화하는 단계; 를 포함하는, 수술 영상 제공 방법을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 보정데이터를 생성하는 단계는, 수술영역을 세분화하여 수술영역에 포함된 실제 장기의 위치에 대한 좌표정보를 이용하여 실제특징점을 설정하는 단계; 표준영역을 세분화하여 표준영역에 포함된 표준 장기의 위치에 대한 좌표정보를 이용하여 표준특징점을 설정하는 단계; 표준데이터를 기초로하여 표준특징점과 실제특징점이 서로 대응되도록 매핑하여 수술영역에 위치하는 실제 장기의 위치 및 모양을 보정하여 보정데이터를 생성하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 보정데이터를 생성하는 단계는, 수술영역에 포함된 정적 장기에 대한 보정데이터를 생성하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 정적 장기에 대한 보정데이터를 생성하는 단계는, 실제 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출하는 단계; 및 표준특징점을 중심으로 표준 장기에 대응하여 실제 장기의 속성값을 기본값으로 보정하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 보정데이터를 생성하는 단계는, 수술영역에 포함된 동적 장기에 대한 보정데이터를 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 동적 장기에 대한 보정데이터를 생성하는 단계는, 실제 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출하는 단계; 및 실제 장기에 대한 움직임의 속성값을 산출하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 동적 장기의 움직임의 속성값을 산출하는 단계는, 실시간 연속 입력되는 실제수술영상을 기초로하여, 실제특징점을 기준으로 동적 장기에 대하여 일정시간동안 변화하는 운동성의 속도를 시간별로 분석하는 단계; 및 동적 장기에 대하여 시간별 운동성에 대한 움직임의 속성값을 산출하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 가상현실영상에 대응하여 표준데이터를 실시간으로 업데이트하는 단계; 를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 수술영역의 수술진행상황에 대한 피드백 정보를 동시에 실시간으로 디스플레이하는 단계; 를 더 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명의 일실시예에 따른 수술 영상 제공 시스템은, 수술 대상자에 대한 수술영역을 포함하는 실제수술영상을 실시간으로 촬영하는 영상촬영부; 표준데이터를 기초로하여, 수술영역의 실제특징점에 대응되는 표준영역의 표준특징점을 설정하고, 실제특징점과 표준특징점을 서로 매핑하여 수술영역에 위치하는 실제 장기의 위치 및 모양이 보정된 보정데이터를 부가하여 가상현실영상을 생성하는 영상제어부; 및 가상현실영상을 실시간으로 시각화하는 디스플레이부를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 영상제어부는, 수술영역에 포함된 실제 장기 중 정적 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출하여 표준데이터를 기초로 정적 장기에 대한 보정데이터를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 영상제어부는, 수술영역에 포함된 실제 장기 중 동적 장기에 대한 색상, 명도 및 채도의 속성값을 산출하고, 실시간 연속 입력되는 실제수술영상을 기초로하여, 실제특징점을 기준으로 동적 장기에 대하여 일정시간동안 변화하는 운동성의 속도를 시간별로 분석하여 동적 장기에 대한 움직임의 속성값을 산출하여 동적 장기에 대한 보정데이터를 생성할 수 있다.
본 발명의 다른 일 실시예에 따른 프로그램은 하드웨어인 컴퓨터와 결합되어, 컴퓨터가 수행하는 수술 영상 제공 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 수술시 실제수술영상에 보정된 데이터를 부가하여 가상현실영상을 실시간으로 제공함으로써, 의료진에게 최적화된 수술 영상을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 수술 영상 제공 시스템을 설명하기 위한 개념도이다.
도 2는 도 1에 도시된 수술 영상 제공 시스템의 상세 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 수술 영상 제공 방법을 설명하기 위한 도면이다.
도 4는 도 3에 도시된 표준데이터를 생성 및 저장하는 화면을 설명하기 위한 도면이다.
도 5는 도 3에 도시된 수술영상 촬영장치를 통해 획득한 실제수술영상을 설명하기 위한 도면이다.
도 6은 도 3에 도시된 보정데이터를 설명하기 위한 도면이다.
도 7은 도 3에 도시된 가상현실영상을 설명하기 위한 도면이다.
도 8은 도 3에 도시된 보정데이터를 생성하는 단계를 설명하기 위한 상세 도면이다.
도 9는 도 8에 도시된 보정데이터를 생성하는 단계를 설명하기 위한 상세 도면이다.
도 10은 본 발명의 다른 실시예에 따른 수술 영상 제공 방법을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 " 포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 수술 영상 제공 시스템을 설명하기 위한 개념도이고, 도 2는 도 1에 도시된 수술 영상 제공 시스템의 상세 구성을 설명하기 위한 도면이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 수술 영상 제공 시스템(1)은 수술영상 촬영장치(10), 영상제어장치(20) 및 서버(30)를 포함할 수 있다. 이때, 서버(30)는 생략될 수도 있다.
본 실시예에서, 수술영상 촬영장치(10) 및 영상제어장치(20)는 수술 대상자에게 수술을 행하는 수술영역에 위치하고, 서버(30)는 수술영역이 아닌 외부 영역에 위치하는 것이 바람직하다. 하지만, 이에 한정하지 않고, 서버(30)가 수술영역에 위치할 수도 있다.
여기서, 수술영상 촬영장치(10), 영상제어장치(20) 및 서버(30)는 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다. 무선통신망은 다양한 원거리 통신 방식이 지원될 수 있으며, 예를 들어 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), BLE(Bluetooth Low Energy), 지그비(Zigbee), RF(Radio Frequency), LoRa(Long Range) 등과 같은 다양한 통신 방식이 적용될 수 있으나 이에 한정되지 않으며 널리 알려진 다양한 무선통신 또는 이동통신 방식이 적용될 수도 있다. 이와 달리, 수술영상 촬영장치(10), 영상제어장치(20) 및 서버(30)는 유선통신 방식을 통해 데이터를 송수신할 수도 있다.
수술영상 촬영장치(10)는 내시경(endoscope)으로써, 내시경을 이용하여 수술 대상자의 몸속 내부를 촬영하여 수술영역을 포함하는 실제수술영상을 획득할 수 있다. 이때, 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등과 같이 수술시 촬영도구로 사용되는 다양한 종류의 도구가 될 수 있다.
실제수술영상은 3D 영상으로써, 수술영역 및/또는 수술영역을 포함하는 전체 영상으로 이루어질 수 있다. 실시예에 따라서, 실제수술영상은 수술도구(미도시)의 일부 모습에 대한 영상을 포함할 수도 있다.
실시예에 따라서, 수술영상 촬영장치(10)는 수술 대상자의 수술영역을 촬영하기 위해 적어도 하나의 이미지 센서를 포함하는 촬영부를 포함할 수 있다. 예를 들어, 촬영부는 카메라 장치 일 수 있다.
실시예에 따라서, 수술영상 촬영장치(10)는 수술로봇의 수술 암(arm)과 결합된 적어도 하나의 카메라일 수 있다. 이때, 수술로봇은 수술영역에 대한 의료행위 예를 들어, 절단, 클리핑, 고정, 잡기 동작 등의 동작을 수행할 수 있는 하나 이상의 수술도구를 포함할 수 있다.
실시예 따라서, 수술로봇은 의료진이 가상현실영상(VR, Virtual Reality)을 확인하여 영상제어장치(20)를 통해서 제어될 수 있다.
실시예에 따라서, 수술로봇은 사용자의 제어없이 영상제어장치(20)에 의해서 자동으로 제어될 수 있다.
영상제어장치(20)는 수술영상 촬영장치(10)로부터 실제수술영상을 실시간으로 획득하여 표준데이터를 기준으로 생성된 보정데이터를 실제수술영상에 부가하여 가상현실영상(VR, Virtual Reality)을 실시간으로 제공할 수 있다. 여기서, 표준데이터는 서버(30)로부터 획득할 수 있다. 표준데이터는 일반 대상자 즉, 질병을 갖고 있지 않은 일반 대상자로부터 획득한 의료영상데이터일 수 있다. 의료영상데이터는 인체 장기의 구조 및 위치에 대한 이미지 또는 영상을 포함할 수 있다. 이때, CT, PET, MRI, SPECT, US 중 어느 하나 이상의 영상 장비를 통해 촬영된 2D 또는 3D 의료영상데이터 일 수 있다. 이에 한정하지 않고, 의료영상데이터는 이미지데이터일 수도 있다.
이와 같은 영상제어장치(20)는 통신부(200), 저장부(210), 디스플레이부(220) 및 영상제어부(230)를 포함할 수 있다.
통신부(200)는 수술영상 촬영장치(10)로부터 획득된 실제수술영상을 실시간으로 수신하고, 서버(30)로부터 표준데이터를 수신할 수 있다.
실시예에 따라서, 통신부(200)는 실제수술영상을 서버(30)로 전송하고, 서버(30)로부터 실제수술영상에 대응하는 보정데이터를 수신할 수 있다.
실시예에 따라서, 통신부(200)는 서버(30)로부터 가상현실영상을 수신할 수 있다.
저장부(210)는 통신부(200)를 통해서 송수신되는 데이터 예를 들어, 표준데이터, 실제수술영상, 보정데이터 및 가상현실영상을 저장할 수 있다.
실시예에 따라서, 저장부(210)는 가상현실영상을 이용하여 수술로봇의 제어에 필요한 정보를 저장할 수 있다.
이와 같은 저장부(210)는 영상제어장치(20)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장부(210)는 영상제어장치(20)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 영상제어장치(20)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.
디스플레이부(220)는 수술영역에서 의료진이 수술 대상자의 수술진행상황을 모니터링할 수 있도록 실제수술영상 및/또는 가상현실영상을 실시간으로 화면을 통해서 동시에 출력할 수 있다. 이에 따라, 의료진은 디스플레이부(220)를 통해 디스플레이되는 가상현실영상을 보면서 영상제어부(230)를 조작하여 수술로봇의 움직임을 제어함으로써, 수술로봇을 원활히 수행할 수 있다.
실시예에 따라서, 디스플레이부(220)는 수술영상 촬영장치(10)와 영상제어장치(20), 또는 영상제어장치(20)와 서버(30), 또는 수술영상 촬영장치(10)와 서버(30) 사이에 송수신되는 데이터 등을 화면을 통해 출력할 수 있다.
실시예에 따라서, 디스플레이부(220)는 수술영역의 수술진행상황에 대한 피드백 정보를 실시간 화면을 통해 출력할 수 있다. 이때, 피드백 정보는 실제수술영상이 디스플레이되는 상태에서 팝업 창으로 동시에 출력되거나, 가상현실영상이 디스플레이되는 상태에서 팝업 창으로 동시에 출력될 수 있다.
실시예에 따라서, 디스플레이부(220)는 확장된 수술영역을 화면을 통해 출력할 수 있다.
이와 같은 디스플레이부(220)를 통해 수술 대상자의 수술진행상황을 실시간으로 확인함으로써, 의료진에게 최적화된 수술영상을 제공하여 원활한 수술이 진행되어 수술 대상자에게 더욱 큰 신뢰감을 줄 수 있다.
영상제어부(230)는 표준데이터를 기준으로 실제수술영상에 대한 보정데이터를 생성하여 보정데이터를 실제수술영상에 부가함으로써, 가상현실영상을 생성할 수 있다.
구체적으로, 영상제어부(230)는 카메라를 통해 촬영된 실제수술영상을 통해 척추 및 천추 등의 골격 구조와 간, 콩팥, 위장 및 대장 등의 내부 장기들의 위치를 세분화하여 분석한 후, 이에 대응되는 데이터를 표준데이터로부터 획득하여 실제수술영상에 포함된 골격 구조 및 내부 장기들의 위치를 파악할 수 있다. 이에 따라, 영상제어부(230)는 실제수술영상에 포함된 수술영역을 세분화하여 실제영역에 포함된 실제 장기의 위치에 대한 실제좌표정보를 검출하여 실제특징점을 설정하고, 수술영역에 대응되는 표준데이터의 표준영역을 세분화하여 표준영역에 포함된 표준 장기의 위치에 대한 표준좌표정보를 검출하여 실제특징점에 매핑되는 표준특징점을 설정할 수 있다. 이때, 영상제어부(230)는 카메라를 통해 촬영된 실제수술영상에 의해 노출된 골격 구조와 내부 장기들에 대한 위치 파악이 가능하지만, 카메라를 통해 촬영되지 않아 실제수술영상에 포함되지 않은 장기들 예를 들어, 복강 내에서 복막 밑에 위치하는 혈관, 요관 또는 신경 등의 장기들의 위치를 표준데이터로부터 획득할 수 있다.
이와 같이 설정된 수술영역의 실제특징점과 표준영역의 표준특징점을 영상제어부(230)가 서로 매핑하여 표준영역의 표준특징점을 기준으로 수술영역에 위치하는 실제 장기의 위치 및 모양을 보정하여 보정데이터를 생성할 수 있다.
이때, 보정데이터는 정적 장기 및 동적 장기에 대한 보정데이터를 포함할 수 있다.
정적 장기에 대한 보정데이터는 실제특징점을 중심으로 색상(구별되는 특성, RGB), 명도(속성, Brightness) 및 채도(순도, Chroma))의 속성값을 산출하여 표준특징점을 중심으로 표준 장기에 대응하여 정적 장기를 기본값으로 보정된 데이터일 수 있다. 구체적으로, 영상제어부(230)는 실제수술영상을 통해 노출된 정적 장기에 대한 위치를 파악하여 해당 정적 장기에 대한 실제 속성값을 산출한 후, 이에 대응되는 표준데이터에 포함된 표준 장기에 대한 표준 속성값을 이용하여 노출된 정적 장기에 대한 보정데이터를 생성할 수 있다.
또한, 영상제어부(230)는 실제수술영상을 통해 노출되지 않는 정적 장기에 대한 위치를 표준데이터를 통해 파악하여, 표준데이터에 포함된 표준 장기에 대한 표준 속성값을 기준으로 노출되지 않는 정적 장기에 대한 보정데이터를 생성할 수 있다.
동적 장기에 대한 보정데이터는 실제특징점을 중심으로 색상(구별되는 특성), 명도(속성), 채도(순도) 및 움직임(movement)의 속성값을 산출하여 보정된 데이터일 수 있다. 동적 장기에 대한 색상(구별되는 특성), 명도(속성), 채도(순도)는 표준특징점을 중심으로 표준 장기에 대응하여 동적 장기에 대한 보정데이터를 생성할 수 있다. 이때, 동적 장기에 대한 색상(구별되는 특성), 명도(속성), 채도(순도)의 속성값 산출 및 보정하는 방법은 정적 장기에 대한 색상(구별되는 특성), 명도(속성), 채도(순도)의 속성값 산출 및 보정하는 방법과 동일할 수 있다.
또한, 동적 장기에 대한 움직임의 속성값은 실시간 입력되는 실제수술영상으로부터 동적 장기에 대하여 변환하는 운동성의 속도를 시간별로 분석하여 동적 장기의 움직임의 값에 대한 보정데이터를 생성할 수 있다. 예를 들어, 맥박과 동일한 속도의 운동성을 갖는 혈관과 같은 동적 장기 는 맥박 속도를 기준으로 운동성의 속도를 시간별로 분석하여 보정데이터를 생성할 수 있다. 즉, 움직임의 정도에 따라 동적 장기의 위치 및 모양을 보정할 수 있다.
또한, 맥박과 다른 속도의 운동성을 갖는 요관, 정맥, 소장 또는 대장과 같은 동적 장기는 연속된 실제수술영상에 포함된 실제특징점을 기준으로 일정시간동안 변화하는 운동성의 속도를 시간별로 분석하여 보정데이터를 생성할 수 있다. 특히 요관, 장과 같은 동적 장기는 연동운동을 통한 움직임을 보이므로 움직임 변화를 통해 동적 장기의 이동방향을 확인할 수 있다.
이와 같이 생성된 보정데이터를 실제수술영상에 부가함으로써, 영상제어부(230)는 가상현실영상으로 시각화하여 실제수술영상보다 더욱 명확한 수술영상을 제공할 수 있다. 즉, 실제수술영상은 수술영상 촬영장치(10)의 화각(FOV, Field of View), 확대율, 진입방향, 촬영방향, 이동방향, 삽입깊이, 이동범위 등의 영향에 의해 장기의 위치 및 모양이 정확하게 촬영되지 않을 수 있다. 따라서, 표준데이터를 이용하여 실제수술영상의 수술영역을 더욱 명확하게 보정함으로써, 의료진에게 최적화된 수술 영상을 제공할 수 있다.
이와 달리, 영상제어부(230)는 서버(30)로부터 보정데이터를 수신하여 실제수술영상에 부가하여 가상현실영상을 생성하거나, 서버(30)로부터 생성된 가상현실영상을 수신받아 디스플레이부(220)를 통해 출력할 수 있다.
실시예 따라서, 영상제어부(230)는 실제수술영상 중 수술영역의 일부를 확대하여 확대 영상을 의료진에게 제공할 수 있다. 즉, 의료진이 수술중에 원하는 영역에 대한 확대 영상을 요구하는 경우, 영상제어부(230)는 해당 영역을 확대하여 확대 영상을 의료진에게 제공할 수 있다. 예를 들어, 실제수술영상 중 수술영역에 포함된 일부 영역을 확대하거나 실제수술영상 중 수술영역에 포함되지 않은 일부 영역을 확대하여 생성된 확대 영상을 제공할 수 있다. 이때, 확대 영상은 가상현실영상과 동시에 디스플레이될 수 있지만, 이에 한정하지 않는다. 예를 들어, 확대 영상은 가상현실영상이 디스플레이되는 상태에서 팝업 창으로 동시에 출력될 수 있다. 이와 달리, 확대 영상은 가상현실영상에 포함된 영상일 수도 있다.
실시예에 따라서, 영상제어부(230)는 실제수술영상의 수술영역이 표준데이터에 대응되도록 확대, 축소 또는 방향 회전 등을 조정할 수 있다. 이러한 조정에 의해 수술영역의 실제특징점과 표준영역의 표준특징점을 매핑시킬 수 있다.
실시예에 따라서, 영상제어부(230)는 가상현실영상을 이용하여 수술로봇의 제어에 필요한 정보를 생성하여 디스플레이부(220)를 통해 디스플레이되는 가상현실영상에 대응하여 수술로봇의 움직임을 제어할 수 있다. 이때, 영상제어부(230)는 수술로봇을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함할 수 있다.
실시예에 따라서, 영상제어부(230)는 서버(30)로부터 가상현실영상을 이용하여 수술로봇의 제어에 필요한 정보를 수신받아 가상현실영상에 대응하여 수술로봇의 움직임을 제어할 수 있다.
이와 같은 영상제어장치(20)는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현되는 컴퓨팅 장치일 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
서버(30)는 데이터송수신부(300), 데이터베이스부(310), 모니터링부(320) 및 서버제어부(330)을 포함할 수 있다.
데이터송수신부(300)는 영상제어장치(20)로 표준데이터를 전송할 수 있다.
실시예에 따라서, 데이터송신부(300)는 영상제어장치(20)로부터 실제수술영상을 수신받고, 보정데이터 또는 가상현실영상을 영상제어장치(20)로 전송할 수 있다.
실시예에 따라서, 데이터송신부(300)는 수술영상 촬영장치(10)로부터 실제수술영상을 수신받을 수 있다.
데이터베이스부(310)는 무선통신망을 통해 영상제어장치(20)와 송수신되는 데이터를 저장할 수 있다. 이때, 표준데이터는 실제수술영상, 보정데이터 및 가상현실영상에 대응하여 실시간으로 업데이트되어 저장될 수 있다.
데이터베이스부(310)는 서버(30)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 데이터베이스부(310)는 서버(30)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서버(30)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.
모니터링부(320)는 수술 대상자의 수술진행상황 및 수술영상 촬영장치(10)와 영상제어장치(20) 사이의 송수신되는 데이터 등을 화면을 통해 모니터링 할 수 있다. 즉, 수술 대상자의 수술진행상황을 실시간으로 확인함으로서, 응급상황등에 대응하여 원활한 수술진행이 가능하도록 할 수 있다.
서버제어부(330)는 표준데이터를 영상제어장치(20)에 제공하고, 표준데이터를 실시간으로 업데이트할 수 있다.
실시예에 따라서, 서버제어부(330)는 실제수술영상을 수신받아 보정데이터를 생성하여 영상제어장치(20)에 제공할 수 있다.
실시예에 따라서, 서버제어부(330)는 실제수술영상을 수신받아 보정데이터를 생성하고, 보정데이터가 부가된 가상수술영상을 생성한 후, 생성된 가상수술영상을 영상제어장치(20)에 제공할 수 있다.
실시예에 따라서, 서버제어부(330)는 가상현실영상을 이용하여 수술로봇의 제어에 필요한 정보를 생성하여 영상제어장치(20)로 전송할 수 있다.
실시예에 따라서, 서버제어부(330)는 실제수술영상 중 수술영역에 포함된 일부 영역을 확대하거나 실제수술영상 중 수술영역에 포함되지 않은 일부 영역을 확대하여 생성된 확대 영상을 영상제어장치(20)로 전송할 수 있다. 이때, 확대 영상은 가상현실영상에 포함된 영상일 수도 있다.
이와 같은 서버(30)는 수술영상 촬영장치(10)와 영상제어장치(20)와의 통신을 지원하는 각종 휴대 가능한 전자통신기기를 포함할 수 있다. 예를 들어, 별도의 스마트 기기로써, 스마트폰(Smart phone), PDA(Personal Digital Assistant), 테블릿(Tablet), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display)등 포함) 및 각종 IoT(Internet of Things) 단말과 같은 다양한 단말을 포함할 수 있지만 이에 한정하는 것은 아니다.
이와 같은 구조를 갖는 본 발명의 일실시예에 따른 수술 영상 제공 시스템(1)의 동작은 다음과 같다. 도 3은 본 발명의 일실시예에 따른 수술 영상 제공 방법을 설명하기 위한 도면이고, 도 4는 도 3에 도시된 표준데이터를 생성 및 저장하는 화면을 설명하기 위한 도면이며, 도 5는 도 3에 도시된 수술영상 촬영장치를 통해 획득한 실제수술영상을 설명하기 위한 도면이고, 도 6은 도 3에 도시된 보정데이터를 설명하기 위한 도면이며, 도 7은 도 3에 도시된 가상현실영상을 설명하기 위한 도면이다.
우선, 도 3에 도시된 바와 같이, 서버(30)는 표준데이터를 생성 및 저장할 수 있다(S100).
구체적으로, 서버(30)는 일반 대상자로부터 획득한 의료영상데이터를 저장할 수 있다. 질병을 갖고 있지 않은 일반 대상자로부터 획득한 데이터를 이용하여 인체 장기의 구조 및 위치를 생성 및 저장할 수 있다. 도 4에 도시된 바와 같이 의료영상데이터는 3D 의료영상데이터일 수 있다. 이에 한정하지 않고, 의료영상데이터는 2D 또는 이미지일 수 있다.
다음으로, 수술영상 촬영장치(10)는 수술 대상자로부터 내시경을 이용하여 수술 대상자의 몸속 내부를 촬영하여 수술영역을 포함하는 실제수술영상을 획득할 수 있다(S110). 예를 들어, 도 5에 도시된 바와 같이, 수술영역(A) 및 수술도구(B)가 포함된 영상을 포함할 수 있다.
다음으로, 영상제어장치(20)는 수술영상 촬영장치(10)로부터 실제수술영상을 수신하고, 서버(30)로부터 표준데이터를 수신할 수 있다.
실시예에 따라서, 영상제어장치(20)는 실제수술영상 및 표준데이터를 순서에 상관없이 수신할 수 있고, 이와 달리 동시에 수신할 수 있다.
다음으로, 영상제어장치(20)는 표준데이터를 기준으로 수술영역에 대한 보정데이터를 생성할 수 있다(S120). 예를 들어, 도 6에 도시된 바와 같이 수술영역(A)에 대한 보정데이터를 생성할 수 있다. 보정데이터를 생성하는 방법에 대해서는 도 8 및 도 9를 참조하여 더욱 상세히 후술한다.
다음으로, 영상제어장치(20)는 실제수술영상에 보정데이터를 부가하여 가상현실영상을 생성하여 이를 3D로 시각화할 수 있다(S130). 예를 들어, 도 7에 도시된 바와 같이 실제수술영상에 수술영역(A)에 포함된 동맥, 정맥, 요관에 대한 보정데이터가 부가되어 가상현실영상으로 생성될 수 있다. 이때, 동맥은 적색, 정맥은 청색, 요관은 황색으로 보정되어 의료진이 더욱 명확하게 파악할 수 있다.
다음으로, 영상제어장치(20)는 수술영역의 수술진행상황에 대한 피드백 정보를 실시간으로 가상현실영상과 동시에 출력할 수 있다(S140). 이에 따라, 의료진은 디스플레이부(220)를 통해 디스플레이되는 가상현실영상을 보면서 영상제어부(230)를 조작하여 수술로봇의 움직임을 제어함으로써, 수술로봇을 원활히 수행할 수 있다.
마지막으로, 서버(30)는 가상현실영상을 이용하여 표준데이터를 실시간으로 업데이트할 수 있다(S150).
도 8은 도 3에 도시된 보정데이터를 생성하는 단계를 설명하기 위한 상세 도면이고, 도 9는 도 8에 도시된 보정데이터를 생성하는 단계를 설명하기 위한 상세 도면이다.
도 8을 참조하면, 영상제어장치(20)는 수술영역의 실제특징점을 설정할 수 있다(S200).
구체적으로, 영상제어장치(20)는 카메라를 통해 촬영된 실제수술영상을 통해 척추 및 천추 등의 골격 구조와 간, 콩팥, 위장 및 대장 등의 내부 장기들의 위치를 세분화하여 분석한 후, 이에 대응되는 데이터를 표준데이터로부터 획득하여 실제수술영상에 포함된 골격 구조 및 내부 장기들의 위치를 파악할 수 있다. 이에 따라, 영상제어장치(20)는 실제수술영상에 포함된 수술영역을 세분화하여 실제영역에 포함된 실제 장기의 위치에 대한 실제좌표정보를 검출하여 실제특징점을 설정할 수 있다.
다음으로, 영상제어장치(20)는 수술영역의 실제특징점에 대응하는 표준데이터의 표준영역의 표준특징점을 설정할 수 있다(S210). 이때, 표준영역의 표준특징점은 표준영역을 세분화하여 표준영역에 포함된 표준 장기의 위치에 대한 좌표정보를 이용하여 특징점을 설정할 수 있다.
구체적으로, 영상제어장치(20)는 수술영역에 대응되는 표준데이터의 표준영역을 세분화하여 표준영역에 포함된 표준 장기의 위치에 대한 표준좌표정보를 검출하여 실제특징점에 매핑되는 표준특징점을 설정할 수 있다.
다음으로, 영상제어장치(20)는 표준데이터를 기초로하여 수술영역의 실제특징점과 표준영역의 표준특징점이 서로 대응되도록 매핑하여(S220), 표준영역의 표준특징점을 기준으로 수술영역에 위치하는 실제 장기의 위치 및 모양을 보정하여 보정데이터를 생성할 수 있다(S230). 이때, 보정데이터는 정적 장기 및 동적 장기에 대한 보정데이터를 포함할 수 있다.
구체적으로, 도 9를 참조하면, 영상제어장치(20)는 수술영역에 포함된 장기가 정적 장기인지 판단한다(S300).
정적 장기인 경우, 영상제어장치(20)는 실제특징점을 중심으로 실제 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출할 수 있다(S310).
다음, 영상제어장치(20)는 실제특징점을 중심으로 실제 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 표준특징점을 중심으로 표준 장기에 대응하여 실제 장기의 속성값을 기본값으로 보정할 수 있다(S320).
구체적으로, 영상제어장치(20)는 실제수술영상을 통해 노출된 정적 장기에 대한 위치를 파악하여 해당 정적 장기에 대한 실제 속성값을 산출한 후, 이에 대응되는 표준데이터에 포함된 표준 장기에 대한 표준 속성값을 이용하여 노출된 정적 장기에 대한 보정데이터를 생성하여 실제 장기의 속성값을 기본값으로 보정할 수 있다.
또한, 영상제어장치(20)는 실제수술영상을 통해 노출되지 않는 정적 장기에 대한 위치를 표준데이터를 통해 파악하여, 표준데이터에 포함된 표준 장기에 대한 표준 속성값을 기준으로 노출되지 않는 정적 장기에 대한 보정데이터를 생성하여 실제 장기의 속성값을 기본값으로 보정할 수 있다.
한편, 수술영역에 포함된 장기가 동적 장기인 경우(S330), 영상제어장치(20)는 실제특징점을 중심으로 동적 장기에 대한 움직임의 속성값을 산출할 수 있다.
구체적으로, 영상제어장치(20)는 실시간 연속 입력되는 실제수술영상을 기초로하여 실제특징점을 기준으로 동적 장기에 대하여 변화하는 운동성의 속도를 시간별로 분석할 수 있다(S340).
다음, 영상제어장치(20)는 동적 장기에 대하여 시간별 운동성에 대한 움직임의 속성값을 산출할 수 있다(S350).
예를 들어, 맥박과 동일한 속도의 운동성을 갖는 혈관과 같은 동적 장기 는 맥박 속도를 기준으로 운동성의 속도를 시간별로 분석하여 움직임의 속성값을 산출할 수 있다.
또한, 맥박과 다른 속도의 운동성을 갖는 요관, 정맥, 소장 또는 대장과 같은 동적 장기는 연속된 실제수술영상에 포함된 실제특징점을 기준으로 일정시간동안 변화하는 운동성의 속도를 시간별로 분석하여 움직임의 속성값을 산출할 수 있다.
다음, 영상제어장치(20)는 정적 장기와 동일하게 실제특징점을 중심으로 동적 장기의 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출하여 생성된 보정데이터를 이용하여 동적 장기의 모양 및 위치를 보정할 수 있다. 즉, 영상제어장치(20)는 실제특징점을 중심으로 동적 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 표준특징점을 중심으로 표준 장기에 대응하여 기본값으로 보정하고, 움직임의 정도에 따라 동적 장기의 위치 및 모양을 보정할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 수술 영상 제공 방법을 설명하기 위한 도면이다. 도 10에서는 가상현실영상을 서버(30)에서 생성하는 경우를 한정하여 설명한다.
도 10에 도시된 바와 같이, 서버(30)는 표준데이터를 생성 및 저장할 수 있다(S400).
구체적으로, 서버(30)는 일반 대상자로부터 획득한 의료영상데이터를 저장할 수 있다. 질병을 갖고 있지 않은 일반 대상자로부터 획득한 데이터를 이용하여 인체 장기의 구조 및 위치를 생성 및 저장할 수 있다. 도 4에 도시된 바와 같이 의료영상데이터는 3D 의료영상데이터일 수 있다. 이에 한정하지 않고, 의료영상데이터는 2D 또는 이미지일 수 있다.
다음으로, 수술영상 촬영장치(10)는 수술 대상자로부터 내시경을 이용하여 수술 대상자의 몸속 내부를 촬영하여 수술영역을 포함하는 실제수술영상을 획득할 수 있다(S410). 예를 들어, 도 5에 도시된 바와 같이, 수술영역(A) 및 수술도구(B)가 포함된 영상을 포함할 수 있다.
다음으로, 수술영상 촬영장치(10)는 실제수술영상을 영상제어장치(20) 및 서버(30)로 동시에 전송할 수 있다(S420).
다음으로, 서버(30)는 표준데이터를 기준으로 수술영역에 대한 보정데이터를 생성할 수 있다(S430). 보정데이터를 생성하는 방법에 대해서는 도 8 및 도 9에 기재된 방법과 동일할 수 있다.
다음으로, 서버(30)는 실제수술영상에 보정데이터를 부가하여 가상현실영상을 생성할 수 있다(S440). 서버(30)는 생성된 가상현실영상을 영상제어장치(20)로 전송할 수 있다.
다음으로, 영상제어장치(20)는 서버(30)로부터 전송된 가상현실영상을 시각화할 수 있다(S450).
마지막으로, 서버(30)는 가상현실영상을 이용하여 표준데이터를 실시간으로 업데이트할 수 있다(S460).
실시예에 따라, 서버(30)는 수술영역의 수술진행상황에 대한 피드백 정보를 실시간으로 영상제어장치(20)로 전송하고, 영상제어장치(20)는 피드백 정보와 가상현실영상과 동시에 출력할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
1 : 수술 영상 제공 시스템
10 : 수술영상 촬영장치
20 : 영상제어장치
30 : 서버

Claims (13)

  1. 컴퓨터가 수행하는 수술 영상 제공 방법에 있어서,
    수술 대상자에 대한 수술영역을 포함하는 실제수술영상을 실시간으로 획득하는 단계;
    상기 실제수술영상으로부터 상기 수술영역에 대한 실제특징점을 설정하는 단계;
    표준데이터를 기초로하여 상기 수술영역의 특징점에 대응되는 표준영역의 표준특징점을 설정하는 단계;
    상기 수술영역의 실제특징점과 상기 표준영역의 표준특징점을 서로 매핑하여 상기 수술영역에 대한 보정데이터를 생성하는 단계; 및
    상기 실제수술영상에 상기 보정데이터를 부가하여 가상현실영상을 생성하여 실시간으로 시각화하는 단계를 포함하며,
    상기 보정데이터를 생성하는 단계는,
    상기 수술영역에 포함된 동적 장기에 대한 보정데이터를 생성하는 단계를 포함하고,
    상기 컴퓨터는,
    실시간 연속 입력되는 상기 실제수술영상을 기초로 하여, 상기 실제특징점을 기준으로 상기 동적 장기에 대하여 일정시간동안 변화하는 운동성의 속도를 시간별로 분석하고, 상기 동적 장기에 대하여 시간별 운동성에 대한 움직임의 속성값을 산출하여 상기 동적 장기에 대한 보정데이터를 생성하는 것을 특징으로 하는, 수술 영상 제공 방법.
  2. 제1항에 있어서,
    상기 보정데이터를 생성하는 단계는,
    상기 수술영역을 세분화하여 상기 수술영역에 포함된 실제 장기의 위치에 대한 좌표정보를 이용하여 상기 실제특징점을 설정하는 단계;
    상기 표준영역을 세분화하여 상기 표준영역에 포함된 표준 장기의 위치에 대한 좌표정보를 이용하여 상기 표준특징점을 설정하는 단계;
    상기 표준데이터를 기초로하여 상기 표준특징점과 상기 실제특징점이 서로 대응되도록 매핑하여 상기 수술영역에 위치하는 실제 장기의 위치 및 모양을 보정하여 보정데이터를 생성하는 단계;를 포함하는, 수술 영상 제공 방법.
  3. 제2항에 있어서,
    상기 보정데이터를 생성하는 단계는,
    상기 수술영역에 포함된 정적 장기에 대한 보정데이터를 생성하는 단계;를 포함하는, 수술 영상 제공 방법.
  4. 제3항에 있어서,
    상기 정적 장기에 대한 보정데이터를 생성하는 단계는,
    상기 실제 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출하는 단계; 및
    상기 표준특징점을 중심으로 상기 표준 장기에 대응하여 상기 실제 장기의 속성값을 기본값으로 보정하는 단계;를 포함하는, 수술 영상 제공 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 동적 장기에 대한 보정데이터를 생성하는 단계는,
    실제 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출하는 단계; 및
    상기 실제 장기에 대한 움직임의 속성값을 산출하는 단계; 를 포함하는, 수술 영상 제공 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 가상현실영상에 대응하여 상기 표준데이터를 실시간으로 업데이트하는 단계;를 더 포함하는, 수술 영상 제공 방법.
  9. 제1항에 있어서,
    상기 수술영역의 수술진행상황에 대한 피드백 정보를 동시에 실시간으로 디스플레이하는 단계;를 더 포함하는, 수술 영상 제공 방법.
  10. 수술 대상자에 대한 수술영역을 포함하는 실제수술영상을 실시간으로 촬영하는 영상촬영부;
    표준데이터를 기초로하여, 상기 수술영역의 실제특징점에 대응되는 표준영역의 표준특징점을 설정하고, 상기 실제특징점과 상기 표준특징점을 서로 매핑하여 상기 수술영역에 위치하는 실제 장기의 위치 및 모양이 보정된 보정데이터를 부가하여 가상현실영상을 생성하는 영상제어부; 및
    상기 가상현실영상을 실시간으로 시각화하는 디스플레이부;를 포함하고,
    상기 영상제어부는,
    상기 수술영역에 포함된 동적 장기에 대한 보정데이터를 생성하고,
    실시간 연속 입력되는 상기 실제수술영상을 기초로 하여, 상기 실제특징점을 기준으로 상기 동적 장기에 대하여 일정시간동안 변화하는 운동성의 속도를 시간별로 분석하고, 상기 동적 장기에 대하여 시간별 운동성에 대한 움직임의 속성값을 산출하여 상기 동적 장기에 대한 보정데이터를 생성하는 것을 특징으로 하는 수술 영상 제공 시스템.
  11. 제10항에 있어서,
    상기 영상제어부는,
    상기 수술영역에 포함된 상기 실제 장기 중 정적 장기에 대한 색상(구별되는 특성), 명도(속성) 및 채도(순도)의 속성값을 산출하여 상기 표준데이터를 기초로 상기 정적 장기에 대한 보정데이터를 생성하는, 수술 영상 제공 시스템.
  12. 제10항에 있어서,
    상기 영상제어부는,
    상기 수술영역에 포함된 상기 실제 장기 중 동적 장기에 대한 색상, 명도 및 채도의 속성값을 산출하고, 실시간 연속 입력되는 상기 실제수술영상을 기초로하여, 상기 실제특징점을 기준으로 상기 동적 장기에 대하여 일정시간동안 변화하는 운동성의 속도를 시간별로 분석하여 상기 동적 장기에 대한 움직임의 속성값을 산출하여 상기 동적 장기에 대한 보정데이터를 생성하는, 수술 영상 제공 시스템.
  13. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190115748A 2019-09-20 2019-09-20 수술 영상 제공 시스템 및 그 방법 KR102301234B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190115748A KR102301234B1 (ko) 2019-09-20 2019-09-20 수술 영상 제공 시스템 및 그 방법
KR1020210118649A KR102382544B1 (ko) 2019-09-20 2021-09-06 수술 영상 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190115748A KR102301234B1 (ko) 2019-09-20 2019-09-20 수술 영상 제공 시스템 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210118649A Division KR102382544B1 (ko) 2019-09-20 2021-09-06 수술 영상 제공 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210034178A KR20210034178A (ko) 2021-03-30
KR102301234B1 true KR102301234B1 (ko) 2021-09-09

Family

ID=75265026

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190115748A KR102301234B1 (ko) 2019-09-20 2019-09-20 수술 영상 제공 시스템 및 그 방법
KR1020210118649A KR102382544B1 (ko) 2019-09-20 2021-09-06 수술 영상 제공 시스템 및 그 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210118649A KR102382544B1 (ko) 2019-09-20 2021-09-06 수술 영상 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (2) KR102301234B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11986248B2 (en) * 2021-07-29 2024-05-21 Hutom Co., Ltd. Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition
KR20240031518A (ko) 2022-08-30 2024-03-08 주식회사 안단테 의료현장 영상 및 사운드 트래킹 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598774B1 (ko) 2009-10-01 2016-03-02 (주)미래컴퍼니 수술용 영상 처리 장치 및 그 방법
KR102014385B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치

Also Published As

Publication number Publication date
KR102382544B1 (ko) 2022-04-01
KR20210034178A (ko) 2021-03-30
KR20210113580A (ko) 2021-09-16

Similar Documents

Publication Publication Date Title
US20220331049A1 (en) Systems and methods for controlling surgical data overlay
KR102382544B1 (ko) 수술 영상 제공 시스템 및 그 방법
US11907849B2 (en) Information processing system, endoscope system, information storage medium, and information processing method
US11004197B2 (en) Medical image processing apparatus, medical image processing method, and program
US10614555B2 (en) Correction processing of a surgical site image
CN112075914B (zh) 胶囊内窥镜检查系统
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US11503201B2 (en) Focus detection device and method
CN110392546A (zh) 信息处理设备、辅助系统和信息处理方法
JP2015531271A (ja) 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
US10568492B2 (en) Medical observation device and medical observation method
US10609354B2 (en) Medical image processing device, system, method, and program
EP3733047A1 (en) Surgical system, image processing device, and image processing method
JP7194889B2 (ja) コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
US20240087113A1 (en) Recording Medium, Learning Model Generation Method, and Support Apparatus
WO2016114155A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
KR20190030414A (ko) 의료 장치
US10952596B2 (en) Medical image processing device and image processing method
EP3937162A1 (en) Video signal processing device, video signal processing method, and image-capturing device
EP3540580A1 (en) Information processing device, information processing method, and program
WO2021211524A1 (en) Systems and methods of computer-assisted landmark or fiducial placement in videos
US20220370167A1 (en) Systems and methods for scene-adaptive image quality in surgical video
KR102505016B1 (ko) 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법
JP7311936B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
Anderson et al. Virtually transparent epidermal imagery (VTEI): On new approaches to in vivo wireless high-definition video and image processing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant