KR102505016B1

KR102505016B1 - 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법

Info

Publication number: KR102505016B1
Application number: KR1020200097028A
Authority: KR
Inventors: 박성현
Original assignee: (주)휴톰
Priority date: 2020-08-03
Filing date: 2020-08-03
Publication date: 2023-03-02
Also published as: KR20230031273A; KR20220016724A

Abstract

수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법이 제공된다. 상기 컴퓨터에 의해 특정한 수술에 대한 수술진행과정이 포함된 수술영상 내 단위동작의 서술정보 생성방법에 있어서, 상기 수술영상을 타겟 장기(Target Organ)를 바탕으로 하나 이상의 기본단계(FUNDAMENTAL STEP)로 분할하는 단계;상기 기본단계(FUNDAMENTAL STEP) 내에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 나누는 단계;수술도구에 의해 동작이 수행되는 상기 타겟 장기에 대한 수술 목적에 대응하는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 동작을 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할하는 단계; 및 상기 각각의 하위단계(SUB SECTION) 내에 포함된 하나 이상의 상기 단위영상을 수술 도구에 의해 동작되는 특정한 단위동작으로 판단하는 분할섹션으로 분할하는 단계;를 포함하고,상기 단위동작은 수술도구에 의해 해부학적 구조 또는 신체 내부 상태에 변화를 발생시키는 최소단위의 동작이고, 상기 수술영상은 가상수술데이터 또는 실제수술데이터일 수 있다.

Description

수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법 {SYSTEM FOR GENERATING DESCRIPTIVE INFORMATION OF UNIT MOVEMENT IN SURGICAL IMAGES AND METHOD THEREOF}

본 발명은 수술영상을 단위화하기 위한 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법에 관한 것이다.

의료수술은 개복수술(open surgery), 복강경 수술 및 로봇 수술을 포함하는 최소침습수술(MIS: Minimally Invasive Surgery), 방사선수술(radio surgery) 등으로 분류할 수 있다. 개복수술은 치료되어야 할 부분을 의료진이 직접 보고 만지며 시행하는 수술을 말하며, 최소침습수술은 키홀 수술(keyhole surgery)이라고도 하는데 복강경 수술과 로봇 수술이 대표적이다. 복강경 수술은 개복을 하지 않고 필요한 부분에 작은 구멍을 내어 특수 카메라가 부착된 복강경과 수술 도구를 몸속에 삽입하여 비디오 모니터를 통해서 관측하며 레이저나 특수기구를 이용하여 미세수술을 한다. 또한, 로봇수술은 수술로봇을 이용하여 최소 침습수술을 수행하는 것이다. 나아가 방사선 수술은 체외에서 방사선이나 레이저 광으로 수술 치료를 하는 것을 말한다.

이러한 의료수술의 경우, 실제 수술시 수술영상을 획득하여 이를 기초로 수술을 수행하는 경우가 많다. 따라서, 수술시에 획득되는 수술영상을 통해서 다양한 정보를 제공하여 주는 것이 중요하다.

또한, 수술과정에서 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술과정에서 행해지는 수술행위나 다양한 수술정보를 인식하고 인식된 정보의 의미를 파악하는 것이 중요하다.

따라서, 컴퓨터가 수술영상으로부터 수술행위나 다양한 수술정보를 인식할 수 있는 기술의 개발이 요구된다.

한국공개특허 제10-2013-0104097호, 2013.09.25

본 발명이 해결하고자 하는 과제는 수술영상을 단위화하기 위한 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터에 의해 특정한 수술에 대한 수술진행과정이 포함된 수술영상 내 단위동작의 서술정보 생성방법에 있어서, 상기 수술영상을 타겟 장기(Target Organ)를 바탕으로 하나 이상의 기본단계(FUNDAMENTAL STEP)로 분할하는 단계;상기 기본단계(FUNDAMENTAL STEP) 내에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 나누는 단계;수술도구에 의해 동작이 수행되는 상기 타겟 장기에 대한 수술 목적에 대응하는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 동작을 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할하는 단계; 및 상기 각각의 하위단계(SUB SECTION) 내에 포함된 하나 이상의 상기 단위영상을 수술 도구에 의해 동작되는 특정한 단위동작으로 판단하는 분할섹션으로 분할하는 단계;를 포함하고,상기 단위동작은 수술도구에 의해 해부학적 구조 또는 신체 내부 상태에 변화를 발생시키는 최소단위의 동작이고, 상기 수술영상은 가상수술데이터 또는 실제수술데이터일 수 있다.

본 발명의 일 실시예에 있어서, 상기 하위섹션(SUB SECTION) 분할하는 단계는, 특정한 타겟 조직(Target Anatomy) 또는 특정한 타겟 오브젝트(Target Object)에 대해 수행되는 상기 수술 동작의 목적에 따라 조직변형(Tissue transformation) 또는 기본조작(Basic action)으로 분할하는 단계; 및 상기 각각의 하위섹션(SUB SECTION) 내에 포함된 상기 단위영상을 상기 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 기본단계(FUNDAMENTAL STEP)로 분할하는 단계는, 상기 타겟 장기(Target Organ)에 대한 상기 수술 동작의 목적에 따라 장기 단위로 상기 수술 영상을 분할하는 단계; 및 상기 타겟 장기에 대한 상기 수술 동작의 목적에 따라 수술 유형으로 상기 수술 영상을 분할하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 기본단계(FUNDAMENTAL STEP)로 분할하는 단계는, 상기 타겟 장기에 대한 상기 수술 동작의 목적에 따라 상기 수술 영상에 포함된 방향성을 분할하는 단계; 를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 분할섹션으로 분할하는 단계는, 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 공간 좌표 이동에 따라 제1 단일동작으로 분할하는 단계; 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 상기 공간 좌표 내의 관절의 움직임에 따라 제2 단일동작으로 분할하는 단계; 및 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 움직임에 따라 제3 단일동작으로 분할하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제2 단일동작은 상기 수술 도구의 축 움직임에 대응하여 분할할 수 있다.

본 발명의 일 실시예에 있어서, 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구에 부착되는 보조장치의 활성화 또는 비활성화에 따라 제4 단위 동작으로 분할하는 단계;를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 분할섹션으로 분할하는 단계는, 상기 수술 목적에 따라 상기 수술 영상에서 하나의 수술 도구에 의해 이루어지는 하나의 수술 행위에 대한 동작을 단위 동작으로 분할하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 컴퓨터에 의해 상기 특정한 수술에 대한 상기 수술진행과정이 포함된 상시 수술 영상을 획득하는 단계; 상기 수술영상 중 수술준비과정을 분할하는 단계; 및 상기 수술영상 중 수술정리과정을 분할하는 단계;를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 수술영상이 실제수술데이터인 경우, 수술영상에서 발생된 이벤트상황에 대한 이벤트식별정보를 획득하는 단계; 를 더 포함하고, 이벤트상황은 하나 이상의 단위동작에 의해 신체조직에 의도되지 않은 변화가 발생되는 것이고, 이벤트식별정보는 각 출혈상황 시에 이용된 수술도구, 수술도구의 사용목적, 출혈이 발생된 타겟조직 중 적어도 하나에 대한 정보를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 이벤트식별정보를 기반으로 수술결과를 평가하는 단계; 를 더 포함할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성장치는, 특정한 수술에 대한 수술진행과정이 포함된 수술영상을 획득하는 수술영상획득부; 상기 수술영상을 하나 이상의 기본단계(FUNDAMENTAL STEP)로 분할하고, 상기 기본단계(FUNDAMENTAL STEP) 내에 포함된 복수의 단위영상을 타겟 장기(Target Organ)를 바탕으로 메인섹션(MAIN SECTION)으로 분할하고, 수술도구에 의해 동작이 수행되는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 바탕으로 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할하고, 각 하위섹션(SUB SECTION) 내에 포함된 하나 이상의 상기 단위영상을 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할하고, 단일 수술기구의 단일 동작을 단위 동작으로 판단하여 분할섹션으로 분할하는 수술영상분할부; 및 상기 기본단계(FUNDAMENTAL STEP), 상기 메인섹션(MAIN SECTION), 상기 하위섹션(SUB SECTION) 및 상기 분할섹션에 대한 제1식별정보를 연결하여, 특정한 단위동작에 대한 서술정보를 생성하는 서술정보생성부; 를 포함하고, 상기 단위동작은 수술도구에 의해 해부학적 구조 또는 신체 내부 상태에 변화를 발생시키는 최소단위의 동작이고, 상기 수술영상은 가상수술데이터 또는 실제수술데이터일 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 시스템은, 수술진행과정이 포함된 수술영상을 동작이 수행되는 장기 또는 조직에 대한 정보를 기반으로 생성된 계층구조를 통해 각각의 단위동작에 대한 제1식별정보를 생성하는 서술정보 생성모듈; 단위동작에 포함된 수술도구 종류정보 또는 각 수술도구의 개별동작정보를 포함하는 제2식별정보를 생성하는, 하나 이상의 수술도구 관리모듈; 을 포함할 수 있다.

본 발명의 일 실시예에 있어서, 수술도구 관리모듈은, 특정한 단위동작이 포함된 기본단계(FUNDAMENTAL STEP), 메인섹션(MAIN SECTION), 하위섹션(SUB SECTION) 또는 분할섹션의 구별없이 특정한 수술도구 종류에 대한 개별동작의 제2식별정보를 생성할 수 있다.

본 발명의 일 실시예에 있어서, 수술영상에서 발생된 이벤트상황에 대한 이벤트식별정보를 생성하는 이벤트식별정보 생성모듈; 을 더 포함하고, 이벤트상황은 하나 이상의 단위동작에 의해 신체조직에 의도되지 않은 변화가 발생되는 것이고, 이벤트식별정보는 각 출혈상황 시에 이용된 수술도구, 수술도구의 사용목적, 출혈이 발생된 타겟조직 중 적어도 하나에 대한 정보를 포함할 수 있다.

그리고, 본 발명의 다른 일 실시예에 따른 프로그램은 하드웨어인 컴퓨터와 결합되어, 컴퓨터가 수행하는 특정한 단위동작에 대한 서술정보를 생성하는 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 컴퓨터에서 독출가능한 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 수술준비과정, 수술진행과정 및 수술정리과정이 포함된 수술영상을 단위화하여 수술영상 내 단위동작의 서술정보를 생성함으로써, 정규화 과정을 통해 수술영상을 단위화하여 체계적인 형태로 표현이 가능하다. 이에 따라, 생성된 서술정보를 학습함으로써, 실제 수술 진행시 더욱 효율적인 수술이 진행될 수 있다.

또한, 수술 종류에 따라 단위화되어 생성된 서술정보를 이용함으로써, 수술시 발생 가능한 다양한 이벤트에 대하여 적절하게 대응하여 의료 사고를 더욱 방지할 수 있다.

또한, 수술 종류에 따라 단위화되어 생성된 서술정보를 기준으로 실제 수술이 진행된 수술 결과를 분석 및 검토하여 의료진에게 더욱 명확한 서술정보를 제공할 수 있다.

또한, 기저장된 서술정보를 학습하여 교육자료로 제공함으로써, 수술 결과를 더욱 향상시킬 수 있다.

그리고, 기저장된 서술정보를 이용하여 수술전에 환자가 모니터링할 수 있게 함으로써, 환자가 의료진에 대한 신뢰감이 더욱 상승할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 시스템을 설명하기 위한 개념도이다.
도 2는 도 1에 도시된 수술영상 내 단위동작의 서술정보 생성 시스템의 상세 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 방법을 설명하기 위한 도면이다.
도 4는 도 3에 도시된 수술영상을 분할하는 단계를 설명하기 위한 상세 도면이다.
도 5는 도 3에 도시된 수술영상을 분할하는 단계를 설명하기 위한 상세 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)” 및/또는 “포함하는(comprising)”은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, “및/또는”은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 “제1”, “제2” 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 “부” 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, “부” 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 “부” 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. “부” 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 “부” 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 “부” 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 “부” 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 “부” 또는 “모듈”들로 더 분리될 수 있다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 시스템을 설명하기 위한 개념도이고, 도 2는 도 1에 도시된 수술영상 내 단위동작의 서술정보 생성 시스템의 상세 구성을 설명하기 위한 도면이다.

본 발명의 실시예들에 따른 수술영상 내 단위동작의 서술정보 생성시스템(이하, 서술정보 생성 시스템)은 의료진에 의해 수행되는 전체 수술영상을 표준화된 복수의 수술동작으로 분할하는 역할을 수행한다.

일실시예로, 수술영상 내 단위동작의 단위동장의 서술정보 생성시스템(이하, 서술정보 생성 시스템)은, 획득되는 수술영상을 자체적으로 복수의 단위동작으로 자동 분할을 수행할 수도 있다.

또한, 다른 일실시예로, 서술정보 생성 시스템은, 어노테이터(Annotator)에게 단위동작으로 분할하기 위한 가이드를 제공하고 어노테이터(Annotator)로부터 분할요청입력을 수신하여 서술정보를 생성할 수도 있다. 예를 들어, 후술되는 서술정보 생성장치는 특정한 수술영상을 어노테이션하는 어노테이터의 클라이언트에 영상 분할지점 결정에 참고할 수 있는 데이터를 제공할 수 있다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 시스템(1)은 서술정보 생성장치(10), 서버(20) 및 단말기(30)를 포함할 수 있다. 이 때, 서버(20) 및 단말기(30)는 생략될 수도 있다.

본 실시예에서, 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 시스템(1)은 응용 프로그램(application program 또는 애플리케이션(application))에 의해 동작하는 컴퓨터와 같은 전자장치에 의해 수행될 수 있지만, 이에 한정하지 않고, 전자장치를 조작하는 사용자 또는 수술로봇에 의해 동작할 수도 있다.

여기서, 수술영상 서술정보 생성장치(10), 서버(20) 및 단말기(30)는 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다. 무선통신망은 다양한 원거리 통신 방식이 지원될 수 있으며, 예를 들어 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), BLE(Bluetooth Low Energy), 지그비(Zigbee), RF(Radio Frequency), LoRa(Long Range) 등과 같은 다양한 통신 방식이 적용될 수 있으나 이에 한정되지 않으며 널리 알려진 다양한 무선통신 또는 이동통신 방식이 적용될 수도 있다. 이와 달리, 서술정보 생성장치(10), 서버(20) 및 단말기(30)는 유선통신 방식을 통해 데이터를 송수신할 수도 있다.

우선, 본 실시예에서, 서술정보는 특정한 수술에 대한 수술영상으로부터 특정한 단위동작에 대한 정보일 수 있다. 예를 들어, 서술정보는 특정한 수술에 대하여 수술영상에 포함된 수술과정 즉, 수술준비과정, 수술진행과정 및 수술정리과정을 정규화 과정을 통해 각 단위별로 단위화하여 문자열 코드로 변환하여 체계적인 형태로 정의한 정보일 수 있지만, 이에 한정하지 않는다. 또한, 단위정보는 수술준비과정, 수술진행과정 및 수술정리과정을 수행하기 위해 발생하는 동작에 대한 최소한의 단위정보일 수 있지만, 이에 한정하는 것은 아니다. 예를 들어, 수술로봇, 수술도구, 영상촬영도구 등의 동작에 대한 최소한의 단위정보일 수 있다. 여기서, 동작에 대한 최소한의 단위정보란 수술준비과정, 수술진행과정 및 수술정리과정을 수행하기 위해 촬영장치에 촬영된 영상에 포함된 행동을 뜻할 수 있지만, 이에 한정하지 않는다. 예를 들어, 카메라의 촬영각도의 동작, 수술로봇의 동작, 수술도구의 동작을 포함할 수 있다.

서술정보 생성장치(10)는 획득한 수술영상을 단위 영상으로 분할하여 수술영상 내 단위동작의 서술정보를 생성할 수 있다. 서술정보 생성장치(10)는 본 개시에서 응용 프로그램(application program 또는 애플리케이션(application))을 이용하여 동작할 수 있으며, 이러한 응용 프로그램은 무선통신을 통해 외부서버 또는 서버(20)로부터 다운로드 될 수 있다.

구체적으로, 서술정보 생성시스템이 수술영상을 기반으로 자동으로 서술정보를 생성하는 경우, 도 2에서와 같이, 서술정보 생성장치(10)는 수술영상 획득부(100), 통신부(120), 저장부(140), 디스플레이부(160) 및 제어부(180)의 전부 또는 일부를 포함할 수 있다.

수술영상 획득부(100)는 서버(20)로부터 수술에 대한 수술영상을 획득할 수 있다. 여기서, 서버(20)는 사용자의 요청에 대응하여 수술영상을 제공하는 컴퓨터일 수 있다.

수술영상은 본 개시에서 의료영상데이터로서, 수술 종류에 따라 수술준비과정, 수술진행과정 및 수술정리과정을 포함하는 실제수술데이터 또는 가상수술데이터를 포함할 수 있다. 이때, 수술준비과정은 수술 현장에서 의료진이 환자를 상대로 수술을 진행하기 위한 준비과정으로서, 수술에 필요한 재료준비를 위한 동작, 환자상태체크하는 동작 등을 포함할 수 있다. 수술진행과정은 의료진이 환자를 상대로 수술을 진행하는 과정으로서, 수술로봇의 동작 및 수술도구의 동작 등을 포함할 수 있다. 수술정리과정은 의료진이 환자를 상대로 수술이 완료된 후 수술상황을 마무리하기 위한 정리과정으로서, 수술도구 정리를 위한 동작 등을 포함할 수 있다.

한편, 수술영상은 수술 종류에 따라 수술로봇의 동작 또는 수술도구의 동작이 포함되지 않을 수도 있다.

또한, 수술영상은 실제수술데이터 또는 가상수술데이터가 포함될 수 있다. 실제수술데이터는 실제 의료진이 수술을 수행하는 수술동작을 포함하는 수술과정을 수술로봇의 수술암(arm)과 결합된 적어도 하나의 촬영장치를 통해 획득되는 데이터일 수 있고, 가상수술데이터는 의료영상데이터를 기반으로 기생성된 가상신체모델에 대해 수행되는 리허설 또는 수술 시뮬레이션 행위를 포함하는 데이터일 수 있다. 실시예에 따라, 가상수술데이터는 가상공간에서 가상신체모델에 대한 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 의료진에 의해 수행된 수술동작을 포함하는 수술과정에 대해 기록된 데이터를 기반으로 다시 구현된 영상일 수 있다.

이와 같은 실제수술데이터 또는 가상수술데이터를 포함하는 수술영상은 2D 또는 3D 의료영상데이터 일 수 있다. 이에 한정하지 않고, 의료영상데이터는 이미지데이터일 수도 있다.

통신부(120)는 서버(20)로부터 수술영상을 수신하고, 수술영상에 대한 서술정보를 서버(20)로 전송할 수 있다.

실시예에 따라, 통신부(120)는 서버(20)로부터 수술영상에 대한 서술정보를 수신할 수 있다.

실시예에 따라, 통신부(120)는 단말기(30)로부터 수술영상을 수신하고, 단말기(30)로 수술영상에 대한 서술정보를 전송할 수 있다.

실시예에 따라, 통신부(120)는 서술정보에 대한 피드백정보를 서버(20) 및 단말기(30)로 전송하거나 수신할 수 있다.

저장부(140)는 통신부(120)를 통해서 송수신되는 데이터(예를 들어, 수술영상, 수술영상에 대한 서술정보 및 서술정보에 대한 피드백정보)를 저장할 수 있다. 이때, 서술정보는 피드백정보에 대응하여 실시간으로 업데이트되어 저장될 수 있다.

이와 같은 저장부(140)는 서술정보 생성장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장부(140)는 서술정보 생성장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서술정보 생성장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.

제어부(180)는 수술영상을 기반으로 서술정보를 생성하는 역할을 수행한다. 제어부(180)가 포함하는 세부 모듈에 대한 설명과 서술정보를 생성하는 구체적인 수행방식은 상세히 후술한다.

또한, 일실시예로, 서술정보 생성장치는, 디스플레이부(160)는 수술영상, 수술영상에 대한 서술정보 및 서술정보에 대한 피드백정보를 사용자, 예를 들어 의료진이 확인할 수 있도록 화면을 통해서 디스플레이할 수 있다. 또한, 디스플레이부(160)는 서술정보 생성장치(10), 서버(20) 및 단말기(30) 사이에 송수신되는 데이터 등을 화면을 통해 출력할 수 있다.

이하, 서술정보생성장치 내의 제어부(180)에 대한 상세한 설명을 기술한다.

제어부(180)는 수술영상 분할모듈(181), 서술정보 생성모듈(182), 수술도구 관리모듈(183) 및 이벤트식별정보 생성모듈(184) 중 적어도 하나를 포함할 수 있다.

수술영상 분할모듈(181)은 수술영상을 여러 단계 또는 계층으로 분할하는 역할을 수행한다. 즉, 수술영상 분할모듈(181)은 수술영상을 수술동작의 최소단위까지 세분화하여 서술정보로 표현하기 위해 수술동작의 최소단위까지 분할하는 역할을 수행한다.

일실시예로, 수술영상 분할모듈(181)은 수술영상 중 수술준비과정이 포함된 제1 영역, 수술진행과정이 포함된 제2 영역 및 수술정리과정이 포함된 제3 영역을 단위화하기 위해 단위동작으로 분할할 수 있다.

구체적으로, 수술영상 분할모듈(181)은 수술영상 중 수술준비과정이 포함된 제1 영역을 수술준비단계로 분할할 수 있다. 예를 들어, 수술 종류에 따라 수술에 필요한 재료준비를 위한 동작, 환자상태체크하는 동작 등을 단위동작으로 분할할 수 있다.

수술영상 분할모듈(181)은 수술영상 중 수술진행과정이 포함된 제2 영역을 수술진행단계로 분할할 수 있다.

수술영상 분할모듈(181)은 수술영상 중 수술정리과정이 포함된 제3 영역을 수술정리단계로 분할할 수 있다. 예를 들어, 수술 종류에 따라 수술도구 정리를 위한 동작 등을 포함할 수 있다. 또한, 예를 들어, 수술정리단계는 수술을 수행한 후에 트로카 제거 및 봉합 등의 수행과정을 포함할 수 있다.

실시예에 따라, 수술영상 분할모듈(181)은 수술영상 중 수술준비과정이 포함된 제1 영역, 수술진행과정이 포함된 제2 영역 및 수술정리과정이 포함된 제3 영역 중 적어도 하나의 영역만을 단위영상으로 분할할 수 있다. 즉, 수술 종류에 따라 수술진행과정만을 단위영상으로 분할할 수 있다.

수술영상 분할모듈(181)은 제1영역에 대응하는 수술준비과정, 제2영역에 대응하는 수술진행과정, 제3영역에 대응하는 수술정리과정을 각각 세부단계 또는 세부계층으로 분할을 수행할 수 있다.

이를 통해, 전체 수술영상은 최소단위로 분할되고 이를 서술정보로 표현함에 따라 수술영상 자체를 정확하게 서술(Description)할 수 있게 된다.

이하, 수술영상 분할모듈(181)이 제2영역인 수술수행과정을 세부단계로 분할하는 과정에 대해 상세히 기술한다.

수술수행과정을 세부단계로 분할하는 방식의 일실시예로, 수술영상 분할모듈(181)은 수술유형에 따른 제1분할단계, 신체의 수술영역에 따른 제2분할단계, 조직 변형에 따른 제3분할단계 및 도구 자체의 움직임에 대한 제4분할단계로 분할할 수 있다. 상기 제1분할단계, 제2분할단계, 제3분할단계 및 제4분할단계는 하위에 세부분할단계로 나뉠 수 있다.

상기 제1분할단계는 수술 준비 후에 어떤 수술을 수행하는지에 대한 단계이다. 예를 들어, 수술을 시작하여 한번에 여러 수술을 수행하는 경우, 제1분할단계에서 여러 수술유형으로 나누어질 수 있다. 제1분할단계로 분할되어 서술정보가 부여된 예시로, 위암 수술 또는 이에 대응되는 코드가 부여되는 것이 해당될 수 있다.

상기 제2분할단계는, 환자의 신체 중에 어느 영역을 수술하는지에 따라 분할되는 것이다. 일실시예로, 제2분할단계는 환자 신체의 수술공간의 상세한 수준을 기반으로 하위단계로 분할을 수행할 수 있다. 예를 들어, 제2분할단계는 환자 신체의 수술공간(예를 들어, 복강, 흉강, 골반강, 두개강 등) 기반으로 분할되는 제2-1분할단계, 해당 수술공간 내의 수술동작이 수행되는 장기 또는 병변을 기반으로 분할되는 제2-2분할단계 및 장기의 특정 방향을 기반으로 분할되는 제2-3분할단계를 포함할 수 있다.

제2-1분할단계는 특정한 수술을 수행하기 위한 수술공간에 대한 액션으로 분할될 수 있다. 특정한 수술공간(예를 들어, 위암 수술인 경우, 복강 내부)에 대한 접근, 수술공간에서의 수술과정 등을 포함할 수 있다.

제2-2분할단계는 특정한 대상(예를 들어, 장기 또는 병변)에 대해 수행되는 액션으로, 대상의 노출, 대상의 주변으로부터의 박리, 대상의 절제, 대상의 재구성의 전부 또는 일부가 해당될 수 있다. 수술 유형에 따라, 대상의 절제를 수행한 후 대상의 재구성을 수행하지 않아도 되는 경우, 제2-2분할단계 중에 대상의 재구성에 해당하는 과정이 포함되지 않을 수 있다.

제2-3분할단계는 특정한 대상에서 수술동작이 수행되는 방향 또는 수행되는 목적을 기반으로 분할되는 것이다. 예를 들어, 제2-3분할단계는, 제2-2분할단계의 “대상의 노출”단계를 분할하는 경우, ⅰ)노출을 위한 접근단계와 ⅱ)수술을 위한 공간확보 단계(Field making step)으로 될 수 있다. 또한, 제2-2분할단계가 대상 박리인 경우, 제2-3분할단계는 수행되는 방향(예를 들어, 상방, 하방, 좌측, 우측, 전방, 후방)을 기반으로 제2-3분할단계가 분할되어 설정될 수 있다.

제2분할단계는 제2-1분할단계, 제2-2분할단계, 제2-3분할단계의 전부 또는 일부를 포함할 수 있다. 또한, 각 세부단계는 하나 이상으로 분할될 수 있고, 상하위 단계가 동일할 수 있다.

제3분할단계는, 변형되는 조직의 명칭과 조직에 대한 변형 유형을 기반으로 분할되는 것이다. 구체적인 예로, 제3분할단계는 각각의 제2-3분할단계를 수행하는 하나 이상의 액션에 대한 임상적 표현으로서, 수행되는 상세 조직과 그에 대한 수술동작 종류(예를 들어, 7,8,9 dissection)을 포함하는 것이다.

제3분할단계도 복수의 세부단계로 분할될 수 있다. 즉, 하위단계로 제3-2분할단계를 더 포함하여, 제3-1단계에 해당하는 수술구간이 분할되어 있는 것을 각각의 제3-2분할단계로 설정할 수 있다. 이를 통해, 한번에 연속적으로 수행되어야 하는 제3-1분할단계가 중간에 다른 액션이 포함됨에 따라 불연속적으로 수행되는 것을 파악할 수 있고, 수술의 효율성 평가에 활용될 수 있다. 구체적으로, 제3-1분할단계가 한번에 수행되지 못하여 복수의 제3-2분할단계로 나누어지면 수술도구의 변경 등에 의해 수술시간이 길어지게 되어 비효율적인 것으로 판단할 수 있다. 즉, 제3수술단계가 효율적으로 수행되면, 제3-1분할단계는 하나의 제3-2분할단계만 포함할 수 있다.

제4분할단계는 제3분할단계를 세부적으로 분할하는 것으로, 개별수술도구의 움직임을 기반으로 분할되는 것이다. 제4분할단계는 복수의 세부단계로 분할되어, 특정 수술도구의 연속적인 동작에 해당하는 제4-1분할단계, 연속동작 내의 각각의 기본 움직임에 해당하는 제4-2분할단계, 각 기본 움직임(기본동작)을 구성하는 최소 단위동작에 해당하는 제4-3분할단계로 단계적으로 분할될 수 있다.

예를 들어, 대상 조직을 타조직으로부터 박리하는 경우, 연속적/반복적인 절단 동작이 수행되어야 한다. 이 때, 특정한 수술도구를 이용한 연속적인 수술동작은 제4-1분할단계에 해당하고, 1회의 절단 동작은 제4-2분할단계에 해당하고, 절단동작을 위해 수술도구 내의 각 구성의 순차적인 움직임(예를 들어, 직선의 공간좌표 이동, 관절움직임, 전기 활성화)은 제4-3분할단계에 해당한다.

이와 같이, 제1분할단계부터 제4-3분할단계까지 분할되면, 특정한 수술유형 단위의 분할부터 각 수술도구의 구성별 동작 단위까지 계층적으로 분할될 수 있다.

또한, 수술수행과정을 세부단계로 분할하는 방식의 다른 일실시예로, 수술영상 분할모듈(181)은 제2 영역의 수술영상을 타겟 장기(Target Organ)를 바탕으로 하나 이상의 기본단계(FUNDAMENTAL STEP)로 분할하고, 기본단계 내에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 분할하며, 수술도구에 의해 동작이 수행되는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 바탕으로 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할하고, 각 하위섹션(SUB SECTION) 내에 포함된 하나 이상의 단위영상을 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할하고, 단일 수술기구의 단일 동작을 단위 동작으로 판단하여 분할섹션으로 분할할 수 있다. 여기서, 타겟 장기(Target Organ)는 수술의 대상이 되는 신체 장기를 나타내고, 타겟 조직(Target Anatomy)은 수술중 조작되는 해부학적 부분이고, 타겟 오브젝트(Target Object)는 수술에 필요한 수술 현장에 사용되는 재료 예를 들어, 금속 클립, 혈소판 클립, 봉합사, 바늘, 거즈, 배수구 등일 수 있다.

이때, 기본단계(FUNDAMENTAL STEP)는 수술의 진행방향을 결정하는 기본적인 단계일 수 있다.

구체적으로, 타겟 장기에 대한 수술 동작의 목적에 따라 장기 단위로 수술 영상을 분할하고, 타겟 장기에 대한 수술 동작의 목적에 따라 수술 유형으로 수술 영상을 분할할 수 있다.

예를 들어, 타겟 장기가 위인 경우 수술 영상에서 위가 노출되는 영상을 분할할 수 있다.

실시예에 따라 타겟 장기에 대한 수술 동작의 목적에 따라 수술 유형으로 수술 영상을 분할할 수 있다.

실시예에 따라, 타겟 장기에 대한 수술 동작의 목적에 따라 수술 영상에 포함된 방향성을 분할할 수 있다. 즉, 타겟 장치의 기관 또는 병명의 방향성을 갖는 조직에 대한 영상을 분할할 수 있다.

예를 들어, 타겟 장기가 노출되도록 상방, 하방, 좌측, 우측, 전방, 후방 등의 다양한 방향으로 분할할 수 있다. 이때, 방향성에 대한 분할 영상은 단수 또는 복수개일 수 있다.

또한, 메인섹션(MAIN SECTION)은 수술이 진행되는 과정중 제1 과정을 단위영상으로 분할할 수 있다. 예를 들어, 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 영상을 분할할 수 있다.

예를 들어, 메인섹션(MAIN SECTION)은 수술 관심 단계로써, 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 특정 방향에 대한 수술 영상을 분할할 수 있다. 이때, 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)은 단수 또는 복수개일 수 있다.

하위섹션(SUB SECTION)은 메인섹션(MAIN SECTION) 내에 포함된 복수의 단위영상을 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 바탕으로 특정한 단위 동작으로 분할할 수 있다.

구체적으로, 수술 목적에 대응하여 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 조직에 대한 행위가 이루어져 조직이 변형되는 제2 과정을 단위영상을 분할할 수 있다. 예를 들어, 신경 또는 혈관의 변형에 대한 영상을 분할할 수 있다.

또한, 수술 목적에 대응하여 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 조직을 변경시키는 수술도구의 수술동작에 대한 제3 과정을 단위영상으로 분할할 수 있다. 예를 들어, 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 절단수술영상, 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 연결수술영상, 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 분리 또는 박리하는 수술영상을 분할할 수 있다. 여기서, 절단수술영상, 연결수술영상, 분리 또는 박리하는 수술영상을 수행하기 위한 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)의 고정 및/또는 견인수술영상을 분할할수도 있다.

실시예에 따라, 복수의 수술도구에 의한 복수의 수술동작 또는 단일의 수술도구에 의한 복수의 수술동작에 대한 단위영상을 분할할 수 있다.

수술 목적에 대응하여 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 조직을 변경시키는 수술도구의 수술동작에 대한 제2 과정을 단위영상으로 분할할 수 있다.

수술 목적에 대응하여 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 키 무브먼트(KEY MOVEMENT)의 동작에 대한 제4 과정을 단위영상으로 분할할 수 있다. 이때, 키 무브먼트(KEY MOVEMENT)는 하나의 기구가 한번의 행위를 하는 영상을 나타낼 수 있다.

예를 들어, 수술도구의 보조동작으로서, 시퀀스를 형성하기 위해 다른 수술도구의 동작과 결합될 수 있는 수술도구에 의한 하나의 동작을 단위영상으로 분할할 수 있다. 즉, 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 조직 예를 들어 상피, 결합, 근육, 골, 연골 등에 대해서 실, 반늘, 거즈 등의 보조 도구를 이용하여 이루어지는 동작에 대하여 단위영상을 분할할 수 있다.

그리고, 수술 목적에 대응하여 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 단일 수술기구의 단일 동작을 단위 동작으로 판단하여 분할섹션으로 분할하는 제5 과정을 단위영상으로 분할할 수 있다.

예를 들어, 단일 동작은 수술 도구의 공간 좌표 이동에 따는 제1 단일동작, 수술 도구의 공간 좌표 내의 관절의 움직임에 따라 제2 단일동작, 수술 도구의 움직임에 따라 제3 단일동작, 수술 도구에 부착되는 보조장치의 활성화 또는 비활성화에 따라 제4 단일동작으로 분류될 수 있지만, 이에 한정하는 것은 아니다.

이때, 제2 단일동작은 수술 도구의 축 움직임에 대응하여 분할될 수 있다.

실시예에 따라, 수술영상 분할모듈(181)은 수술 종류에 따라 수술진행과정중 기본단계(FUNDAMENTAL STEP), 메인섹션(MAIN SECTION), 하위섹션(SUB SECTION) 및 분할섹션 중 적어도 하나만을 고려하여 단위영상을 특정한 단위동작으로 판단하여 분할할 수 있다. 이와 달리, 수술 종류에 따라 더욱 상세한 단위동작으로 판단하여 분할해야하는 경우 다양한 단계를 추가하여 단위동작으로 분할할 수 있다.

실시예에 따라, 수술영상 분할모듈(181)은 수술영상에 대해 단위동작으로 기분할된 수술영상을 새로운 단위동작으로 재분할할 수 있다.

실시예에 따라, 특정 수술에 대한 전문가들이 수술영상을 단위동작으로 분할될 수 있다. 특히, 특정 수술의 전문가에 의해 수술진행과정이 단위동작으로 분할될 수 있다.

실시예에 따라, 전문가들이 수술영상에 대해 단위동작으로 기분할된 수술영상을 새로운 단위동작으로 재분할할 수 있다.

서술정보 생성모듈(182)은 단위동작으로 분할된 수술영상을 정규화 과정을 통해 각 단위별로 단위화하여 문자열 코드로 변환하여 서술정보를 생성할 수 잇다.

서술정보 생성모듈(182)은 장기 또는 조직에 대한 정보를 기반으로 수술영상 즉, 수술준비과정, 수술진행과정 및 수술정리과정에 대하여 계층구조를 통해 각각의 단위동작에 대한 제1식별정보를 생성할 수 있다.

일실시예로, 서술정보 생성모듈(182)은 수술준비과정과, 기본단계(FUNDAMENTAL STEP), 메인섹션(MAIN SECTION), 하위섹션(SUB SECTION) 및 분할섹션으로로 이루어진 수술진행과정과, 수술정리과정에 대한 제1식별정보를 연결하여, 특정한 단위동작에 대한 서술정보를 생성할 수 있다. 이때, 제1식별정보는 수술준비과정, 수술진행과정 및 수술정리과정에 부여된 문자열 코드에 해당할 수 있다. 여기서, 단위동작은 수술도구에 의해 해부학적 구조 또는 신체 내부 상태에 변화를 발생시키는 최소단위의 동작일 수 있다.

실시예에 따라, 제1식별정보는 수술준비과정 및 수술정리과정이 생략될 수 있다.

실시예에 따라, 제1식별정보는 수술진행과정 중 키 무브먼트(KEY MOVEMENT)가 생략될 수 있다.

수술도구 관리모듈(183)은 단위동작에 포함된 수술도구 종류정보 또는 각 수술도구의 개별동작정보를 포함하는 제2식별정보를 생성할 수 있다. 즉, 수술도구 관리모듈(183)은 특정한 단위동작이 포함된 기본단계(FUNDAMENTAL STEP), 메인섹션(MAIN SECTION), 하위섹션(SUB SECTION) 또는 분할섹션의 구별없이 특정한 수술도구 종류에 대한 개별동작의 제2식별정보를 생성할 수 있다.

이벤트식별정보 생성모듈(184)은 수술영상이 실제수술데이터인 경우, 수술영상에서 발생된 이벤트 상황에 대한 이벤트식별정보를 생성할 수 있다. 이때, 이벤트식별정보는 각 출혈상황 시에 이용된 수술도구, 수술도구의 사용목적, 출혈이 발생된 타겟조직 중 적어도 하나에 대한 정보를 포함할 수 있다.

여기서, 이벤트상황은 하나 이상의 단위동작에 의해 신체조직에 의도되지 않은 변화가 발생되는 것일 수 있다.

이와 같은 구조의 제어부(180)는 특정한 단위동작에 대한 서술정보를 생성할 수 있다.

실시예에 따라, 제어부(180)는 이벤트식별정보를 기반으로 수술결과를 평가하여 피드백정보를 생성할 수 있다.

이와 같은 서술정보 생성장치(10)는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현되는 컴퓨팅 장치일 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.

그리고, 서술정보 생성장치(10)는 동일한 수술 또는 상이한 수술에 대한 수술과정에 대한 서술정보를 반복적으로 생성함으로써, 각각의 수술에 대하여 정형화된 서술정보를 생성할 수 있다. 이에 따라, 의료진에게 각 수술에 대하여 최적화된 서술정보를 제공할 수 있다.

서버(20)는 데이터송수신부(200), 데이터베이스부(220), 모니터링부(240) 및 서버제어부(260)을 포함할 수 있다.

데이터송수신부(200)는 서술정보 생성장치(10)로 수술영상을 전송하고, 서술정보 생성장치(10)로부터 수술영상에 대한 서술정보를 수신할 수 있다.

실시예에 따라, 데이터송수신부(200)는 서술정보 생성장치(10)로부터 수술영상을 수신받고, 수술영상에 대한 서술정보를 서술정보 생성장치(10)로 전송할 수 있다.

실시예에 따라, 데이터송수신부(200)는 수술영상에 대한 서술정보를 단말기(30)로 전송하거나 수신받을 수 있다.

실시예에 따라, 데이터송수신부(200)는 서술정보에 대한 피드백정보를 서술정보 생성장치(10) 및 단말기(30)로 전송하거나 수신할 수 있다.

데이터베이스부(220)는 데이터송수신부(200)를 통해서 송수신되는 데이터 예를 들어, 수술영상, 수술영상에 대한 서술정보 및 서술정보에 대한 피드백정보를 저장할 수 있다. 이때, 서술정보는 피드백정보에 대응하여 실시간으로 업데이트되어 저장될 수 있다.

데이터베이스부(220)는 서버(20)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 데이터베이스부(220)는 서버(20)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서버(20)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.

모니터링부(240)는 서술정보 생성장치(10) 및 단말기(30) 사이의 송수신되는 데이터 등을 화면을 통해 모니터링 할 수 있다.

서버제어부(260)는 수술영상을 서술정보 생성장치(10)에 제공하고, 수술영상에 대한 서술정보 및 서술정보에 대한 피드백정보를 서술정보에 반영하여 실시간으로 업데이트할 수 있다.

실시예에 따라, 서버제어부(260)는 수술영상을 제공받아 수술영상에 대한 서술정보를 생성하여 서술정보 생성장치(10) 또는 단말기(30)에 제공할 수 있다.

실시예에 따라, 서버제어부(260)는 단말기(30)를 제어할 수 있다.

이와 같은 서버(20)는 서술정보 생성장치(10)와 단말기(30)와의 통신을 지원하는 각종 휴대 가능한 전자통신기기를 포함할 수 있다. 예를 들어, 별도의 스마트 기기로써, 스마트폰(Smart phone), PDA(Personal Digital Assistant), 태블릿(Tablet), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display)등 포함) 및 각종 IoT(Internet of Things) 단말과 같은 다양한 단말을 포함할 수 있지만 이에 한정하는 것은 아니다.

단말기(30)는 사용자에 의해 휴대 가능하며, 응용 프로그램(application program 또는 애플리케이션(application))을 이용하여 동작할 수 있다.

단말기(30)는 수술영상을 수신하여 수술영상에 대한 서술정보를 생성하여 서술정보 생성장치(10) 또는 서버(20)로 전송할 수 있다.

실시예에 따라, 단말기(30)는 서술정보에 대한 피드백정보를 사용자로부터 획득하여 서술정보 생성장치(10) 또는 서버(20)로 전송할 수 있다.

실시예에 따라, 단말기(30)는 서버(20)에 의해 제어될 수 있다.

이와 같은 구조를 갖는 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 시스템(1)의 동작은 다음과 같다. 도 3은 본 발명의 일실시예에 따른 수술영상 내 단위동작의 서술정보 생성 방법을 설명하기 위한 도면이고, 도 4 및 도 5는 도 3에 도시된 수술영상을 분할하는 단계를 설명하기 위한 상세 도면이다.

우선, 도 3에 도시된 바와 같이, 서버(20)는 수술영상을 서술정보 생성장치(10)로 전송할 수 있다(S100).

실시예에 따라, 서술정보 생성장치(10)는 수술영상을 외부서버 또는 단말기(30)로부터 수신할 수 있다.

다음, 서술정보 생성장치(10)는 서버(20)로부터 획득된 수술영상을 단위영상으로 분할할 수 있다(S110). 즉, 수술영상 분할모듈(181)는 수술영상 중 수술준비과정이 포함된 제1 영역, 수술진행과정이 포함된 제2 영역 및 수술정리과정이 포함된 제3 영역을 단위화하기 위해 단위동작으로 분할할 수 있다.

구체적으로, 도 4를 참조하면, 수술영상 분할모듈(181)은 수술영상 중 수술준비과정이 포함된 제1 영역을 수술준비단계로 분할할 수 있다(S200).

수술영상 분할모듈(181)은 수술영상 중 수술진행과정이 포함된 제2 영역을 수술진행단계로 분할할 수 있다(S210).

구체적으도, 도 5를 참조하면, 수술영상 분할모듈(181)은 수술 종류에 따라 제2 영역의 수술영상을 타겟 장기(Target Organ)를 바탕으로 하나 이상의 기본단계(FUNDAMENTAL STEP)로 분할할 수 있다(S300).

예를 들어, 수술이 위 절제술(Gastrectomy)인 경우, 위 절제술에 대한 수술영상을 획득할 수 있다. 다음, 수술영상에서 수술대상 즉, 위와 위의 주변에 위치하는 장기를 분할할 수 있다. 이와 같이 수술영상에 대하여 기본단계(FUNDAMENTAL STEP)로 분할된 값을 문자열 코드로 변환하여 수술영상을 체계적인 형태로 정의할 수 있다.

실시예에 따라, 수술대상의 장기와 수술대상의 장기의 주변장기를 분리하는 과정을 수술과정에 있어서, 기본 과정이므로 생략될 수도 있다.

다음으로, 수술영상 분할모듈(181)은 기본단계(FUNDAMENTAL STEP) 내에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 분할할 수 있다(S310).

예를 들어, 위 절제술을 진행하기 위해 위 절제술의 진행방향으로 수술영역을 분할할 수 있다. 즉, 위를 어떻게 절제할 것인지에 대한 구체적인 기준, 정의, 또는 목표에 따라 수술도구들의 위치가 정해지므로 이에 따라 수술영역을 분할할 수 있다. 이와 같이 수술영상에 대하여 메인섹션(MAIN SECTION)으로 분할된 값을 문자열 코드로 변환하여 수술영상을 체계적인 형태로 정의할 수 있다.

다음으로, 수술영상 분할모듈(181)은 수술도구에 의해 동작이 수행되는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 바탕으로 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할할 수 있다(S320). 예를 들어, 위 절제술이 진행되는 과정 즉, 위가 절제되는 수술과정을 분할할 수 있다. 즉, 위 절제술이 진행될 때 핵심과정으로서, 두가지 이상의 수술도구가 두가지 이상의 동작을 수행할 수 있다. 이와 같이 수술영상에 대하여 하위섹션(SUB SECTION)으로 분할된 값을 문자열 코드로 변환하여 수술영상을 체계적인 형태로 정의할 수 있다.

다음으로, 서술정보 생성장치(10)는 각 하위섹션(SUB SECTION) 내에 포함된 하나 이상의 단위영상을 특정한 단위동작으로 판단하여 분할섹션으로 분할할 수 있다(S330).

예를 들어, 위 절제술이 진행되는 과정 즉, 위가 절제되는 수술과정 중 수술도구의 동작을 단위동작으로 분할할 수 있다. 즉, 수술영역에서 수술도구의 위치 또는 방향 등에 대한 동작을 단위동작으로 분할할 수 있다.

다음으로, 서술정보 생성장치(10)는 기본단계(FUNDAMENTAL STEP), 메인섹션(MAIN SECTION), 하위섹션(SUB SECTION) 및 분할섹션에 대한 제1식별정보 및 제2식별정보를 획득할 수 있다(S340). 이때, 제1식별정보는 수술로봇의 단위동작에 대한 정보이고, 제2식별정보는 수술로봇에 구비된 수술도구에 대한 단위동작에 대한 정보일 수 있다.

예를 들어, 제2식별정보는 단위동작에 포함된 하나 이상의 수술도구 종류 또는 하나 이상의 수술도구의 개별동작에 대한 정보일 수 있다.

수술영상 분할모듈(181)은 수술영상 중 수술정리과정이 포함된 제3 영역을 수술정리단계로 분할할 수 있다(S220).

다음, 서술정보 생성장치(10)는 특정한 단위동작에 대한 서술정보를 생성할 수 있다(S120). 즉, 서술정보 생성장치(10)는 제1식별정보와 제2식별정보를 결합하여, 특정한 단위동작에 대한 최종서술정보를 생성할 수 있다.

다음, 서술정보 생성장치(10)는 수술영상에서 발생된 이벤트상황에 대한 이벤트식별정보를 획득할 수 있다(S130). 이때, 이벤트상황은 하나 이상의 단위동작에 의해 신체조직에 의도되지 않은 변화가 발생되는 것이고, 이벤트식별정보는 각 출혈상황 시에 이용된 수술도구, 수술도구의 사용목적, 출혈이 발생된 타겟조직 중 적어도 하나에 대한 정보를 포함할 수 있다.

이때, 이벤트식별정보를 획득하는 단계는 이벤트상황이 발생한 경우에만 해당되므로, 서술정보를 생성할 때 생략될 수 있다.

다음, 서술정보 생성장치(10)는 서술정보에 대한 피드백정보를 생성할 수 있다(S130). 즉, 서술정보 생성장치(10)는 서술정보에 대한 검토 및 평가를 통해 수술과정시 보완해야할 사항 등을 추가 및 보정내용이 포함된 피드백정보를 생성할 수 있다. 이와 같은 피드백정보를 생성하는 과정은 서술정보 생성장치(10)뿐만 아니라, 서버(20) 또는 단말기(30)에 의해 이루어질 수 있다.

마지막으로, 서버(20)는 서술정보 생성장치(10)로부터 서술정보에 대한 피드백정보를 수신받아 서술정보를 실시간으로 업데이트할 수 있다.

이와 달리, 피드백정보가 반영된 서술정보는 서술정보 생성장치(10) 또는 단말기(30)를 통해 실시간 업데이트될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

1 : 수술영상 내 단위동작의 서술정보 생성 시스템
10 : 서술정보 생성장치
20 : 서버
30 : 단말기

Claims

컴퓨터에 의해 특정한 수술에 대한 수술진행과정이 포함된 수술영상 내 단위동작의 서술정보 생성방법에 있어서,
상기 수술영상을 타겟 장기(Target Organ)를 바탕으로 하나 이상의 기본단계(FUNDAMENTAL STEP)로 분할하는 단계;
상기 기본단계 내에 포함된 복수의 단위영상을 상기 타겟 장기를 바탕으로 메인섹션(MAIN SECTION)으로 분할하는 단계;
상기 타겟 장기에 대한 수술 목적에 대응하는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 동작을 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할하는 단계; 및
상기 각각의 하위섹션 내에 포함된 하나 이상의 단위영상을 수술 도구에 의해 동작되는 특정한 단위동작으로 판단하는 분할섹션으로 분할하는 단계;를 포함하고,
상기 단위동작은 수술도구에 의해 해부학적 구조 또는 신체 내부 상태에 변화를 발생시키는 최소단위의 동작이고,
상기 수술영상은 가상수술데이터 또는 실제수술데이터이고,
상기 하위섹션으로 분할하는 단계는,
특정한 타겟 조직 또는 특정한 타겟 오브젝트에 대해 수행되는 상기 수술 동작의 목적에 따라 조직변형(Tissue transformation) 또는 기본조작(Basic action)으로 분할하는 단계; 및
상기 분할섹션으로 분할하는 단계는,
상기 각각의 하위섹션 내에 포함된 상기 단위영상을 상기 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할하고,
상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 공간 좌표 이동에 따라 제1 단일동작으로 분할하는 단계;
상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 상기 공간 좌표 내의 관절의 움직임에 따라 제2 단일동작으로 분할하는 단계;
상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 움직임에 따라 제3 단일동작으로 분할하는 단계; 및
상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구에 부착되는 보조장치의 활성화 또는 비활성화에 따라 제4 단일동작으로 분할하는 단계; 를 포함하고,
상기 기본단계, 상기 메인섹션, 상기 하위섹션, 및 상기 분할섹션에 대한 제1식별정보 및 제2식별정보를 획득하는 단계를 더 포함하고,
상기 제1식별정보는 수술로봇의 단위동작에 대한 정보이고,
상기 제2식별정보는 수술로봇에 구비된 수술도구에 대한 단위동작에 포함된 하나 이상의 수술도구 종류 또는 하나 이상의 수술도구의 개별동작에 대한 정보이고,
상기 서술정보는 특정한 수술에 대한 수술영상으로부터 특정한 단위동작에 대한 정보이고,
상기 서술정보에 대한 검토 및 평가를 통해 수술과정시 보완해야할 보정내용이 포함된 피드백정보를 화면을 통해 디스플레이하는, 수술영상 내 단위동작의 서술정보 생성방법.
삭제
제1항에 있어서,
기본단계(FUNDAMENTAL STEP)로 분할하는 단계는,
상기 타겟 장기(Target Organ)에 대한 상기 수술 동작의 목적에 따라 장기 단위로 상기 수술 영상을 분할하는 단계; 및
상기 타겟 장기에 대한 상기 수술 동작의 목적에 따라 수술 유형으로 상기 수술 영상을 분할하는 단계;를 포함하는, 수술영상 내 단위동작의 서술정보 생성방법.
제3항에 있어서,
기본단계(FUNDAMENTAL STEP)로 분할하는 단계는,
상기 타겟 장기에 대한 상기 수술 동작의 목적에 따라 상기 수술 영상에 포함된 방향성을 분할하는 단계; 를 더 포함하는, 수술영상 내 단위동작의 서술정보 생성방법.
삭제
제1항에 있어서,
상기 제2 단일동작은 상기 수술 도구의 축 움직임에 대응하여 분할되는, 수술영상 내 단위동작의 서술정보 생성방법.
삭제
제1항에 있어서,
분할섹션으로 분할하는 단계는,
상기 수술 목적에 따라 상기 수술 영상에서 하나의 수술 도구에 의해 이루어지는 하나의 수술 행위에 대한 동작을 단위 동작으로 분할하는 단계;를 포함하는, 수술영상 내 단위동작의 서술정보 생성방법.
제1항에 있어서,
상기 컴퓨터에 의해 상기 특정한 수술에 대한 상기 수술진행과정이 포함된 상시 수술 영상을 획득하는 단계;
상기 수술영상 중 수술준비과정을 분할하는 단계; 및
상기 수술영상 중 수술정리과정을 분할하는 단계;를 더 포함하는, 수술영상 내 단위동작의 서술정보 생성방법.
제1항에 있어서,
상기 수술영상이 실제수술데이터인 경우,
수술영상에서 발생된 이벤트상황에 대한 이벤트식별정보를 획득하는 단계; 를 더 포함하고,
상기 이벤트상황은 하나 이상의 단위동작에 의해 신체조직에 의도되지 않은 변화가 발생되는 것이고,
상기 이벤트식별정보는 각 출혈상황 시에 이용된 수술도구, 수술도구의 사용목적, 출혈이 발생된 타겟조직 중 적어도 하나에 대한 정보를 포함하는 것인, 수술영상 내 단위동작의 서술정보 생성방법.
제10항에 있어서,
상기 이벤트식별정보를 기반으로 수술결과를 평가하는 단계; 를 더 포함하는, 수술영상 내 단위동작의 서술정보 생성방법.
하드웨어인 컴퓨터와 결합되어, 제1항 또는 제3항 또는 제4항 또는 제6항 또는 제8항 내지 제11항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된, 수술영상 내 단위동작의 서술정보 생성프로그램.
특정한 수술에 대한 수술진행과정이 포함된 수술영상을 획득하는 수술영상획득부;
상기 수술영상을 하나 이상의 기본단계(FUNDAMENTAL STEP)로 분할하고, 상기 기본단계(FUNDAMENTAL STEP) 내에 포함된 복수의 단위영상을 타겟 장기(Target Organ)를 바탕으로 메인섹션(MAIN SECTION)으로 분할하고, 수술도구에 의해 동작이 수행되는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 바탕으로 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할하고, 각 하위섹션(SUB SECTION) 내에 포함된 하나 이상의 상기 단위영상을 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할하고, 단일 수술기구의 단일 동작을 단위 동작으로 판단하여 분할섹션으로 분할하는 수술영상분할부; 및
상기 기본단계(FUNDAMENTAL STEP), 상기 메인섹션(MAIN SECTION), 상기 하위섹션(SUB SECTION) 및 상기 분할섹션에 대한 제1식별정보를 연결하여, 특정한 단위동작에 대한 서술정보를 생성하는 서술정보생성부; 를 포함하고,
상기 단위동작은 수술도구에 의해 해부학적 구조 또는 신체 내부 상태에 변화를 발생시키는 최소단위의 동작이고,
상기 수술영상은 가상수술데이터 또는 실제수술데이터이고,
상기 수술영상분할부는,
수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 공간 좌표 이동에 따라 제1 단일동작으로 분할하고,
상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 상기 공간 좌표 내의 관절의 움직임에 따라 제2 단일동작으로 분할하고,
상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 움직임에 따라 제3 단일동작으로 분할하고,
상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구에 부착되는 보조장치의 활성화 또는 비활성화에 따라 제4 단일동작으로 분할하고,
상기 서술정보생성부는,
상기 기본단계, 상기 메인섹션, 상기 하위섹션, 및 상기 분할섹션에 대한 제1식별정보 및 제2식별정보를 획득하고,
상기 제1식별정보는 수술로봇의 단위동작에 대한 정보이고,
상기 제2식별정보는 수술로봇에 구비된 수술도구에 대한 단위동작에 포함된 하나 이상의 수술도구 종류 또는 하나 이상의 수술도구의 개별동작에 대한 정보이고,
상기 서술정보는 특정한 수술에 대한 수술영상으로부터 특정한 단위동작에 대한 정보이고,
상기 서술정보에 대한 검토 및 평가를 통해 수술과정시 보완해야할 보정내용이 포함된 피드백정보를 화면을 통해 디스플레이하는 디스플레이부를 포함하는, 수술영상 내 단위동작의 서술정보 생성장치.
삭제
삭제
삭제