KR102427736B1

KR102427736B1 - 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법

Info

Publication number: KR102427736B1
Application number: KR1020200025880A
Authority: KR
Inventors: 곽정면
Original assignee: 고려대학교 산학협력단
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2022-07-29
Also published as: KR20210110961A

Abstract

수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법이 개시되며, 본원의 일 실시예에 따른 복강경 카메라 촬영 뷰 조정 방법은 복강경 카메라에 의한 수술 영상을 획득하는 단계 및 상기 수술 영상에 등장하는 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 상기 복강경 카메라의 촬영 뷰를 조정하는 단계를 포함할 수 있다.

Description

수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법{CAMERA CONTROLLER ROBOT BASED ON SURGICAL IMAGE RECOGNITION AND METHOD FOR ADJUSTING VIEW OF CAMERA USING THE SAME}

본원은 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법에 관한 것이다. 특히, 본원은 인공지능을 통해 수술 영상을 인지하여 최선의 촬영 뷰를 제공할 수 있도록 하는 복강경 카메라 조종 수술 로봇에 관한 것이다.

복강경 수술은 환부에 최소한의 구멍을 뚫고 수술도구를 환자에게 삽입하여 수술을 진행하여 흉터가 적고 빠른 회복을 가능하게 하는 최소 침습 수술 방식으로 현재 대다수의 외과 영역에서 수행되는 수술 중 복강경 수술이 차지하는 비율은 점차 증가하고 있는 추세이다. 특히 수술자(예를 들면, 집도의)가 직접 수술도구를 조작하는 기존의 복강경 수술방법을 넘어, 로봇을 사용하여 수술을 진행하는 로봇 복강경 수술은 향후 외과수술에서 널리 활용될 것으로 전망된다.

이와 관련하여, 수술로봇을 이용한 로봇 복강경 수술은 복강경 카메라와 가위, 집게 등의 수술도구를 환자의 환부에 삽입하고, 수술자가 로봇의 컨트롤러를 조작하여 수술을 진행할 수 있다. 이 때, 체내에 삽입한 복강경 카메라의 시야가 제한적이기 때문에 수술 도중 환부에 삽입된 복강경 카메라의 위치 또는 시점을 변경해야 하는 상황이 자주 발생한다.

그러나, 복강경 수술이 개발된 이래 수술 기법이 지속적으로 발전하고 이에 따라 수술로봇 등 많은 신규 의료기구들이 개발된 반면 복강경 카메라에 대한 조작은 여전히 대부분의 경우 수술 보조자에 의존하고 있다. 따라서, 수술 보조자의 숙련도와 피로도에 따라 복강경 카메라 조작의 질적 편차가 크고 이는 복강경 수술 자체의 품질 저하, 수술 성적의 하락 및 수술자의 피로도와 직결되게 된다.

이러한 문제를 해결하고 보다 안정적인 복강경 카메라 조종을 위해 기계적 카메라 고정 장치나 모터가 탑재된 카메라 조종 장치(예를 들면, 단순 지지 고정형 수술 보조 기구, 모터 관절형 수술 보조 기구 등)가 도입된바 있으나 상용화에 실패하였고, 음성인식, 페달 조작, 조이스틱 조작 등의 방식을 통한 반자동 카메라 조종 로봇 역시 복강경 카메라의 시점을 변경하기 위한 조작과 수술 도구 조작이 이원화되어 수술자가 복강경 카메라를 조작하기 위해서는 수술 행위를 중단하고 카메라 시점 변경을 위한 조작을 수행하는 동안 수술 작업의 단절이 발생할 수 있으며, 이에 따라 수술자의 집중력이 저하되고 오히려 수술자의 행위를 방해하는 문제점이 발생하였을 뿐만 아니라 카메라 시점 변경을 위한 조작 자체가 다소 복잡한 단점이 있었다.

본원의 배경이 되는 기술은 한국공개특허공보 제10-2018-0131904호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 수술자의 행위를 방해하지 않으면서도 숙련된 수술 보조자가 보여줄 수 있는 수준의 촬영 뷰를 제공하는 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 복강경 카메라 촬영 뷰 조정 방법은, 복강경 카메라에 의한 수술 영상을 획득하는 단계 및 상기 수술 영상에 등장하는 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 상기 복강경 카메라의 촬영 뷰를 조정하는 단계를 포함할 수 있다.

또한, 본원의 일 실시예에 따른 복강경 카메라 촬영 뷰 조정 방법은, 상기 수술 영상에 등장하는 수술 도구를 식별하는 단계, 상기 수술 영상에 등장하는 해부학적 구조물을 식별하는 단계 및 상기 수술 영상 내에서의 상기 수술 도구의 움직임에 대응하는 수술 행위를 분석하는 단계를 포함할 수 있다.

또한, 상기 촬영 뷰를 조정하는 단계는, 상기 수술 영상의 화면 내 중심 위치를 조정하는 단계, 상기 수술 영상의 화면의 수평 기울임을 조정하는 단계 및 상기 복강경 카메라의 초점 거리를 조정하는 단계를 포함할 수 있다.

또한, 상기 중심 위치를 조정하는 단계는 상기 수술 도구에 대한 식별 결과에 기초하여 수행될 수 있다.

또한, 상기 수평 기울임을 조정하는 단계는 상기 해부학적 구조물에 대한 식별 결과에 기초하여 수행될 수 있다.

또한, 상기 초점 거리를 조정하는 단계는 상기 수술 행위에 대한 분석 결과에 기초하여 수행될 수 있다.

또한, 상기 수술 영상의 화면은 상기 중심 위치를 포함하는 중심 영역, 상기 화면의 외곽 모서리를 포함하는 가장자리 영역 및 상기 중심 영역과 상기 가장자리 영역 사이의 버퍼 영역을 포함하도록 구획될 수 있다.

또한, 상기 화면 내 중심 위치를 조정하는 단계는, 상기 수술 도구에 대한 식별 결과에 기초하여 식별된 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정할 수 있다.

또한, 상기 수술 도구는, 복강경 수술을 수행하는 수술자가 주로 사용하는 손에 파지한 제1도구 및 나머지 손에 파지한 제2도구를 포함할 수 있다.

또한, 상기 화면 내 중심 위치를 조정하는 단계는, 상기 제1도구 또는 상기 제2도구를 타겟 도구로 결정하는 단계 및 결정된 상기 타겟 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정하는 단계를 포함할 수 있다.

또한, 상기 타겟 도구로 결정하는 단계는, 상기 제1도구 및 상기 제2도구 중 어느 하나만 이동하면, 이동하는 수술 도구를 상기 타겟 도구로 결정할 수 있다.

또한, 상기 타겟 도구로 결정하는 단계는, 상기 제1도구 및 상기 제2도구가 모두 이동하거나 또는 모두 이동하지 않으면, 상기 제1도구를 상기 타겟 도구로 결정할 수 있다.

또한, 상기 화면 내 중심 위치를 조정하는 단계는, 상기 수술 도구의 적어도 일부가 상기 버퍼 영역에 위치하면, 제1속도로 상기 복강경 카메라의 촬영 방향을 변화시켜 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정할 수 있다.

또한, 상기 화면 내 중심 위치를 조정하는 단계는, 상기 수술 도구의 적어도 일부가 상기 가장자리 영역에 위치하면, 상기 제1속도보다 빠른 속도인 제2속도로 상기 복강경 카메라의 촬영 방향을 변화시켜 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정할 수 있다.

또한, 상기 해부학적 구조물은 상기 복강경 카메라에 의해 촬영되는 환자의 체내에 위치하는 장기를 포함할 수 있다.

또한, 상기 화면의 수평 기울임을 조정하는 단계는, 상기 화면의 현재 수평 기울임 상태를 파악하는 단계 및 상기 해부학적 구조물에 대한 식별 결과 및 수평 기울임 환경 정보에 기초하여 상기 화면의 수평 기울임을 조정하는 단계를 포함할 수 있다.

또한, 상기 수평 기울임 환경 정보는, 복수의 상기 해부학적 구조물 간의 배치 상태, 수행되는 복강경 수술의 유형에 따른 상기 환자의 자세 정보, 상기 환자가 위치하는 수술 테이블의 기울어짐 정보 및 상기 수술 영상 내 등장하는 복강 내 액체 성분의 수평 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 초점 거리를 조정하는 단계는, 상기 수술 행위에 대한 분석 결과에 기초하여 분석된 상기 수술 행위에 대한 최적 초점 거리 정보에 부합하도록 상기 복강경 카메라가 줌-인 또는 줌-아웃 되도록 조정할 수 있다.

또한, 본원의 일 실시예에 따른 복강경 카메라 촬영 뷰 조정 방법은, 기 생성된 인공지능 알고리즘에 기초하여 상기 수술 영상에 등장하는 수술 도구를 식별하는 단계, 상기 인공지능 알고리즘에 기초하여 상기 수술 영상에 등장하는 해부학적 구조물을 식별하는 단계 및 상기 인공지능 알고리즘에 기초하여 상기 수술 영상 내에서의 상기 수술 도구의 움직임에 대응하는 수술 행위를 분석하는 단계를 포함할 수 있다.

한편, 본원의 일 실시예에 따른 수술 영상 분석 기반의 복강경 카메라 조종 로봇은, 수술 영상을 촬영하는 카메라부, 상기 수술 영상에 등장하는 수술 도구 및 해부학적 구조물을 식별하고, 상기 수술 도구의 움직임에 대응하는 수술 행위를 분석하는 영상 분석부 및 상기 수술 도구에 대한 식별 결과, 상기 해부학적 구조물에 대한 식별 결과 및 상기 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 상기 카메라부의 촬영 뷰를 조정하는 제어부를 포함할 수 있다.

또한, 상기 제어부는, 상기 수술 도구에 대한 식별 결과에 기초하여 상기 수술 영상의 화면 내 중심 위치를 조정하는 화면 중심 조정부, 상기 해부학적 구조물에 대한 식별 결과에 기초하여 상기 수술 영상의 화면의 수평 기울임을 조정하는 수평 조정부 및 상기 수술 행위에 대한 분석 결과에 기초하여 상기 복강경 카메라의 초점 거리를 조정하는 초점 거리 조정부를 포함할 수 있다.

또한, 상기 화면 중심 조정부는, 상기 수술 도구에 대한 식별 결과에 기초하여 식별된 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정할 수 있다.

또한, 상기 수평 조정부는, 상기 화면의 현재 수평 기울임 상태를 파악하고, 상기 해부학적 구조물에 대한 식별 결과 및 복수의 상기 해부학적 구조물 간의 배치 상태, 수행되는 복강경 수술의 유형에 따른 상기 환자의 자세 정보, 상기 환자가 위치하는 수술 테이블의 기울어짐 정보 및 상기 수술 영상 내 등장하는 복강 내 액체 성분의 수평 정보 중 적어도 하나를 포함하는 수평 기울임 환경 정보에 기초하여 상기 화면의 수평 기울임을 조정할 수 있다.

또한, 상기 초점 거리 조정부는, 상기 수술 행위에 대한 분석 결과에 기초하여 분석된 상기 수술 행위에 대한 최적 초점 거리 정보에 부합하도록 상기 복강경 카메라가 줌-인 또는 줌-아웃 되도록 조정할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 수술자의 행위를 방해하지 않으면서도 숙련된 수술 보조자가 보여줄 수 있는 수준의 촬영 뷰를 제공하는 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법을 제공할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 다수의 수술 영상을 통해 복강경 카메라 촬영 뷰를 제공할 수 있는 요소들을 인공지능 알고리즘을 학습시키고, 학습된 요소들을 통해 실시간 수술 영상을 인지, 분석하여 자율적으로 최적의 촬영 뷰를 제공하는 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법을 제공할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 수술 보조자가 직접 복강경 카메라를 조작할 필요가 없어 부족한 의료 보조 인력을 대체할 수 있을 뿐만 아니라, 수술 보조자의 숙련도나 피로도가 복강경 카메라를 통해 제공되는 촬영 뷰에 영향을 미치지 않도록 하여 복강경 수술의 품질을 향상시킬 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 산부인과, 비뇨기과, 흉부외과, 안과, 이비인후과, 신경외과 등 복강경 수술을 시행하는 외과 전분야와 다양한 의료 분야에서 단독으로 활용될 수 있는 수술 협동 로봇(복강경 카메라 조종 로봇) 그 자체뿐만 아니라 향후 개발되는 마스터-슬레이브 방식의 수술 로봇의 일부 요소로 응용(탑재)될 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 복강경 수술 시스템의 개략적인 구성도이다.
도 2a는 수술 영상에 등장하는 수술 도구에 대한 식별 과정을 설명하기 위한 도면이다.
도 2b는 수술 영상에서 등장 가능한 수술 도구의 유형을 예시적으로 나타낸 도면이다.
도 3은 수술 영상에 등장하는 해부학적 구조물에 대한 식별 과정을 설명하기 위한 도면이다.
도 4는 수술 영상 내에서의 수술 도구의 움직임에 대응하는 수술 행위에 대한 분석 과정을 설명하기 위한 도면이다.
도 5는 수술 영상의 화면이 중심 영역, 버퍼 영역 및 가장자리 영역으로 구획되는 것을 설명하기 위한 도면이다.
도 6은 본원의 일 실시예에 따른 수술 영상 분석 기반의 복강경 카메라 조종 로봇의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 복강경 카메라 촬영 뷰 조정 방법에 대한 동작 흐름도이다.
도 8은 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 복강경 카메라 촬영 뷰를 조정하는 단계에 대한 세부 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본원의 일 실시예에 따른 복강경 수술 시스템의 개략적인 구성도이다.

도 1을 참조하면, 본원의 일 실시예에 따른 복강경 수술 시스템(10)은, 본원의 일 실시예에 따른 수술 영상 분석 기반의 복강경 카메라 조종 로봇(100)(이하, '복강경 카메라 조종 로봇(100)'이라 한다.), 디스플레이 장치(200) 및 수술 테이블(300)을 포함할 수 있다.

복강경 카메라 조종 로봇(100), 디스플레이 장치(200) 및 수술 테이블(300) 상호간은 네트워크(미도시)를 통해 통신할 수 있다. 네트워크(미도시)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(미도시)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

본원의 실시예에 관한 설명에서, 디스플레이 장치(200)는, 복강경 카메라에 의해 촬영되는 실시간의 수술 영상이 재생(표시)되는 디바이스를 의미할 수 있다. 또한, 도 1을 참조하면 디스플레이 장치(200)는 복강경 카메라 조종 로봇(100)과 별개로 마련되는 것일 수 있으나, 이에만 한정되는 것은 아니고, 다른 예로 복강경 카메라 조종 로봇(100)에 구비되는 형태로 설치될 수 있다. 또 다른 예로 디스플레이 장치(200)는 수술자(2)가 보다 편리하게 수술 영상을 시청하면서 복강경 수술을 수행할 수 있도록 수술자(2)가 착용하는 HMD(Head Mounted Display) 등의 웨어러블 디바이스 형태로 마련될 수도 있다.

또한, 본원의 실시예에 관한 설명에서, 수술 테이블(300)은, 상면에 환자(1)가 안착되어 수술자(2)에 의한 복강경 수술이 진행되는 수술대, 베드 등을 의미할 수 있다. 본원의 일 실시예에 따르면, 수술 테이블(300)은 필요에 따라 소정의 각도로 기울어지도록 마련될 수 있고, 상면에 안착한 환자(1)에 대한 생체 정보, 위치 정보, 자세 정보 등을 파악하기 위한 각종 센서(예를 들면, 압력 센서, 자기 센서 등)가 탑재될 수 있다. 또한, 본원의 일 실시예에 따르면, 수술 테이블(300)은 네트워크(미도시)를 통해 측정된 환자(1)의 자세 정보, 수술 테이블(300)의 기울어짐 정보를 복강경 카메라 조종 로봇(100)에 제공하도록 구현될 수 있다.

복강경 카메라 조종 로봇(100)은 복강경 카메라에 의한 수술 영상을 획득할 수 있다. 도 1을 참조하면, 본원의 일 실시예에 따른 복강경 카메라 조종 로봇(100)은 환자(1)의 복강 내로 삽입되는 적어도 하나의 침습 모듈을 포함할 수 있으며, 침습 모듈 중 일부(예를 들면, 선단부)에 복강경 카메라가 설치될 수 있으나 이에만 한정되는 것은 아니다. 또한, 본원의 일 실시예에 따르면 복강경 카메라 조종 로봇(100)은 복강경 카메라의 자율 조종을 위하여 기존 복강경 수술 로봇에 모듈 형태로 추가 탑재되는 것일 수 있다. 이와 관련하여, 본원의 복강경 카메라 조종 로봇(100)이 기 생산된 복강경 수술 로봇에 모듈 형태로 부착/탑재되는 경우 기존의 복강경 수술 로봇을 그대로 활용하면서도 복강경 카메라를 통한 최적의 촬영 뷰를 제공함으로써 비교적 저가의 도입 비용으로도 복강경 수술의 품질을 향상시킬 수 있는 이점이 있다.

또한, 복강경 카메라 조종 로봇(100)은 수술 영상에 등장하는 수술 도구를 식별할 수 있다. 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 기 생성된 인공지능 알고리즘에 기초하여 수술 영상에 등장하는 수술 도구를 식별하는 것일 수 있다. 여기서, 기 생성된 인공지능 알고리즘은 다수의 수술 영상(예를 들어, 미리 확보된 복수의 학습용 수술 영상 등) 및 해당 수술 영상 각각에 등장한 수술 도구에 대한 정보를 학습 데이터로 하여 수술 영상에서 등장 가능한 수술 도구에 대한 식별 결과를 제공하도록 학습된 지도 학습(Supervised Learning) 기반의 기계 학습 방식으로 생성되는 것일 수 있다. 다만, 이에만 한정되는 것은 아니며, 본원에서의 기 생성된 인공지능 알고리즘은 로지스틱 회귀 분석(Logistic Regression), 랜덤 포레스트(Random Forest), 딥 러닝(Deep Learning), 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 강화 학습(Reinforcement Learning) 등 종래에 공지되었거나 향후 개발되는 모든 종류의 인공지능 기반의 학습 방식을 통해 생성(학습)된 것일 수 있다.

도 2a는 수술 영상에 등장하는 수술 도구에 대한 식별 과정을 설명하기 위한 도면이다.

도 2a를 참조하면, 복강경 카메라 조종 로봇(100)은 식별된 수술 도구에 대한 경계(예를 들면, Bounding Box 등)를 함께 표시할 수 있다. 본원의 일 실시예에 따르면, 식별된 수술 도구에 대한 경계 표시는 검출된 수술 도구의 영상 내 위치, 수술 도구의 무게중심 등에 기초하여 결정되어 해당 수술 도구의 적어도 일부를 포함하는 직사각형 형상일 수 있으나, 이에만 한정되는 것은 아니다. 또한, 도 2a를 참조하면 수술 영상 내 하나의 프레임에 대하여 복수의 수술 도구가 식별될 수 있으며, 식별된 복수의 수술 도구 각각은 전술한 직사각형(Bounding Box)의 색상, 선의 패턴, 선 두께 등을 통해 구분되게 표시될 수 있다.

도 2b는 수술 영상에서 등장 가능한 수술 도구의 유형을 예시적으로 나타낸 도면이다.

도 2b를 참조하면, 본원의 일 실시예에 따른 복강경 카메라 조종 로봇(100)이 식별하는 수술 도구는 가위, 핀셋, 흡입기, 내시경, 카테터, 가이드 와이어, 프로브, 트로카, 겸자 등 복강경 수술 과정에서 활용될 수 있는 다양한 의료 기기, 도구 등을 폭넓게 포함할 수 있다. 또한, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 영상과 연계된 수술 정보(예를 들면, 복강경 수술 유형, 대상 질병, 환자의 연령 등)에 기초하여 수술 도구 별로 해당 수술 영상에 등장할 확률(달리 말해, 해당 복강경 수술에서 특정 도구가 활용될 확률)을 계산하여, 계산된 확률에 기초하여 수술 도구에 대한 식별을 수행하는 것일 수 있다. 예를 들어, 복강경 카메라 조종 로봇(100)은 특정 외과 분야에서는 활용되지 않는 수술 도구의 경우, 해당 외과 분야 내의 복강경 수술에 대한 수술 영상에서 수술 도구를 식별할 때에는 해당 수술 도구는 식별에 고려하지 않도록 동작할 수 있다.

도 3은 수술 영상에 등장하는 해부학적 구조물에 대한 식별 과정을 설명하기 위한 도면이다.

도 3을 참조하면, 복강경 카메라 조종 로봇(100)은 수술 영상에 등장하는 해부학적 구조물을 식별할 수 있다. 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 전술한 기 생성된 인공지능 알고리즘에 기초하여 수술 영상에 등장하는 해부학적 구조물을 식별하는 것일 수 있다. 여기서, 기 생성된 인공지능 알고리즘은 다수의 수술 영상 및 해당 수술 영상 각각에 등장한 해부학적 구조물에 대한 정보를 학습 데이터로 하여 수술 영상에서 등장 가능한 해부학적 구조물에 대한 식별 결과를 제공하도록 학습된 것일 수 있다. 특히, 전술한 인공지능 알고리즘은 수술 영상 내의 해부학적 구조물을 식별하기 위하여 배경 차분 기반의 객체 검출 기법, 의미론적 영역 분할 기법 등과 연계될 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 해부학적 구조물의 식별을 위한 전술한 인공지능 알고리즘은 다수의 수술 영상을 통해 복강 내의 미리 구획된 복수의 분획 각각의 주요 해부학적 구조물을 인식하도록 학습된 것일 수 있다. 여기서, 복강 내의 미리 구획된 복수의 분획이란 예를 들어 환자의 복강 내 중심부를 기준으로 우상방, 우중방, 우하방, 좌상방, 좌중방, 좌하방 및 골반을 포함하도록 7개의 분획으로 구획된 것일 수 있다. 또한, 본원의 실시예에 관한 설명에서 해부학적 구조물이란 복강경 카메라에 의해 촬영되는 환자의 체내에 위치하는 장기(Organ)를 포함할 수 있다. 예시적으로 해부학적 구조물은 충수(appendix), 비장(spleen), 결장(colon), 위(stomach), 콩팥(kidney), 간(liver) 등 복강 내 모든 장기를 포함할 수 있다.

도 4는 수술 영상 내에서의 수술 도구의 움직임에 대응하는 수술 행위에 대한 분석 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 복강경 카메라 조종 로봇(100)은 수술 영상 내에서의 수술 도구의 움직임에 대응하는 수술 행위를 분석할 수 있다. 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 전술한 기 생성된 인공지능 알고리즘에 기초하여 수술 영상 내에서의 수술 도구의 움직임에 대응하는 수술 행위를 분석하는 것일 수 있다. 여기서 기 생성된 인공지능 알고리즘은 다수의 수술 영상 및 해당 수술 영상에 나타난 수술 행위에 대한 정보를 학습 데이터로 하여 수술 영상에서 등장 가능한 수술 도구의 움직임에 대한 분석 결과와 수술 도구의 움직임에 대응하는 수술 행위와의 상관 관계(예를 들면, 함수 형태)를 학습한 것일 수 있다.

구체적으로 복강경 카메라 조종 로봇(100)은, 수술 영상 내의 수술 도구가 식별되면, 식별된 수술 도구의 해당 수술 영상 내에서의 움직임을 파악(분석)할 수 있다. 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 도구가 식별된(등장한) 프레임 및 식별된 프레임의 전후 소정의 프레임을 분석하여 식별된 수술 도구가 해당 프레임 집합 내에서 이동한 방향 정보, 거리 정보 등을 도출함으로써 수술 영상 내에서의 움직임을 파악하는 것일 수 있다. 또한, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 영상 내의 환자(1)의 환부(수술/시술 부위, 식별된 해부학적 구조물 등)의 형상 변화 패턴에 고려하여 식별된 수술 도구의 움직임을 추정할 수 있다. 예를 들어, 복강경 카메라 조종 로봇(100)은 수술 도구 자체의 움직임 정보뿐만 아니라, 환자(1)의 복강 내 일부 영역의 색상 정보에 기초하여 출혈의 발생을 감지하고 출혈이 발생하였다는 정보를 수술 도구 자체의 움직임 정보와 함께 고려하여 해당 수술 도구를 이용하여 수행된 수술 행위를 보다 정확하게 도출할 수 있다.

또한, 본원의 일 실시예에 따르면, 수술 행위는 결찰(Ligation), 절개(Dissection), 절제(Resection), 봉합(Suture), 지혈(Hemostasis), 박리(Detachment) 등을 포함할 수 있으나, 이에만 한정되는 것은 아니다.

참고로, 전술한 바에 따르면 수술 영상에 대한 수술 도구 식별, 해부학적 구조물 식별 및 수술 행위에 대한 분석은 모두 기 생성된 인공지능 알고리즘에 의해 수행될 수 있으나, 이는 수술 도구 식별을 위한 인공지능 알고리즘, 해부학적 구조물 식별을 위한 알고리즘 및 수술 행위 분석을 위한 인공지능 알고리즘이 각각 별도로 마련되어 복강경 카메라 조종 로봇(100)에 탑재되는 실시예를 포함하는 것으로 이해됨이 바람직하다.

또한, 복강경 카메라 조종 로봇(100)은 획득된 수술 영상에 등장하는 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 복강경 카메라의 촬영 뷰를 조정할 수 있다.

여기서, 복강경 카메라의 촬영 뷰를 조정하는 것은, 복강경 카메라에 의해 촬영되는 수술 영상의 화면 내 중심 위치를 조정하는 것을 포함할 수 있다. 또한, 복강경 카메라의 촬영 뷰를 조정하는 것은, 복강경 카메라에 의해 촬영되는 수술 영상의 화면의 수평 기울임을 조정하는 것을 포함할 수 있다. 또한, 복강경 카메라의 촬영 뷰를 조정하는 것은, 복강경 카메라의 초점 거리를 조정하는 것을 포함할 수 있다.

본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 도구에 대한 식별 결과에 기초하여 수술 영상의 화면 내 중심 위치를 조정할 수 있다.

도 5는 수술 영상의 화면이 중심 영역, 버퍼 영역 및 가장자리 영역으로 구획되는 것을 설명하기 위한 도면이다.

도 5를 참조하면, 수술 영상의 화면은 중심 위치를 포함하는 중심 영역(A1), 화면의 외곽 모서리를 포함하는 가장자리 영역(A3) 및 중심 영역(A1)과 가장자리 영역(A3) 사이의 버퍼 영역(A2)을 포함하도록 구획될 수 있다.

이와 관련하여, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 도구에 대한 식별 결과에 기초하여 식별된 수술 도구의 적어도 일부가 중심 영역(A1)에 위치하도록 조정할 수 있다.

또한, 본원의 일 실시예에 따르면, 중심 영역(A1)에 위치하도록 화면이 조정되는 기준이 되는 식별된 수술 도구의 적어도 일부란, 예를 들어 식별된 수술 도구의 종류에 따라 결정되는 중심점, 끝점(Tip), 무게중심 등을 의미하는 것일 수 있다. 본원의 일 실시예에 따르면, 수술자(2)의 개인 선호도를 고려하여 커스터마이징되어 수술자(2)의 수술 편의성을 향상시킬 수 있도록 화면 중심 위치를 조정하기 기준이 되는 수술 도구의 적어도 일부는 복강경 카메라 조종 로봇(100)에 인가된 별도의 사용자 입력에 기초하여 수술 도구 별로 각각 결정되는 것일 수 있다.

또한, 본원의 일 실시예에 따르면, 수술 도구는 복강경 수술을 수행하는 수술자(2)가 주로 사용하는 손에 파지한 제1도구 및 나머지 손에 파지한 제2도구를 포함할 수 있다. 예를 들어, 수술자(2)가 오른손 잡이인 경우, 오른손에 파지한 수술 도구가 제1도구가 되고, 왼손에 파지한 수술 도구가 제2도구가 될 수 있다. 마찬가지로, 수술자(2)가 왼손 잡이인 경우에는 왼손에 파지한 수술 도구가 제1도구가 되고, 오른손에 파지한 수술 도구가 제2도구가 될 수 있다.

이와 관련하여, 본원의 일 실시예에 따른 복강경 카메라 조종 로봇(100)은 화면 내 중심 위치를 조정하기 위하여 먼저 제1도구 또는 제2도구를 타겟 도구로 결정할 수 있다. 또한, 복강경 카메라 조종 로봇(100)은 결정된 타겟 도구의 적어도 일부가 중심 영역에 위치하도록 조정할 수 있다.

구체적으로, 복강경 카메라 조종 로봇(100)은 수술 영상 내에서 제1도구 및 제2도구 중 어느 하나만 이동하는 경우, 이동하는 해당 수술 도구를 타겟 도구로 결정할 수 있다. 또한, 복강경 카메라 조종 로봇(100)은 제1도구 및 제2도구가 모두 이동하는 경우 또는 모두 이동하지 않는 경우에는, 제1도구를 타겟 도구로 결정할 수 있다.

달리 말해, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술자(2)가 양 손 각각을 이용하여 서로 다른 수술 도구를 조작하는 경우에는, 우선적으로 움직임이 존재하는 수술 도구가 우선적으로 화면의 중심 위치에 오도록 복강경 카메라의 촬영 방향을 조정하되, 양 손의 수술 도구가 모두 움직이거나 모두 움직이지 않으면 수술자(2)가 주로 사용하는 손에 파지한 수술 도구가 화면의 중심 위치에 오도록 할 수 있다. 다만, 이에만 한정되는 것은 아니며, 본원의 구현예에 따라 수행되는 복강경 수술의 유형, 수술자(2)가 파지한 수술 도구의 유형, 현재 시행되는 수술 행위의 유형 등에 기초하여 수술 상황에 맞는 타겟 도구가 결정될 수 있다.

또한, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 도구의 적어도 일부가 버퍼 영역(A2)에 위치하면, 제1속도로 복강경 카메라의 촬영 방향을 변화시켜 해당 수술 도구의 적어도 일부가 중심 영역(A1)에 위치하도록 조정할 수 있다. 또한, 복강경 카메라 조종 로봇(100)은 수술 도구의 적어도 일부가 가장자리 영역(A3)에 위치하면, 상기의 제1속도보다 빠른 속도인 제2속도로 복강경 카메라의 촬영 방향을 변화시켜 해당 수술 도구의 적어도 일부가 중심 영역(A1)에 위치하도록 조정할 수 있다. 여기서, 버퍼 영역(A2) 또는 가장자리 영역(A3)에 위치한 것으로 판단되는 대상 수술 도구는 예를 들어 전술한 타겟 도구로 결정될 수 있다.

또한, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 해부학적 구조물에 대한 식별 결과에 기초하여 수술 영상의 화면의 수평 기울임을 조정할 수 있다.

본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 화면의 현재 수평 기울임 상태를 파악할 수 있다. 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 영상에 표시되는 환자(1)의 복강 내에서 미리 구획된 복수의 분획별로 식별된 해부학적 구조물 간의 배치 관계에 기초하여 화면의 현재 수평 기울임 상태를 파악할 수 있다.

또한, 복강경 카메라 조종 로봇(100)은 해부학적 구조물에 대한 식별 결과 및 수평 기울임 환경 정보에 기초하여 화면의 수평 기울임을 조정할 수 있다. 또한, 예를 들어, 복강경 카메라 조종 로봇(100)은 파악된 화면의 현재 수평 기울임 상태를 수평 기울임 환경 정보에 기초하여 조정하여 지면, 수술 테이블(300)에 환자(1)가 안착되는 부분 등의 기준면과 평행하도록 화면의 수평 기울임을 조정할 수 있다. 다만, 항상 기준면과 평행하도록 화면의 수평 기울임이 조정되는 것은 아니며, 수행되는 복강경 수술의 유형, 환자(1)의 신체적 특성, 환자(1)의 자세, 현재 시행되는 수술 행위의 유형 등에 따라 해당 기준면에 대하여 소정의 방향 및 소정의 각도로 기울어진 상태가 되도록 화면의 수평 기울임이 조정될 수 있다.

여기서, 수평 기울임 환경 정보는, 복수의 해부학적 구조물 간의 배치(배열, 상대적 위치) 상태, 수행되는 복강경 수술의 유형에 따른 환자의 자세 정보, 환자가 위치하는 수술 테이블(300)의 기울어짐 정보 및 수술 영상 내 등장하는 복강 내 액체 성분의 수평 정보 중 적어도 하나를 포함할 수 있다.

본원의 일 실시예에 따르면, 환자의 자세 정보 및 환자가 위치하는 수술 테이블(300)의 기울어짐 정보는 수술 테이블(300)에 마련되는 각종 센서(예를 들어, 압력 센서, 자기 센서 등)에 기초하여 측정되어 수술 테이블(300)로부터 복강경 카메라 조종 로봇(100)으로 제공되는 것일 수 있다.

또한, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 수술 행위에 대한 분석 결과에 기초하여 복강경 카메라의 초점 거리를 조정할 수 있다.

구체적으로, 복강경 카메라 조종 로봇(100)은 수술 행위에 대한 분석 결과에 기초하여 분석된 수술 행위에 대한 최적 초점 거리 정보에 부합하도록 복강경 카메라가 줌-인 또는 줌-아웃 되도록 조정할 수 있다.

여기서, 최적 초점 거리 정보란, 수술 행위의 유형 각각에 대하여 결정되는 복강경 카메라의 줌(Zoom)의 확대 또는 축소 정도를 의미하는 것일 수 있으며, 본원의 일 실시예에 따르면, 최적 초점 거리 정보는 소정의 수술 행위가 수행되는 경우의 복강경 카메라의 줌-인 또는 줌-아웃 정도에 관한 정보를 다수의 수술 영상으로부터 학습한 인공지능 기반의 초점 거리 산출 알고리즘에 기초하여 자동으로 결정되는 것일 수 있다. 다른 예로, 최적 초점 거리 정보는 미리 정의된 수술 행위 별 초점 거리에 대한 맵핑 테이블에 기초하여 결정되는 것일 수 있다. 예를 들어, 미리 정의된 맵핑 테이블에 제1수술 행위에 대하여는 제1거리가 초점 거리로 맵핑되고, 제2수술 행위에 대하여는 제2거리가 초점 거리로 맵핑되도록 정의된 경우, 기 생성된 인공지능 알고리즘을 통해 수술 영상에 대한 수술 행위 분석 결과, 제1수술 행위가 수행되고 있는 것으로 분석된 경우 복강경 카메라의 초점거리가 제1거리가 되도록 조정되고, 이와 달리 제2수술 행위가 수행되고 있는 것으로 분석된 경우에는 복강경 카메라의 초점거리가 제2거리가 되도록 구현될 수 있다.

또한, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 제1도구 및 제2도구 사이의 거리 변화, 타겟 도구의 이동 속도, 분석된 수술 행위의 지속 시간 등의 추가 정보를 함께 고려하여 복강경 카메라의 초점 거리를 보다 세밀하게 조정하도록 동작할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 복강경 카메라 조종 로봇(100)은 화면 내 제1도구 및 제2도구의 거리가 미리 설정된 임계 거리 이상인 경우, 화면 내 제1도구 및 제2도구의 거리가 임계 거리 미만이 되도록 복강경 카메라를 줌-아웃하도록 동작할 수 있다.

다른 예로, 복강경 카메라 조종 로봇(100)은 타겟 도구의 화면 내 움직임 정보에 기초하여, 타겟 도구의 이동 속도가 소정 수준 이하로 느린 경우, 복강경 카메라를 줌-인하도록 동작할 수 있다. 반대로, 복강경 카메라 조종 로봇(100)은 타겟 도구의 화면 내 움직임 정보에 기초하여 타겟 도구의 이동 속도가 소정 수준을 초과하게 빠른 경우 또는 타겟 도구의 이동 범위(변위)가 큰 경우 카메라를 줌-아웃하도록 동작할 수 있다.

또 다른 예로, 복강경 카메라 조종 로봇(100)은 분석된 수술 행위가 미리 설정된 임계 시간 이상 지속되는 경우, 복강경 카메라를 줌-인하도록 동작할 수 있다. 여기서, 복강경 카메라가 줌-인되도록 하는 임계 시간은 수술 행위 각각에 대하여 상이하게 설정될 수 있으며, 수술자(2) 맞춤형으로 커스터마이징 되도록 복강경 카메라 조종 로봇(100)에 인가된 사용자 입력에 기초하여 개별 설정될 수 있다.

도 6은 본원의 일 실시예에 따른 수술 영상 분석 기반의 복강경 카메라 조종 로봇의 개략적인 구성도이다.

도 6을 참조하면, 복강경 카메라 조종 로봇(100)은, 카메라부(110), 영상 분석부(120) 및 제어부(130)를 포함할 수 있다. 또한, 도 6을 참조하면, 제어부(130)는 화면 중심 조정부(131), 수평 조정부(132) 및 초점 거리 조정부(133)를 포함할 수 있다.

카메라부(110)는, 수술 영상을 촬영할 수 있다.

영상 분석부(120)는, 수술 영상에 등장하는 수술 도구를 식별할 수 있다. 또한, 영상 분석부(120)는 수술 영상에 등장하는 해부학적 구조물을 식별할 수 있다. 또한, 영상 분석부(120)는 수술 도구의 움직임에 대응하는 수술 행위를 분석할 수 있다.

제어부(130)는, 영상 분석부(120)에 의해 도출된 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 카메라부(110)의 촬영 뷰를 조정할 수 있다.

화면 중심 조정부(131)는, 수술 도구에 대한 식별 결과에 기초하여 상기 수술 영상의 화면 내 중심 위치를 조정할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 화면 중심 조정부(131)는, 수술 도구에 대한 식별 결과에 기초하여 식별된 수술 도구의 적어도 일부가 중심 영역(A1)에 위치하도록 조정할 수 있다.

수평 조정부(132)는, 해부학적 구조물에 대한 식별 결과에 기초하여 수술 영상의 화면의 수평 기울임을 조정할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 수평 조정부(132)는 화면의 현재 수평 기울임 상태를 파악할 수 있다. 또한, 수평 조정부(132)는 해부학적 구조물에 대한 식별 결과 및 복수의 해부학적 구조물 간의 배치 상태, 수행되는 복강경 수술의 유형에 따른 환자의 자세 정보, 환자가 위치하는 수술 테이블(300)의 기울어짐 정보 및 수술 영상 내 등장하는 복강 내 액체 성분의 수평 정보 중 적어도 하나를 포함하는 수평 기울임 환경 정보에 기초하여 수술 영상 화면의 수평 기울임을 조정할 수 있다.

초점 거리 조정부(133)는, 수술 행위에 대한 분석 결과에 기초하여 카메라부(110)의 복강경 카메라의 초점 거리를 조정할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 초점 거리 조정부(133)는 수술 행위에 대한 분석 결과에 기초하여 분석된 수술 행위에 대한 최적 초점 거리 정보에 부합하도록 카메라부(110)의 복강경 카메라가 줌-인 또는 줌-아웃 되도록 조정할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 7은 본원의 일 실시예에 따른 복강경 카메라 촬영 뷰 조정 방법에 대한 동작 흐름도이다.

도 7에 도시된 복강경 카메라 촬영 뷰 조정 방법은 앞서 설명된 복강경 카메라 조종 로봇(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 복강경 카메라 조종 로봇(100)에 대하여 설명된 내용은 복강경 카메라 촬영 뷰 조정 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 7을 참조하면, 단계 S710에서 카메라부(110)는 복강경 카메라에 의한 수술 영상을 획득할 수 있다.

다음으로, 단계 S720에서 영상 분석부(120)는 수술 영상에 등장하는 수술 도구, 해부학적 구조물 및 수술 도구의 움직임에 대응되는 수술 행위 중 적어도 하나를 식별 또는 분석할 수 있다.

달리 말해, 단계 S720에서 영상 분석부(120)는 수술 영상에 등장하는 수술 도구를 식별할 수 있다. 또한, 단계 S720에서 영상 분석부(120)는 수술 영상에 등장하는 해부학적 구조물을 식별할 수 있다. 또한, 단계 S720에서 영상 분석부(120)는 수술 영상 내에서의 식별된 수술 도구의 움직임에 대응하는 수술 행위를 분석할 수 있다.

또한, 본원의 일 실시예에 따르면, 단계 S720에서 영상 분석부(120)는 기 생성된 인공지능 알고리즘에 기초하여 수술 영상에 등장하는 수술 도구를 식별할 수 있다. 또한, 단계 S720에서 영상 분석부(120)는 기 생성된 인공지능 알고리즘에 기초하여 수술 영상에 등장하는 해부학적 구조물을 식별할 수 있다. 또한, 단계 S720에서 영상 분석부(120)는 기 생성된 인공지능 알고리즘에 기초하여 수술 영상 내에서의 식별된 수술 도구의 움직임에 대응하는 수술 행위를 분석할 수 있다.

다음으로, 단계 S730에서 제어부(130)는 수술 영상에 등장하는 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 카메라부(110)의 복강경 카메라의 촬영 뷰를 조정할 수 있다.

상술한 설명에서, 단계 S710 내지 S730은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

도 8은 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 복강경 카메라 촬영 뷰를 조정하는 단계에 대한 세부 동작 흐름도이다.

도 8에 도시된 복강경 카메라 촬영 뷰를 조정하는 세부 단계는 앞서 설명된 복강경 카메라 조종 로봇(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 복강경 카메라 조종 로봇(100)에 대하여 설명된 내용은 도 8에 대한 설명에도 동일하게 적용될 수 있다.

도 8을 참조하면, 단계 S810에서 화면 중심 조정부(131)는 수술 도구에 대한 식별 결과에 기초하여 수술 영상의 화면 내 중심 위치를 조정할 수 있다.

본원의 일 실시예에 따르면, 단계 S810에서 화면 중심 조정부(131)는 수술 도구에 대한 식별 결과에 기초하여 식별된 수술 도구의 적어도 일부가 수술 영상의 화면의 중심 영역에 위치하도록 조정할 수 있다.

또한, 수술 도구는 복강경 수술을 수행하는 수술자가 주로 사용하는 손에 파지한 제1도구 및 나머지 손에 파지한 제2도구를 포함하고, 단계 S810에서 화면 중심 조정부(131)는 제1도구 또는 제2도구를 타겟 도구로 결정할 수 있다.

구체적으로, 단계 S810에서 화면 중심 조정부(131)는 제1도구 및 제2도구 중 어느 하나만 이동하면, 이동하는 수술 도구를 타겟 도구로 결정하고, 제1도구 및 제2도구가 모두 이동하거나 또는 모두 이동하지 않으면, 제1도구를 상기 타겟 도구로 결정할 수 있다.

또한, 단계 S810에서 화면 중심 조정부(131)는 결정된 타겟 도구의 적어도 일부가 수술 영상 화면의 중심 영역(A1)에 위치하도록 조정할 수 있다.

또한, 단계 S810에서 화면 중심 조정부(131)는 수술 도구(예를 들어, 결정된 타겟 도구)의 적어도 일부가 버퍼 영역(A2)에 위치하면, 제1속도로 복강경 카메라의 촬영 방향을 변화시켜 수술 도구의 적어도 일부가 중심 영역(A1)에 위치하도록 조정할 수 있다.

또한, 단계 S810에서 화면 중심 조정부(131)는 수술 도구의 적어도 일부가 가장자리 영역(A3)에 위치하면, 전술한 제1속도보다 빠른 속도인 제2속도로 복강경 카메라의 촬영 방향을 변화시켜 수술 도구의 적어도 일부가 중심 영역(A1)에 위치하도록 조정할 수 있다.

다음으로, 단계 S820에서 수평 조정부(132)는 해부학적 구조물에 대한 식별 결과에 기초하여 수술 영상의 화면의 수평 기울임을 조정할 수 있다.

구체적으로, 단계 S820에서 수평 조정부(132)는 화면의 현재 수평 기울임 상태를 파악할 수 있다. 또한, 단계 S820에서 수평 조정부(132)는 해부학적 구조물에 대한 식별 결과 및 수평 기울임 환경 정보에 기초하여 화면의 수평 기울임을 조정할 수 있다.

다음으로, 단계 S830에서 초점 거리 조정부(133)는 수술 행위에 대한 분석 결과에 기초하여 카메라부(110)의복강경 카메라의 초점 거리를 조정할 수 있다.

구체적으로, 단계 S830에서 초점 거리 조정부(133)는 수술 행위에 대한 분석 결과에 기초하여 분석된 수술 행위에 대한 최적 초점 거리 정보에 부합하도록 카메라부(110)의 복강경 카메라가 줌-인 또는 줌-아웃 되도록 조정할 수 있다.

상술한 설명에서, 단계 S810 내지 S830은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 복강경 카메라 촬영 뷰 조정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 복강경 카메라 촬영 뷰 조정 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

10: 복강경 수술 시스템
100: 수술 영상 분석 기반의 복강경 카메라 조종 로봇
110: 카메라부
120: 영상 분석부
130: 제어부
131: 화면 중심 조정부
132: 수평 조정부
133: 초점 거리 조정부
200: 디스플레이 장치
300: 수술 테이블
1: 환자
2: 수술자

Claims

수술 영상 분석 기반의 복강경 카메라 조종 로봇에 의해 수행되는 복강경 카메라 촬영 뷰 조정 방법에 있어서,
복강경 카메라에 의한 수술 영상을 획득하는 단계;
상기 수술 영상에 등장하는 수술 도구를 식별하는 단계;
상기 수술 영상에 등장하는 해부학적 구조물을 식별하는 단계;
상기 수술 영상 내에서의 상기 수술 도구의 움직임에 대응하는 수술 행위를 분석하는 단계; 및
상기 수술 영상에 등장하는 수술 도구에 대한 식별 결과, 해부학적 구조물에 대한 식별 결과 및 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 상기 복강경 카메라의 촬영 뷰를 조정하는 단계,
를 포함하는, 복강경 카메라 촬영 뷰 조정 방법.
삭제
제1항에 있어서,
상기 촬영 뷰를 조정하는 단계는,
상기 수술 영상의 화면 내 중심 위치를 조정하는 단계;
상기 수술 영상의 화면의 수평 기울임을 조정하는 단계; 및
상기 복강경 카메라의 초점 거리를 조정하는 단계,
를 포함하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제3항에 있어서,
상기 중심 위치를 조정하는 단계는 상기 수술 도구에 대한 식별 결과에 기초하여 수행되고,
상기 수평 기울임을 조정하는 단계는 상기 해부학적 구조물에 대한 식별 결과에 기초하여 수행되고,
상기 초점 거리를 조정하는 단계는 상기 수술 행위에 대한 분석 결과에 기초하여 수행되는 것을 특징으로 하는, 복강경 카메라 촬영 뷰 조정 방법.
제4항에 있어서,
상기 수술 영상의 화면은 상기 중심 위치를 포함하는 중심 영역, 상기 화면의 외곽 모서리를 포함하는 가장자리 영역 및 상기 중심 영역과 상기 가장자리 영역 사이의 버퍼 영역을 포함하도록 구획되고,
상기 화면 내 중심 위치를 조정하는 단계는,
상기 수술 도구에 대한 식별 결과에 기초하여 식별된 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제5항에 있어서,
상기 수술 도구는,
복강경 수술을 수행하는 수술자가 주로 사용하는 손에 파지한 제1도구 및 나머지 손에 파지한 제2도구를 포함하고,
상기 화면 내 중심 위치를 조정하는 단계는,
상기 제1도구 또는 상기 제2도구를 타겟 도구로 결정하는 단계; 및
결정된 상기 타겟 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정하는 단계,
를 포함하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제6항에 있어서,
상기 타겟 도구로 결정하는 단계는,
상기 제1도구 및 상기 제2도구 중 어느 하나만 이동하면, 이동하는 수술 도구를 상기 타겟 도구로 결정하고,
상기 제1도구 및 상기 제2도구가 모두 이동하거나 또는 모두 이동하지 않으면, 상기 제1도구를 상기 타겟 도구로 결정하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제5항에 있어서,
상기 화면 내 중심 위치를 조정하는 단계는,
상기 수술 도구의 적어도 일부가 상기 버퍼 영역에 위치하면, 제1속도로 상기 복강경 카메라의 촬영 방향을 변화시켜 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정하고,
상기 수술 도구의 적어도 일부가 상기 가장자리 영역에 위치하면, 상기 제1속도보다 빠른 속도인 제2속도로 상기 복강경 카메라의 촬영 방향을 변화시켜 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제5항에 있어서,
상기 해부학적 구조물은 상기 복강경 카메라에 의해 촬영되는 환자의 체내에 위치하는 장기를 포함하고,
상기 화면의 수평 기울임을 조정하는 단계는,
상기 화면의 현재 수평 기울임 상태를 파악하는 단계; 및
상기 해부학적 구조물에 대한 식별 결과 및 수평 기울임 환경 정보에 기초하여 상기 화면의 수평 기울임을 조정하는 단계,
를 포함하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제9항에 있어서,
상기 수평 기울임 환경 정보는,
복수의 상기 해부학적 구조물 간의 배치 상태, 수행되는 복강경 수술의 유형에 따른 상기 환자의 자세 정보, 상기 환자가 위치하는 수술 테이블의 기울어짐 정보 및 상기 수술 영상 내 등장하는 복강 내 액체 성분의 수평 정보 중 적어도 하나를 포함하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제9항에 있어서,
상기 초점 거리를 조정하는 단계는,
상기 수술 행위에 대한 분석 결과에 기초하여 분석된 상기 수술 행위에 대한 최적 초점 거리 정보에 부합하도록 상기 복강경 카메라가 줌-인 또는 줌-아웃 되도록 조정하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
제1항에 있어서,
기 생성된 인공지능 알고리즘에 기초하여 상기 수술 영상에 등장하는 수술 도구를 식별하는 단계;
상기 인공지능 알고리즘에 기초하여 상기 수술 영상에 등장하는 해부학적 구조물을 식별하는 단계;
상기 인공지능 알고리즘에 기초하여 상기 수술 영상 내에서의 상기 수술 도구의 움직임에 대응하는 수술 행위를 분석하는 단계,
를 더 포함하는 것인, 복강경 카메라 촬영 뷰 조정 방법.
수술 영상 분석 기반의 복강경 카메라 조종 로봇으로서,
수술 영상을 촬영하는 카메라부;
상기 수술 영상에 등장하는 수술 도구 및 해부학적 구조물을 식별하고, 상기 수술 도구의 움직임에 대응하는 수술 행위를 분석하는 영상 분석부; 및
상기 수술 도구에 대한 식별 결과, 상기 해부학적 구조물에 대한 식별 결과 및 상기 수술 행위에 대한 분석 결과 중 적어도 하나에 기초하여 상기 카메라부의 촬영 뷰를 조정하는 제어부,
를 포함하는, 복강경 카메라 조종 로봇.
제13항에 있어서,
상기 제어부는,
상기 수술 도구에 대한 식별 결과에 기초하여 상기 수술 영상의 화면 내 중심 위치를 조정하는 화면 중심 조정부;
상기 해부학적 구조물에 대한 식별 결과에 기초하여 상기 수술 영상의 화면의 수평 기울임을 조정하는 수평 조정부; 및
상기 수술 행위에 대한 분석 결과에 기초하여 상기 복강경 카메라의 초점 거리를 조정하는 초점 거리 조정부,
를 포함하는 것인, 복강경 카메라 조종 로봇.
제14항에 있어서,
상기 수술 영상의 화면은 상기 중심 위치를 포함하는 중심 영역, 상기 화면의 외곽 모서리를 포함하는 가장자리 영역 및 상기 중심 영역과 상기 가장자리 영역 사이의 버퍼 영역을 포함하도록 구획되고,
상기 화면 중심 조정부는,
상기 수술 도구에 대한 식별 결과에 기초하여 식별된 상기 수술 도구의 적어도 일부가 상기 중심 영역에 위치하도록 조정하는 것인, 복강경 카메라 조종 로봇.
제14항에 있어서,
상기 해부학적 구조물은 상기 복강경 카메라에 의해 촬영되는 환자의 체내에 위치하는 장기를 포함하고,
상기 수평 조정부는,
상기 화면의 현재 수평 기울임 상태를 파악하고, 상기 해부학적 구조물에 대한 식별 결과 및 복수의 상기 해부학적 구조물 간의 배치 상태, 수행되는 복강경 수술의 유형에 따른 상기 환자의 자세 정보, 상기 환자가 위치하는 수술 테이블의 기울어짐 정보 및 상기 수술 영상 내 등장하는 복강 내 액체 성분의 수평 정보 중 적어도 하나를 포함하는 수평 기울임 환경 정보에 기초하여 상기 화면의 수평 기울임을 조정하는 것인, 복강경 카메라 조종 로봇.
제14항에 있어서,
상기 초점 거리 조정부는,
상기 수술 행위에 대한 분석 결과에 기초하여 분석된 상기 수술 행위에 대한 최적 초점 거리 정보에 부합하도록 상기 복강경 카메라가 줌-인 또는 줌-아웃 되도록 조정하는 것인, 복강경 카메라 조종 로봇.