KR20180006622A

KR20180006622A - 의료 컨텍스트에서의 비디오 컨텐트 검색

Info

Publication number: KR20180006622A
Application number: KR1020177037645A
Authority: KR
Inventors: 캐서린 제이. 모어; 브라이언 이. 밀러
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2015-06-09
Filing date: 2016-06-08
Publication date: 2018-01-18
Also published as: EP3308302A4; JP6912393B2; WO2016200887A1; JP2018518768A; CN107851120A; US20180322949A1; EP3308302A1; US10600510B2; KR102611663B1

Abstract

관심 있는 특정 내용에 대한 비디오 컨텐트를 검색하는 방법은 동시에 수집된 비-이미지 데이터의 분석과 함께 전통적인 이미지 데이터 분석 방법을 보강한다. 하나의 애플리케이션은 의료 장치를 이용하여 수행된 의료 절차의 비디오 기록을 포함한다. 사용자가 비디오 기록 중 관심 있는 의료 이벤트를 보여주는 부분의 위치를 찾고자 할 때, 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 의료 장치 시스템 이벤트가 하나 이상의 절차 이벤트 로그로부터 식별된다. 이러한 시스템 이벤트와 연관된 시간스탬프는 절차 비디오 기록로부터 후보 비디오 클립을 식별해내는데 사용된다. 이미지 데이터 분석이 후보 비디오 클립에 대하여 수행되어 각각의 후보 비디오 클립이 관심 있는 의료 이벤트를 포함하는지 여부가 판정된다.

Description

의료 컨텍스트에서의 비디오 컨텐트 검색

본 발명의 양상은 일반적으로 비디오 컨텐트 검색에 관한 것이다. 더욱 상세하게는, 본 발명의 양상은 관심 있는 어떤 내용에 대한 의료 절차의 비디오 기록을 검색하는 것, 및 관심 있는 내용을 보여주는 비디오 클립의 검색에 관한 것이다.

찾고자 하는 내용을 볼 수 있는 비디오 기록 내 정확한 포인트에 대한 지식없이도, 비디오 기록 중에서 어떤 관심 있는 내용의 위치를 찾을 수 있는 능력을 가지는 것이 바람직하다. 그러므로, 사용자가 키워드 또는 키 문구로 비디오 기록의 내용 검색을 수행하는 것을 가능하게 하는 비디오 검색 능력을 가지는 것이 바람직하다.

비디오 기록의 내용 검색은 전형적으로 오로지 이미지 데이터의 분석에만 의존하는 알고리즘 접근법을 포함한다. 예컨대, "이미지 데이터를 분할하는 방법 및 시스템"이란 제목의 게링의 미국 특허 제7,623,709호를 참조할 수 있다. 일반적으로 말하자면, 이미지 데이터의 분석은 관심 있는 다양한 내용을 나타내는 것으로 판정되는, 이미지(예컨대, 비디오의 한 프레임)의 다양한 픽셀 간에 존재하는 특정 패턴을 찾고자 시도한다. 이러한 분석을 수행하기 위해 사용되는 이미지 특징은 픽셀 색상, 픽셀 강도, 및 인접 픽셀에 의해 형성된 이미지 내의 라인 또는 윤곽 등의 패턴을 포함할 수 있다. 이미지 데이터의 분석에 의한 이미지의 내용 검색은 도전적이고 계산 집약적인데, 이러한 전망은 미국 특허 제7,623,709호도 동의하는 바이다. 또한, 반환되는 결과가 종종 부정확하기도 하다.

오직 이미지 데이터 분석만 이용하여 이미지의 내용을 판정하는 것과 관련된 한계점을 고려하여, 비디오 기록의 내용 검색을 수행하는 향상된 시스템 및 방법이 바람직하다. 하나의 양상에서, 비디오 기록은 의료 시스템상에서 발생하는 다양한 시스템 이벤트와 연관지어진다. 의료 시스템상에서 발생하는 시스템 이벤트에 대한 정보는 비디오 기록 내에서 발생하는 어떤 이벤트를 나타낼 수 있는 추가적인 데이터 세트를 제공한다. 특정한 관심 있는 내용에 대하여 기록된 비디오를 검색할 때, 이러한 추가 데이터 세트의 분석은 비디오 기록의 이미지 데이터 분석을 보강하기 위해 사용될 수 있다. 이러한 검색 접근법은 이것이 검색의 계산 집약도를 최소화하고 검색 정확도를 개선할 수 있다면, 오직 이미지 데이터 분석에만 의존하는 검색 접근법보다 바람직할 것이다.

아래의 설명은 기본적인 이해를 제공하기 위해 본 발명의 대상의 어느 양상들을 소개한다. 본 설명은 본 발명의 대상의 포괄적인 개요는 아니며, 중요한 또는 주요한 엘리먼트를 식별하거나 또는 본 발명의 대상의 범위를 묘사하도록 의도된 것도 아니다. 본 설명이 본 발명의 대상의 다양한 양상 및 실시예와 관련된 정보를 포함하고 있으나, 본 설명의 유일한 목적은 아래의 더 상세한 설명에 대한 서론으로서 일반적인 형태의 몇몇 양상 및 형태를 제공하는 것일 뿐이다.

기록된 비디오를 검색하는 방법이 개시된다. 이 방법은 하나 이상의 절차 비디오 기록으로부터 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾기 위한 사용자 커맨드를 수신하는 단계를 포함한다. 그 다음, 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트가 하나 이상의 절차 이벤트 로그로부터 식별된다. 하나 이상의 시스템 이벤트 각각에 대응하는 하나 이상의 시간스탬프를 이용하여, 하나 이상의 절차 비디오 기록으로부터 하나 이상의 후보 비디오 클립이 식별된다. 이미지 데이터의 분석을 수행함으로써, 각각의 하나 이상의 후보 비디오 세그먼트가 관심 있는 의료 이벤트를 담고 있는 식별된 비디오 세그먼트인지 여부에 관한 판정이 이루어진다. 적어도 하나의 식별된 비디오 세그먼트가 사용자에게 제공된다.

비디오 검색을 수행하기 위한 컴퓨팅 장치가 개시된다. 이 컴퓨팅 장치는 하나 이상의 프로세서를 포함하는 프로세싱 유닛 및 사용자 인터페이스를 포함한다. 프로세싱 유닛은 사용자 인터페이스에 유효하게 연결되어 있고, 그것은 하나 이상의 절차 비디오 기록으로부터 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾고자 하는 사용자 커맨드를 수신하도록 구성되어 있다. 프로세싱 유닛은 또한 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트를, 하나 이상의 절차 이벤트 로그로로부터 식별해내도록 구성되어 있다. 하나 이상의 시스템 이벤트 각각에 대응하는 하나 이상의 시간스탬프를 이용하여, 프로세싱 유닛은 하나 이상의 절차 비디오 기록으로부터 하나 이상의 후보 비디오 클립을 식별해내도록 구성되어 있다. 프로세싱 유닛은 하나 이상의 후보 비디오 세그먼트 각각이 관심 있는 의료 이벤트를 담고 있는 식별된 비디오 세그먼트인지 여부를 판정하기 위해 이미지 데이터의 분석을 수행한다. 프로세싱 유닛은 적어도 하나의 식별된 비디오 세그먼트를 사용자에게, 예컨대, 디스플레이 상에 제공한다.

도 1은 미소절개 원격조종 수술 시스템의 평면도이다.
도 2는 외과의 콘솔의 투시도이다.
도 3은 전자기기 카트의 투시도이다.
도 4는 원격조종 수술 시스템의 개략적인 도면이다.
도 5는 환자측 카트의 투시도이다.
도 6은 의료 시스템의 개략적인 도면이다.
도 7a는 의료 시스템의 이미징 알고리즘의 흐름도이다.
도 7b는 의료 시스템의 이벤트 로그를 생성하는 알고리즘의 흐름도이다.
도 7c는 의료 시스템을 이용하는 알고리즘의 흐름도이다.
도 8은 의료 시스템의 이벤트 로그의 데이터 구조를 보여주는 다이어그램이다.
도 9는 데이터 라이브러리 보존 알고리즘의 흐름도이다.
도 10은 비디오 컨텐트 검색 알고리즘의 흐름도이다.

본 발명의 형태, 실시예, 구현방법 또는 애플리케이션을 예로 든 본 설명 및 첨부된 도면은 제한사항으로서 해석되어서는 안되며, 청구항이 보호받고자 하는 발명을 정의한다. 본 설명 및 청구항의 정신 및 범위를 벗어나지 않고 다양한 기계적, 구성요소의, 구조의, 전기적, 및 동작적 변형이 이루어질 수 있다. 몇몇 예에서, 공지된 회로, 구조, 또는 기술들은 본 발명을 모호하게 하지 않기 위해 상세하게 도시되거나 설명되지 않을 수 있다. 2 이상의 도면에서 유사한 부재번호들은 동일하거나 유사한 엘리먼트를 나타낸다.

또한, 본 설명의 용어는 본 발명을 제한하도록 의도된 것이 아니다. 예를 들어, "아래에", "밑에", "아래쪽", "위에", "위쪽", "근단", "원단" 등과 같은 공간적으로 상대적인 용어들은 도면에 도시된 하나의 엘리먼트 또는 피처의 다른 엘리먼트 또는 피처에 대한 관계를 설명하기 위해 사용될 수 있다. 이러한 공간적으로 상대적인 용어들은 도면에 도시된 위치 및 방향과 더불어, 사용 또는 동작 중인 장치의 다른 포지션(즉, 위치), 및 방향(즉, 회전 위치)을 아우르도록 의도되었다. 예를 들어, 도면 내의 장치가 뒤집어진다면, 다른 엘리먼트 또는 피처의 "아래에" 또는 "밑에"로 설명된 엘리먼트는 그 다른 엘리먼트 또는 피처의 "위" 또는 "위에" 있을 것이다. 그러므로, 예시적인 용어 "아래"는 위 및 아래의 위치 및 방향을 모두 포함할 수 있다. 장치가 다른 방향(90도 또는 다른 방향으로 회전될)일 수 있고, 여기 사용된 공간적으로 상대적인 서술어들은 그에 맞게 해석된다. 이와 마찬가지로, 다양한 축을 따른 및 축 둘레로의 움직짐의 서술은 다양한 특수한 장치 위치 및 방향을 포함한다. 또한, 단수 형태 "하나", "하나의", 및 "그"는 문맥이 다르게 나타내지 않는다면 복수 형태도 포함하도록 의도된 것이다. 또한, 용어 "포함하다", "포함하는", "갖추다" 등은 언급된 피처, 단계, 동작, 엘리먼트, 및/또는 컴포넌트의 존재를 명시한 것이지만, 하나 이상의 다른 피처, 단계, 동작, 엘리먼트, 컴포넌트 및/또는 그룹의 존재 또는 추가를 배재하지 않는다. 연결된 것으로 설명된 컴포넌트들은 전기적으로 또는 기계적으로 집적 연결된 것일 수도 있고, 또는 하나 이상의 중간 컴포넌트를 통해 간접적으로 연결된 것일 수도 있다.

하나의 실시예, 구현 방법, 또는 애플리케이션에 관련하여 상세하게 서술된 엘리먼트들은, 실현가능하다면, 그것들이 구체적으로 도시되고 설명되어 있지 않은 다른 실시예, 구현 방법, 또는 애플리케이션에도 포함될 수 있다. 예를 들어, 하나의 엘리먼트가 하나의 실시예에 관련하여 상세하게 서술되었고 제2 실시예에 관련하여 서술되지는 않았다면, 그 엘리먼트는 그럼에도 불구하고 제2 실시예에 포함되는 것으로 요구될 수 있다. 그러므로, 아래의 설명에서 불필요한 반복을 피하기 위해, 하나의 실시예, 구현방법 또는 애플리케이션과 연관지어 도시되고 서술된 하나 이상의 엘리먼트들은 분명하게 다르게 기재되지 않았다면, 또는 그 하나 이상의 엘리먼트가 엘리먼트 또는 구현방법을 기능할 수 없게 만들지 않는다면, 또는 2 이상의 그 엘리먼트가 모순되는 기능을 제공하지 않는다면, 다른 실시예, 구현방법 또는 애플리케이션에 통합될 수 있다.

본 발명의 양상들은 캘리포니아 써니베일의 인튜어티브 서지컬 인코퍼레이티드에 의해 상용화된 다빈치? 수술 시스템(구체적으로 다빈치? Xi™ HD™ 수술 시스템으로 판매되는, 모델 IS4000)을 이용한 구현방법에 관하여 주로 설명된다. 그러나, 당업자들은 여기 개시된 본 발명의 형태가 로봇식 및 적용 가능하다면 비-로봇식 실시예 및 구현방법을 포함하여 다양한 방법으로 실시 및 구현될 수 있음을 이해할 것이다. 다빈치? 수술 시스템(예컨대, Model IS4000 다빈치? Xi™ 수술 시스템, Model IS3000 다빈치 Si? 수술 시스템) 상의 구현방법이 주로 설명되지만, 그것이 여기 개시된 본 발명의 형태를 제한하는 것으로 해석되어서는 안 된다.

본 명세서는 의료 시스템을 이용하여 수행된 의료 절차를 기록하기 위한 이미지 캡처 장치를 포함하는 의료 시스템을 설명한다. 또한, 의료 시스템은 컴퓨터 프로세서, 및 절차 이벤트 로그가 저장되는 메모리 장치를 포함한다. 절차 이벤트 로그는 의료 시스템상에서 발생한 어떤 이벤트들의 발생을 기록한다. 절차 이벤트 로그는 또한 그러한 이벤트가 발생한 시간을 기록한다. 의료 시스템은 절차 이벤트 로그의 시스템 이벤트를 대응하는 의료 절차 비디오 기록과 동기화시킬 수 있다.

하나의 양상에서, 의료 사용자는 의료 절차의 특정 부분을 보여주는 기록된 의료 비디오의 특정 세그먼트를 보고자 한다. 사용자는 찾고자 하는 비디오 세그먼트에서 보여지는 내용을 설명하는 하나 이상의 키워드를 사용자 인터페이스를 통해 입력한다. 이러한 입력은 의료 시스템에 연결된 외부 키보드, 의료 시스템의 터치스크린 텍스트 입력 인터페이스, 또는 의료 시스템의 음성 제어 인터페이스를 통한 것과 같은 다양한 공지된 입력 방법을 이용하여 이루어질 수 있다. 의료 시스템과 데이터 통신하는 컴퓨터 프로세서는 관심 있는 내용을 포함할 가능성이 있는 기록된 의료 비디오의 하나 이상의 후보 비디오 세그먼트(또는 "비디오 클립")를 식별해내기 위해 절차 이벤트 로그에 저장된 정보를 이용한다. 이러한 식별은 (1) 절차 이벤트 로그 내의 어떤 타입의 엔트리와, (2) (의료 절차의 비디오 기록 내에 포착된) 관심 있는 어떤 의료 이벤트 간의 기지의 상관관계로 인해 가능하다. 그 다음, 컴퓨터 알고리즘이 후보 비디오 클립에 적용되고 (임의의 나머지 비디오 기록에는 적용되지 않는다), 이 알고리즘은 각각의 식별된 비디오 클립의 프레임 내에 포함된 이미지 데이터를 분석하여, 임의의 프레임이 찾고자 하는 관심 있는 내용을 보여주는지 판정한다. 이미지 데이터 분석 알고리즘이 하나 이상의 식별된 비디오 클립이 관심 있는 내용을 포함한다고 긍정적으로 확인하면, 그 비디오 클립은 사용자에게 제공된다.

미소절개 원격조종 수술 시스템

이제, 유사한 부재번호가 수개의 도면에 걸쳐 유사한 부분을 나타내는 도면을 참조하면, 도 1은 수술대(14) 위에 놓인 환자(12)에게 미소절개 진단 또는 의료 절차를 수행하기 위해 전형적으로 사용되는 미소절개 원격조종 수술 시스템(10)의 평면도이다. 이 시스템은 절차 동안 외과의(18)가 사용하는 수술의 콘솔(16)을 포함한다. 한 명 이상의 보조(20)도 절차에 참여할 수 있다. 미소절개 원격조종 수술 시스템(1)은 확자측 카트(22) 및 전자기기 카트(24)를 더 포함한다. 환자측 카트(22)는 외과의(18)가 외과의 콘솔(16)을 통해 수술 부위를 보는 동안 환자(12)의 신체 내의 미소절개 삽입부를 통해 적어도 하나의 제거 가능하게 연결된 수술 기구(26)를 조종할 수 있다. 수술 부위의 이미지는 내시경(28)을 방향조절하기 위해 환자측 카트(22)에 의해 조종될 수 있는 입체 현미경과 같은 내시경(28)에 의해 획득될 수 있다. 전자기기 카트(24) 상에 위치하는 컴퓨터 프로세서는 외과의 콘솔(16)을 통해 외과의(18)에게 추후 디스플레이하기 위해 수술 부위의 이미지를 처리하기 위해 사용될 수 있다. 한번에 사용되는 수술 기구(26)의 개수는 일반적으로 다른 요인들 중에서도 진단 또는 의료 절차, 및 수술실 내부의 공간적 제약에 의존할 것이다. 절차 동안 사용되는 하나 이상의 수술 기구(26)를 변경할 필요가 있다면, 보조(20)는 환자측 카트(22)로부터 수술 기구(26)를 제거하고, 그것을 수술실 내의 트레이(30)로부터의 다른 수술 기구(26)로 교체할 수 있다.

도 2는 외과의 콘솔(16)의 투시도이다. 외과의 콘솔(16)은 깊이 인지를 가능하게 하는 수술 부위의 조율된(coordinated) 입체 뷰를 외과의(18)에게 제공하기 위한 좌안 디스플레이(32) 및 우안 디스플레이(34)를 포함한다. 콘솔(16)은 하나 이상의 컨트롤 입력(36)을 더 포함한다. (도 1에 도시된) 환자측 카트(22)상에서 사용하기 위해 설치된 하나 이상의 수술 기구는 하나 이상의 컨트롤 입력(36)의 외과의(18)의 조종에 응답하여 움직이다. 컨트롤 입력(36)은 외과의(18)에게 원격현장감(telepresence) 또는 외과의가 기구(26)를 직접 제어하고 있음을 강하게 느끼도록 하나 이상의 컨트롤 입력(36)이 기구(26)와 통합되어 있다는 인식을 제공하기 위해 (도 1에 도시된) 그것의 연결된 수술 기구(26)와 동일한 기계적 자유도를 제공할 수 있다. 이를 위해, (도시되지 않은) 위치, 힘, 및 촉각 피드백 센서가 위치, 힘, 및 촉각적 감각을 수술 기구(26)로부터 컨트롤 입력(36)을 통해 외과의의 손으로 다시 전달하기 위해 채용될 수 있다.

외과의 콘솔(16)은 외과의가 절차를 직접 모니터하고, 필요하다면 물리적으로 참석하고, 전화 또는 다른 통신 매체를 통하지 않고 직접 환자측 보조에게 말할 수 있도록 환자와 동일한 방에 위치하는 것이 통상적이다. 그러나, 수술의는, 원격 의료 시술을 허용한 환자와 다른 방, 완전히 다른 건물, 또는 다른 원격 위치에 위치할 수도 있다.

도 3은 전자기기 카트(24)의 투시도이다. 전자기기 카트(24)는 내시경(28)에 연결될 수 있고, 예컨대, 외과의 콘솔 상의 외과의에게, 또는 국부적으로 및/또는 원격으로 위치하는 다른 적절한 디스플레이에 보여지는 후속 디스플레이를 위해 캡처된 이미지를 처리하기 위한 컴퓨터 프로세서를 포함한다. 예를 들어, 입체 내시경이 사용된다면, 전자기기 카트(24) 상의 컴퓨터 프로세서는 캡처된 이미지를 처리하여 수술 부위의 조율된 입체 이미지를 수술의에게 제공할 수 있다. 이러한 조율은 대응 이미지들 간의 정렬을 포함할 수 있고, 입체 내시경의 입체 동작 거리를 조절하는 것을 포함할 수 있다. 다른 예로서, 이미지 프로세싱은 광 수차(optical aberration)와 같은, 이미지 캡처 장치의 이미징 에러를 보상하기 위해 미리 정해진 카메라 교정 파라미터의 사용을 포함할 수 있다. 캡처된 이미지는 또한 추후에 보기 위해 메모리 장치에 저장될 수 있다. 선택으로서, 전자기기 카트 내의 장비는 외과의 콘솔 또는 환자측 카트에 통합될 수도 있고, 수술실 내의 다른 다양한 위치에 분산될 수도 있다.

도 4는 원격조종 수술 시스템(10)의 한 실시예의 다이어그램 도면이다. (도 1의 외과의 콘솔(16)과 같은) 외과의 콘솔(52)이 미소절개 시술 동안 (도 1의 환자측 카트(22)와 같은) 환자측 카트(54)를 제어하기 위해 외과의에 의해 사용될 수 있다. 환자측 카트(54)는 수술 부위의 이미지를 캡처하고 캡처된 이미지를 (도 1의 전자기기 카트(24)와 같은) 전자기기 카트(56) 상에 위치하는 컴퓨터 프로세서로 출력하기 위한 입체 내시경과 같은 이미징 장치를 이용할 수 있다. 컴퓨터 프로세서는 컴퓨터 프로세서의 비휘발성 메모리 장치에 저장된 컴퓨터 판독 가능한 코드를 실행할 목적의 하나 이상의 데이터 알고리즘 보드를 포함한다. 컴퓨터 프로세서는 임의의 후속 디스플레이 이전에 다양한 방식으로 캡처된 이미지들을 처리할 수 있다. 예를 들어, 컴퓨터 프로세서는 외과의 콘솔(52)을 통해 외과의에게 결합된 이미지를 디스플레이하기 전에 캡처된 이미지를 가상 제어 인터페이스와 오버레이(overlay)할 수 있다.

대안으로서 또는 부가적으로, 캡처된 이미지는 전자기기 카트(56) 외부에 위치하는 컴퓨터 프로세서에 의한 이미지 프로세싱을 거칠 수 있다. 하나의 실시예에서, 원격조종 수술 시스템(50)은 전자기기 카트(56) 상에 위치하는 컴퓨터 프로세서와 유사한 (점선으로 표시된) 옵션의 컴퓨터 프로세서(58)를 포함하고, 환자측 카트(54)는 외과의 콘솔(52)상에 디스플레이하기 전 이미지 프로세싱을 위해 캡처된 이미지를 컴퓨터 프로세서(58)로 출력한다. 다른 실시예에서, 캡처된 이미지는 먼저 전자기기 카트(56) 상의 컴퓨터 프로세서에 의한 이미지 프로세싱을 거친 후, 외과의 콘솔(52) 상에 디스플레이 하기 전에 컴퓨터 프로세서(58)에 의한 이미지 프로세싱을 추가로 거친다. 원격조종 수술 시스템(50)은 점선으로 표시된 옵션의 디스플레이(60)를 포함할 수 있다. 디스플레이(60)는 전자기기 카트(56)상에 위치하는 컴퓨터 프로세서와 그리고 컴퓨터 프로세서(58)와 연결되어 있고, 이들 프로세서에 의해 프로세싱된 캡처된 이미지들은 외과의 콘솔(52)의 디스플레이 상에 디스플레이되는 것과 더불어 디스플레이(60)상에도 디스플레이될 수 있다.

도 5는 본 발명의 실시예에 따른 미소 절개 원격조종 수술 시스템의 환자측 카트(500)의 투시도이다. 환자측 카트(500)는 하나 이상의 지지 어셈블리(510)를 포함한다. 수술 기구 조종기(512)는 각각의 지지 어셈블리(510)의 단부에 장착된다. 부가적으로, 각각의 지지 어셈블리(510)는 선택적으로 수술을 위해 환자와 관련하여, 부착된 수술 기구 조종기(512)를 위치 조절하기 위해 사용되는 하나 이상의 비동력식(unpowered)의 잠금 가능한 셋업 조인트를 포함할 수 있다. 도시된 바와 같이, 환자측 카트(500)는 바닥에 놓여진다. 다른 실시예에서, 환자측 카트의 가동 부분은 벽에, 천장에, 그 또한 환자의 신체(522)를 지지하는 수술대(526)에, 또는 다른 수술실 장비에 장착될 수 있다. 더 나아가, 환자측 카트(500)가 4개의 수술 기구 조종기(512)를 포함하는 것으로 도시되어 있으나, 더 많거나 적은 수술 기구 조종기(512)가 사용될 수도 있다.

실용적인 미소절개 원격조종 수술 시스템은 일반적으로 원격조종 수술 시스템의 사용자가 환자 신체(522) 외부에서 수술 부위를 보는 것을 가능하게 하는 비전 시스템 부를 포함할 것이다. 비전 시스템은 전형적으로 비디오 이미지를 캡처하기 위한 카메라 기기(528) 및 캡처된 비디오 이미지를 디스플레이 하기 위한 하나 이상의 비디오 디스플레이를 포함한다. 카메라 기기(528)는 도 1에 도시된 내시경(28)과 유사할 수 있다. 몇몇 수술 시스템 구성에서, 카메라 기기(528)는 카메라 기기(528)의 말단부로부터 환자 신체(522) 외부의 하나 이상의 이미징 센서(예컨대, CCD 또는 CMOS 센서)로 이미지를 전달하는 광학부재를 포함한다. 대안으로서, 이미지 센서는(들은) 카메라 기기(528)의 말단부에 위치할 수 있고, 이미지 센서(들)에 의해 산출된 신호는 프로세싱 및 하나 이상의 비디오 디스플레이 상에 디스플레이하기 위해 유선으로 또는 무선으로 전송될 수 있다. 비디오 디스플레이의 한 예는 캘리포니아 써니베일의 인튜어티브 서지컬 인코포레이티드에 의해 상용화된 수술 시스템 내의 외과의 콘솔상의 입체 디스플레이이다.

도 5를 참조하면, 각각의 수술 기구 조종기(512)에 환자 신체(522) 내의 수술 부위에서 작동하는 수술 기구(520)가 장착되어 있다. 각각의 수술 기구 조종기(512)는 연결된 수술 기구가 1 이상의 기계적 자유도(예컨대, 완전한 6 데카르트 자유도, 5 이하의 데카르트 자유도 등)로 움직일 수 있게 하는 다양한 형태로 제공될 수 있다. 전형적으로, 기계적 또는 제어 제약으로 인해, 환자에 대하여 고정 유지되는 기기 상의 모션의 중심 둘레로 그것의 연결된 수술 기구를 움직이게 하도록 각각의 조종기(512)가 제한되며, 이러한 모션의 중심은 전형적으로 기구가 신체내로 삽입되는 위치에 위치한다.

수술 기구(520)는 컴퓨터 보조 원격조종을 통해 제어된다. 실용적인 미소 절개 원격조종 수술 시스템은 원격조종 수술 시스템의 사용자(예컨대, 외과의 또는 다른 의료인)로부터 입력을 수신하는 컨트롤 입력부를 포함한다. 컨트롤 입력부는 수술 기구(520)가 연결되어 있는 하나 이상의 컴퓨터 제어식 원격조종 액추에이터와 통신한다. 이러한 방식으로 수술 기구(520)는 의료인의 컨트롤 입력부의 움직임에 응답하여 이동한다. 하나의 실시예에서, 도 2에 도시된 외과의 콘솔(16)과 같은 외과의 콘솔에 하나 이상의 컨트롤 입력부가 포함된다. 외과의는 환자측 카트(500)의 원격조종 액추에이터를 작동시키기 위해 외과의 콘솔(16)의 컨트롤 입력부(36)를 조종할 수 있다. 원격조종 액추에이터에 의해 발생되는 힘은 원격조종 액추에이터로부터 수술 기구(520)로 힘을 전달하는 구동렬(drivetrain) 메커니즘을 통해 전달된다.

도 5를 참조하면, 수술 기구(520) 및 캐뉼라(524)는 수술 기구(520)가 캐뉼라(524)를 통해 삽입된 채 조종기(512)에 제거 가능하게 연결되어 있다. 수술 기구 조종기(512)의 하나 이상의 원격조종 액추에이터는 수술 기구(520)를 전체적으로 이동시킨다. 조종기(512)는 기구 캐리지(530)를 더 포함한다. 수술 기구(520)는 기구 캐리지(530)에 분리 가능하게 연결된다. 기구 캐리지(530)는 수술 기구(520)가 수술 기구(520) 상의 말단 작용기의 다양한 움직임으로 전환시키는, 다수의 컨트롤러 모션을 제공하는 하나 이상의 원격조종 액추에이터를 수용한다. 그러므로, 기구 캐리지(530) 내의 원격조종 액추에이터는 기구를 전체적으로 움직이는 것이 아니라 수술 기구(520)의 하나 이상의 컴포넌트만 움직인다. 기구 전체를 또는 기기의 컴포넌트를 제어하기 위한 입력은 외과의 또는 다른 의료인에 의해 컨트롤 입력부에 제공되는 입력("마스터" 커맨드)이 수술 기구에 의해 대응하는 액션("슬레이브" 응답)으로 전환되도록 한다.

도 6은 의료 시스템(600)의 개략적인 도면을 도시한다. 의료 시스템(600)은 원격조종 수술 시스템(10)을 포함한다. 점선으로 표시된 바와 같이, 의료 시스템(600)은 선택사항으로서 원격조종 수술 시스템(10)와 데이터 통신하는 컴퓨터(620)를 포함할 수 있다. 하나의 실시예에서, 컴퓨터(620)는 퍼스널 컴퓨터이다. 대안의 실시예에서, 컴퓨터(620)는 서버 또는 메인프레임이다. 컴퓨터(620)와 원격조종 수술 시스템(10) 사이의 데이터 통신은 당업계에 공지된 다양한 방법(예컨대, 근거리 통신망(LAN) 연결, 인터넷 연결(유선 또는 무선), 또는 유사한 데이터 통신 수단)을 통해 행해질 수 있다. 부가적으로 또는 대안으로서, 이러한 데이터 통신은 모바일 하드 드라이브 또는 다른 유사한 데이터 저장 장치를 이용하여 원격조종 수술 시스템(10)로부터 컴퓨터(620)로의 데이터 전송에 의해 발생할 수 있다. 컴퓨터(620)는 원격조종 수술 시스템(10)의 메모리 장치에 저장된 정보에 접근하기 위해 사용될 수 있고, 원격조종 수술 시스템(10)은 컴퓨터(620)의 메모리 장치에 저장된 정보에 접근하기 위해 사용될 수 있다. 컴퓨터(620)의 키보드는 텍스트 입력을 위한 사용자 인터페이스를 제공할 있다. 키보드를 이용하여 입력된 텍스트는 컴퓨터(620)의 컴퓨터 프로세서에 의해, 뿐만 아니라 원격조종 수술 시스템(10)의 컴퓨터 프로세서에 의해 운영될 수 있다.

의료 시스템(600)은 하나 이상의 절차 이벤트 로그가 보존되어 있는 메모리 장치를 포함한다. 도 8은 예시적인 절차 이벤트 로그의 선택부를 도시한다. 하나의 실시예에서, 메모리 장치는 전자기기 카트(56)상에 위치하는 메모리 장치(59)이다. 대안의 실시예에서, 절차 이벤트 로그는 외과의 콘솔(52)상에 위치하는 메모리 장치에 보존된다. 또 다른 실시예에서, 절차 이벤트 로그는 컴퓨터(620) 상에 위치하는 메모리 장치에 보존된다.

절차 이벤트 로그의 엔트리는 원격조종 수술 시스템(10)과 원격조종 수술 시스템(10)을 이용한 의료인 간의 다양한 상호작용의 기록을 포함할 수 있다. 하나의 실시예에서, 절차 이벤트 로그는 원격조종 수술 시스템(10)에 의해 수행된 다른 오퍼레이션(예컨대, 컴퓨터 보조 원격 조종, 비디오 레코딩, 비디오 디스플레이 등)들과 병행하여 자동 생성되고 자동 보존될 수 있다. 의료 시스템(600)의 절차 이벤트 로그의 생성 및 보존을 위한 의료인에 의한 입력은 필요하지 않다.

도 7a는 의료 시스템의 이미지 캡처 및 레코딩 알고리즘(701)의 흐름도이다. 도 7b는 이미지 캡처 및 레코딩과 병행되는, 의료 시스템의 절차 이벤트 로그를 포퓰레이트(populate)하는 알고리즘의 흐름도이다. 도 7c는 (1) 장치의 사용자가 찾고자 하는 관심 있는 어떤 의료 이벤트가 발생했을 가능성이 있는, 캡처된 비디오의 하나 이상의 후보 비디오 세그먼트(또는 "비디오 클립")을 식별해내기 위해 절차 이벤트 로그를 사용하고, 그리고 (2) 임의의 프레임이 장치 사용자가 찾고자 하는 관심 있는 의료 이벤트를 보여주는지 여부를 판정하기 위해 각각의 후보 비디오 클립의 프레임 내에 담겨 있는 이미지 데이터를 살펴보는 알고리즘을 후보 비디오 클립에 적용하고 (임의의 나머지 비디오 기록에는 적용하지 않는) 알로리즘의 흐름도이다.

하나의 실시예에서, 알고리즘(701, 702, 및 703)은 (도 6에 도시된) 의료 시스템(600)의 컴퓨터 프로세서(58)에 의해 구현된다. 대안의 실시예에서, 하나 이상의 알고리즘(701, 702, 및 703)은 컴퓨터 프로세서(58) 이외의 프로세서에 의해 구현될 수 있다.

의료 비디오의 캡처, 프로세싱, 디스플레이, 및 저장

도 7a는 의료 시스템의 이미지 캡처 및 레코딩 알고리즘(701)을 보여주는 흐름도이다. 하나의 실시예에서, 의료 시스템은 원격조종 수술 시스템을 포함한다. 도 7a를 참조하면, (705)에서, 이미지 캡처 장치에 의해 비디오 이미지가 캡처된다. 하나의 실시예에서, 이미지 캡처 장치는 액티브 픽셀 센서(APS) 어레이를 포함하는 내시경(예컨대, 도 1의 내시경(28))이다. APS 어레이는 주기적 패턴으로 배열된 적색 픽셀 센서, 녹색 픽셀 센서, 및 청색 픽셀 센서로 이루어진다. APS 어레이의 각각의 픽셀 센서는 포토디텍터 및 포토디텍터가 노출되는 광 주파수를 제한하는 광 필터를 포함한다. 각각의 적색 픽셀 센서의 광 필터는 전자기(EM) 방사선 스펙트럼의 적색 가시광 부분의 광만 통과시킨다. 이와 유사하게, 각각의 녹색 픽셀 센서의 광 필터는 EM 스펙트럼의 녹색 가시광 부분의 광만 통과시키고, 각각의 청색 픽셀 센서의 광 필터는 EM 스펙트럼의 청색 가시광 부분의 광만 통과시킨다. 따라서, APS 어레의 각각의 픽셀 센서는 그것의 대응하는 광 필터의 EM 스펙트럼 범위 내의 광에만 반응할 것이다. 픽셀 센서에 도달하는 다른 모든 광 주파수는 그 광 필터에 의해 걸려져 그것의 포토디텍터에 도달하지 못한다. 따라서, APS 어레이의 각각의 픽셀 센서는 일반적으로 그것의 광 필터의 EM 스펙트럼 범위를 벗어난 광에는 응답하지 않는 것이다. 적색 픽셀 센서는 적색 픽셀 센서의 광 필터가 모든 비적색 광이 적색 픽셀 센서의 포토디텍터에 도달하는 것을 차단하기 때문에 비적색 광에 응답하지 않을 것이다. 녹색 픽셀 센서는 녹색 픽셀 센서의 광 필터가 모든 비녹색 광이 녹색 픽셀 센서의 포토디텍터에 도달하는 것을 차단하기 때문에 비녹색 광에 응답하지 않을 것이다. 그리고, 청색 픽셀 센서는 청색 픽셀 센서의 광 필터가 모든 비청색 광이 청색 픽셀 센서의 포토디텍터에 도달하는 것을 차단하기 때문에 비청색 광에 응답하지 않을 것이다.

하나의 실시예에서, 상술된 APS 어레이는 로 베이어 패턴(raw bayer pattern) 이미지를 산출하도록 구성된다. 일반적으로, 로 베이어 패턴 이미지는 APS 어레이의 각각의 픽셀 센서와 직접적으로 일대일 대응한다. 앞서 언급한 바와 같이, APS 어레이는 주기적 패턴으로 배열된 적색 픽셀 센서, 녹색 픽셀 센서, 및 청색 픽셀 센서로 이루어진다. APS 어레이 내의 다양한 색상의 픽셀 센서의 주기적 배열을 알고 있을 때, 이러한 색상 정보를 기초로, 로 베이어 패턴의 각각의 픽셀이 어떤 색상이어야 하는지도 알 수 있다. 로 베이어 패턴의 픽셀이 APS 어레이의 적색 픽셀 센서에 대응한다면, 그 픽셀은 적색이어야 한다. 로 베이어 패턴의 픽셀이 APS 어레이의 녹색 픽셀 센서에 대응한다면, 그 픽셀은 녹색이어야 한다. 로 베이어 패턴의 픽셀이 APS 어레이의 청색 픽셀 센서에 대응한다면, 그 픽셀은 청색이어야 한다.

픽셀 강도는 로 베이어 패턴 이미지를 생성하기 위해 필요한 다른 정보 피스(piece)이다. 이 정보는 APS 어레이의 각각의 픽셀 센서의 포토리셉터에 의해 산출되는 신호에 의해 제공된다. 예를 들어, APS 어레이의 적색 픽셀 센서에 대응하는 로 베이어 패턴 이미지의 픽셀을 살펴보자. 앞서 언급한 바와 같이, APS 어레이의 다양한 색상의 픽셀 센서의 주기적 배열의 사전 지식을 기초로 하여, 픽셀이 적색 픽셀 센서와 연관되어 있다고 판정하는 것이 가능하다. 그 다음, 의문점은 로 베이어 패턴 이미지의 그 픽셀이 (1) 희미한 적색이어야 하는지 또는 (2) 짙고 강한 적색이어야 하는지 여부이다. 그 픽셀이 희미한 적색인지 또는 짙고 강한 적색인지 여부는 APS 어레이의 대응하는 적색 화서 센서의 포토리셉터에 도달하는 광의 양에 의해 결정된다. 앞서 언급한 바와 같이, 적색 픽셀 센서의 광 필터는 모든 비적색광을 차단하고, 오직 적색광만이 통과되어 포토리셉터에 도달하게 된다. 그러므로, 그 픽셀이 희미한 적색인지 또는 짙고 강한 전색인지의 여부는 그 적색 픽셀 센서(또는 더 정확하게는 그것의 포토리셉터)가 노출된 적색 광의 양에 의해 결정된다. 픽셀 센서의 포토리셉터에 많은 광이 도달할수록, 로 베이어 패턴 이미지의 그것의 대응하는 픽셀의 색상이 더 강해진다. 이러한 원리는 APS 어레이의 녹색 픽셀 센서 및 청색 픽셀 센서에도 유사하게 적용된다.

(710)에서, 로 베이어 패턴 이미지 데이터는 (1) 내시경에 의해 캡처된 로 베이어 패턴 이미지를 (2) 디스플레이하기 적합한 적녹청(RGB) 이미지로 변환하기 위한 비디오 프로세싱을 거친다. 하나의 실시예에서, (710)에서의 이러한 비디오 프로세싱은 디-모자이킹(de-mosaicking) 프로세싱 모듈을 포함한다. 일반적으로 말하자면, RGB 이미지는 추가적인 색상 모델을 기초로 한다. RGB 이미지의 각각의 픽셀의 색상은 적색, 녹색, 및 청색의 적절한 강도를 함께 추가함으로써 결정된다. 로 베이어 패턴 이미지에서 시작하여, 디-모자이킹 프로세싱 모듈은 그 주변의 상이한 색상의 픽셀의 정보를 이용하여, 로 베이어 패턴 이미지의 각각의 적색, 녹색, 청색 픽셀의 색상을 조절함으로써 RGB 이미지를 생성한다. 예를 들어, 로 베이어 패턴 이미지 내의 적색 픽셀은 (1) 하니 이상의 인접한 청색 픽셀 및 (2) 하나 이상의 인접한 녹색 픽셀로부터의 색상 데이터로 그것을 보강함으로써 조절된다. 이러한 방법을 이용하여, 로 베이어 패턴 이미지의 적색 픽셀은 적색, 녹색, 및 청색 성분을 가지는 RGB 이미지 픽셀로 변환된다. 이러한 원리는 로 베이어 패턴 이미지의 녹색 픽셀 및 청색 픽셀의 RGB 이미지 픽셀로의 변환에도 유사하게 적용된다.

디모자이킹 프로세싱 모듈의 이미지 프로세싱 알고리즘의 하나의 목적은 RGB 이미지의 각각의 픽셀이 APS 어레이(즉, 내시경)의 대응 픽셀 센서가 노출되는 적색, 녹색, 및 청색 광의 비율의 정확한 근사값이 되는 RGB 이미지를, 픽섹 단위 조절을 통해, 만들어내는 것이다. 앞서 언급한 바와 같이, APS 어레이의 각각의 픽셀 센서는 픽셀 센서가 적색 픽셀 센서이면 적색광만 통과시키고, 픽셀 센서가 녹색 픽셀 센서이면 녹색광만 통과시키고, 또는 픽셀 센서가 청색 픽셀 센서이면 청색광만 통과시키는 광 필터를 포함한다. 적색 픽셀 센서에 도달한 비적색 광은 적색 픽셀 센서의 광 필터에 의해 걸러져 적색 픽셀 센서의 포토디텍터에 도달하지 못한다. 이것은 녹색 픽셀 센서에 도달한 비녹색광, 및 청색 픽셀 센서에 도달한 비청색광에 대해서도 동일하다. 또라서, 임의의 단일 픽셀 센서(적색, 녹색 또는 청색)의 포토디텍터에 의해 탐지된 정보는 단일 색상의 광(즉, 특정 광 필터를 통과하는 것이 허용된 색상의 광)의 강도에 배타적으로 대응한다.

APS 어레이는 주기적 패턴으로 배열된 적색 픽셀 센서, 녹색 픽셀 센서, 및 청색 픽셀 센서로 이루어진다. 일반적으로, 상이한 색상의 픽셀 센서들은 서로 인접하게 배열되지 않는다. 예를 들어, 하나의 실시예에서, 각각의 적색 픽셀 센서는 하나 이상의 녹색 픽셀 센서 및 하나 이상의 청색 픽셀 센서 옆에 배치된다. 이러한 타입의 픽셀 센서 배열의 한 이유는 디-모자이킹 프로세싱 모듈의 이미지 프로세싱 알고리즘이 인접한 픽셀 센서로부터의 정보를 이용하여 특정 픽셀 센서에 도달하는 광의 하나의 색상 성분을 근사화하는 것을 가능하게 하는 것이다. 하나의 예에서, 적색 픽셀 센서의 좌측에 녹색 픽셀 센서, 그 우측에 녹색 픽셀 센서, 위에 청색 픽셀 센서 및 아래에 청색 픽셀 센서가 놓여진다. 적색 픽셀 센서는 오직 적색광만 포토디텍터로 통과시키는 광 필터를 포함한다. 픽셀 센서에 도달하는 모든 비적색 광(예컨대, 녹색광, 청색광 등)은 걸러져 포토디텍터에 도달하지 못한다. 따라서, 적색 픽셀 센서의 포토디텍터로부터의 신호는 적색 픽셀 센서가 노출되는 적색광의 강도의 지시이다. 그러나, 적색 픽셀 센서의 포토디텍터는 모든 비적색 광이 적색 픽셀 센서의 광 필터에 의해 걸러져 포토디텍터에 도달하지 못하기 때문에, 적색 픽셀 센서에 도달하는 비적색광(예컨대, 녹색광 또는 청색광)의 강도에 대한 정보를 제공하지 않는다. 그러나, 이 예에서, 2개의 녹색 픽셀 센서 및 2개의 청색 픽셀 센서가 적색 픽셀 센서를 둘러싼다. 2개의 녹색 픽셀 센서 각각의 포토디텍터는 각각의 녹색 픽셀 센서가 노출되는 녹색광의 강도에 대한 정보를 제공한다. 2개의 청색 픽셀 센서 각각의 포토디텍터는 각각의 청색 픽셀 센서가 노출되는 청색광의 강도에 대한 정보를 제공한다. 인접한 녹색 픽셀 센서 및 인접한 청색 픽셀센서로부터의 이러한 정보는 적색 픽셀 센서가 노출되는 녹색광 및 청색광의 강도의 근사치를 계산하기 위해 사용될 수 있다. 적색 픽셀 센서가 노출되는 녹색광 및 청색광의 이러한 근사값은, 적색 픽셀 센서의 포토디텍터에 의해 제공되는 적색광 강도에 대한 정보와 함께, 그 적색 픽셀 센서에 대응하는 RGB 이미지 픽셀을 생성하는데 사용된다. 녹색 픽셀 센서 및 청색 픽셀 섹선에 대응하는 RGB 이미지 픽셀의 색상도 유사한 방식으로 결정될 수 있다.

비디오 프로세싱(710)에 이어, 프로세싱된 이미지는 (715)에서 원격조종 수술 시스템(예컨대, 도 1에 도시된 원격조종 수술 시스템(10))의 한 명 이상의 사용자에게 디스플레이된다. 도 1을 참조하면, 이러한 이미지들은 외과의 콘솔에 앉은 외과의(18)에게 디스플레이될 수 있다. 부가적으로, 이러한 이미지들은 전자기기 카트(24)에 위치하는 디스플레이상으로 다른 수술 스탭에게 보여질 수 있다. 하나의 실시예에서, 프로세싱된 이미지들은 60 fps(frames per second)로 SXGA 비디오 출력을 만들어낸다. 프로세싱된 이미지들의 이미지 데이터는 DVI-D 연결을 통해 다양한 디스플레이로 전송된다. 하나의 실시예에서, (720)에서, 프로세싱된 이미지들은 부가적으로 메모리 장치 내에 저장된다. 프로세싱된 이미지들은 그들의 압축된 및/또는 압축되지 않은 포맷으로 저장될 수 있다. 하나의 실시예에서, 프로세싱된 이미지들은 (도 6에 도시된) 전자기기 카트(56)에 위치하는 메모리 장치(59)에 저장된다. 대안의 실시예에서, 프로세싱된 이미지들은 외과의 콘솔(16) 또는 환자측 카트(22)에 위치하는 메모리 장치에 저장될 수도 있고, 저장 장치는 (720)에서 비디오 프로세싱을 구현하는 컴퓨터 프로세서와 데이터 통신하는 제거 가능한 메모리 장치(즉, "썸 드라이브(thumb drive)")일 수도 있다. 선택사항으로서, (706)에 점선으로 표시된 바와 같이, (705)에서 생성된 프로세싱되지 않은 로 베이어 패턴 이미지가 이러한 또는 다른 저장 장치에 저장될 수도 있다.

하나의 실시예에서, (710)에서 이미지 프로세싱에 의해 출력된 일련의 이미지들은 (720)에서 의료 비디오로 저장된다. 비디오 기록이 시작했던 시간의 시간스탬프가 의료 비디오의 데이터에 결합된다. 원격조종 수술 시스템 상에 이미지 캡처 장치(예컨대, 내시경)가 사용을 위해 설치된 때 비디오 기록은 자동으로 명령을 받을 수 있다. 대안의 실시예에서, 사용자가 기록을 시작한 때 비디오 기록이 시작한다. 이러한 시간스탬프는 기록된 의료 비디오의 컨탠트 검색을 수행하도록 구성된 원격조종 수술 시스템의 컴퓨터 프로세서에 의해 사용될 수 있다. 이러한 양상은 아래에서 더 상세하게 설명된다.

절차 이벤트 로그의 포퓰레이팅

의료 시스템에서 발생하는 다양한 시스템 이벤트를 설명하는 절차 이벤트 로그(예컨대, 예시적인 이벤트 로그의 일부가 도 8에 도시되어 있음)는 의료 시스템을 이용하여 수행된 의료 절차의 비디오 기록에 대한 컨탠트 검색을 수행하는 속도 및 정확도를 향상시키기 위해 사용될 수 있다. 즉, 임상적으로 중요한 절차 이벤트 로그의 시스템 이벤트는 관심 있는 어떤 컨탠트를 포함할 가능성이 있는 의료 절차 비디오 기록의 비디오 세그먼트(즉, "비디오 슬립")를 식별해내기 위해 사용될 수 있다.

하나의 실시예에서, 의료 시스템은 원격조종 수술 시스템을 포함한다. 원격조종 수술 시스템의 절차 이벤트 로그는 일반적으로 원격조종 수술 시스템의 (도 6에 도시된) 컴퓨터 프로세서(58)에 의해 지속적으로 유지되고 (도 6에 도시된) 전자기기 카트(56)에 위치하는 메모리 장치(59)에 저장된다. 대안의 실시예에서, 컴퓨터 및 메모리 장치 중 하나 또는 모두는 원격조종 수술 시스템의 다른 컴포넌트 상에 위치할 수도 있다. 절차 이벤트 로그는 다음을 포함하는 시스템 이벤트에 대한 엔트리를 포함하는 것이 바람직하다.

● 원격조종 수술 시스템의 전원 켜기/끄기

● 원격조종 수술 시스템상에서 이용하기 위한 이미지 캡처 장치의 설치

● 원격조종 수술 시스템의 사용자에 의한 비디오 기록의 개시

● 원격조종 수술 시스템상의 수술 기구의 설치

● 원격조종 수술 시스템으로부터의 수술 기구의 제거

● 전기소작 기구 기능의 활성화

● 원격조종 수술 시스템의 입력과 출력 간의 이동 크기 조정

● 원격조종 수술 시스템의 특수 이미징 모드 켜기

이 목록은 결코 총망라한 것은 아니다. 이벤트 로그는 원격조종 수술 시스템에 의해 탐지 가능한 다수의 다른 시스템 이벤트의 발생에 대응하는 엔트리를 포함할 수 있다.

도 7b는 의료 시스템의 절차 이벤트 로그를 자동 생성 및 보존하기 위한 알고리즘(702)을 보여주는 흐름도이다. 도 7b를 참조하면, 알고리즘(702)은 시스템 이벤트의 발생을 탐지한다. 시스템 이벤트의 발생이 (725)에서 탐지되면, (730)에서 대응하는 엔트리가 의료 시스템상에 유지된 절차 이벤트 로그 내에 생성된다. 알고리즘(702)은 (731)에 표시된 것처럼, 탐지된 각각의 새로운 시스템 이벤트에 대한 추가 엔트리를 생성함으로써 절차 이벤트 로그를 갱신한다. 절차 이벤트 로그의 하나의 실시예에서, 아래의 필드들이 임상적인 시스템 이벤트의 발생과 연관된 각각의 엔트리에 대하여 기록된다. (1) 이벤트의 시간스탬프; (2) 이벤트의 짧은 설명; 및 (3) 특정 타입의 이벤트와 배타적으로 연관된 고유 코드. 하나의 예에서, 수술 기구(예컨대, 바늘 구동 기구)가 (예컨대, 현지 시각 10:00 AM에) 원격조종 수술 시스템 상에 사용을 위해 설치되고, 원격조종 수술 시스템은 (725)에서 시스템 이벤트를 탐지 및 식별한다. (730)에서, 연관된 엔트리가 만들어지고 절차 이벤트 로그에 입력된다. 이벤트 로그 엔트리의 짧은 설명 필드에는 "바늘 구동 기구가 설치됨"이라고 쓰여질 것이다. 또한 바늘 구동 기구의 각각의 설치와 연관된 고유 코드, 예컨대, 300006가 기록될 것이다. 마지막으로 그 엔트리에 대한 10:00 AM 시간스탬프가 생성된다. 이벤트의 현지 시각은 그것이 현지 시각으로 미리 프로그래밍되어 있다면 원격조종 수술 시스템 상에서 로컬식으로 판정될 수 있다. 대안으로서, 원격조종 수술 시스템이 인터넷에 연결되어 있다면, 이벤트의 현지 시각은 인터넷 질문(query)을 수행함으로써 결정될 수 있는데, 이 때 원격조종 수술 시스템과 연관된 인터넷 프로토콜(IP) 어드레스가 위치 정보를 제공하기 위해 사용될 수 있다.

상술한 데이터 구조를 가지는 절차 이벤트 로그의 일부분이 도 8에 도시되어 있다. 앞서 설명한 바와 같이, 하나의 실시예에서, 이벤트 로그는, 예컨대, 알고리즘(702)을 구현하는 의료 시스템의 사용자로부터의 입력을 필요로 하지 않고 자동 생성 및 자동 보존된다. 이러한 이벤트 로그의 생성 및 보존은 의료 시스템의 다른 오퍼레이션과 병행하여 일어날 수 있다. 의료 시스템의 다른 오퍼레이션은 의료 시스템을 이용하여 수행되는 의료 절차의 기록, 뿐만 아니라 의료 절차 비디오 기록의 비디오 처리 및 저장을 포함할 수 있다.

캡처된 비디오의 검색

도 7c는 기록된 의료 절차 비디오를 검색하는 알고리즘(703)을 보여주는 흐름도이다. 알고리즘(703)은 절차 이벤트 로그의 엔트리를 활용한다. 도 7c를 참조하면, (735)에서, 알고리즘(703)은 관심 있는 어떤 의료 내용에 대하여 기록된 의료 비디오를 검색하고자하는 의료 시스템의 사용자에 의해 발행된 커맨드를 수신한다. 하나의 실시예에서, 의료 시스템은 원격조종 수술 시스템을 포함한다. 사용자는 관심 있는 의료 이벤트를 설명하는 어떤 텍스트를 텍스트 입력 인터페이스를 통해 입력함으로써, 음성 제어식 사용자 인터페이스를 통해 관심 있는 의료 이벤트를 설명하는 어떤 문구를 말함으로써, 또는 당업계에 공지된 다른 사용자 인터페이스에 의해 이러한 커맨드를 발행할 수 있다. 하나의 실시예에서, 이러한 검색은 수술 외과의(예컨대, 도 1의 외과의(18))에 의해 수술 도중에 수행되고, 검색은 즉각적인 의료 절차의 기록으로 한정된다. 대안의 실시예에서, 다양한 의료 절차 비디오 기록 및 그것의 연관된 이벤트 로그는 메모리 장치에 저장된다. 이러한 저장된 의료 절차 비디오 기록의 컨텐트는 의료인에 의해 수술중에 또는 수술후에 검색될 수 있다. 하나의 예에서, 이러한 저장된 의료 절차 비디오 기록의 컨텐트를 검색하고자 하는 의료인은 관심 있는 의료 이벤트를 설명하는 어떤 텍스트를 키보드(예컨대, 도 6에 도시된 컴퓨터(620)의 키보드)를 통해 입력함으로써 검색 커맨드를 발행한다.

(740)에서, 알고리즘(703)은 관심 있는 의료 이벤트의 발생을 나타내는 하나 이상의 시스템 이벤트에 대하여, 즉각적인 의료 절차에 관한 시스템 이벤트를 담고 있는 하나 이상의 절차 이벤트 로그를 검색하기 위해 (735)에서 입력된 정보를 이용한다. 하나의 실시예에서, (740)은 원격조종 수술 시스템의 가장 최근의 전원 켜짐 이후의 시스템 이벤트만 검색함으로써 이벤트 로그 검색을 즉각적인 의료 절차의 시스템 이벤트로 한정시킨다. 대안의 실시예에서, (740)은 보관된 절차 이벤트 로그의 집합체의 시스템 이벤트를 검색한다. 각각의 보관된 절차 이벤트 로그는 장치를 이용하여 수행된 의료 절차와 연관되어 있고, 하나의 실시예에서, 연관된 의료 절차의 비디오 기록(절차 비디오 기록)은 그것의 대응하는 절차 이벤트 로그와 함께 보관되어 있다. 하나의 실시예에서, (1) 관심 있는 다양한 의료 이벤트와 (2) 이벤트 로그 내의 시스템 이벤트 간의 상관관계는 장치가 제조될 때 알고리즘(703)을 구현한 장치상에 프로그래밍되어 있다. 이러한 알고리즘적 상관관계에 대한 정보는 원격조종 수술 시스템을 이용한 경험 있는 의학적으로 훈련된 사람의 지식으로부터 도출될 수 있다. 관심 있는 의료 이벤트와 시스템 이벤트 간의 더 많은 상관관계를 장치의 제조자가 알게 된 때, 그러한 상관관계를 포함한 갱신된 알고리즘(703)이 인터넷 연결을 이용하여 현장의 원격조종 수술 시스템에 제공될 수 있다. 이러한 추가적인 상관관계는 현장에서 사용되는 원격조종 수술 시스템의 사례로부터 추출된 이벤트 로그 데이터 및 의료 절차 비디오 기록의 연구 후, 그 장치의 제조자에 의해 만들어질 수 있다.

상기 설명에 따라, 하나의 예에서, (735)에서, 의료 절차를 수행하기 위해 알고리즘(703)을 구현한 원격조종 수술 시스템을 이용하는 의료인(예컨대, 모두 도 1에 도시된, 원격조종 수술 시스템(10)을 이용하는 외과의(18))은 환자가 많은 출혈을 경험하는 동안, 그 절차의 이전 부분 전후 환경에 대해 더 많이 학습하기를 원한다. 의료인은 음성 제어식 검색 인터페이스에 "많은 출혈"을 말함으로써 즉각적인 의료 절차의 비디오 기록의 컨텐트 검색을 개시한다. 원격조종 수술 시스템은 많은 출혈을 전기소작 기구의 사용과 연관짓도록 프로그래밍되어 있다. 전기소작 기구는 출혈을 멈추기 위해 널리 사용된다. (740)에서, 알고리즘(703)은 그것의 설명이 "소작" 및 "설치"를 포함하는 이벤트 로그 엔트리에 대하여, 즉각적인 의료 절차에 대응하는 이벤트 로그의 일부분에 대한 검색을 수행한다. 도 8을 참조하면, (740)에서의 검색은 제1 시스템 이벤트(810), 제2 시스템 이벤트(820) 및 제3 시스템 이벤트(830)를 산출한다. 이러한 시스템 이벤트들은 소작 기구가 원격조종 수술 시스템에 설치되어 있는 3가지 개별 사례들을 나타낸다. (745)에서, (740)에 의해 생성된 각각의 검색 결과에 대한 시간스탬프가 추출된다. 이 예에서, 제1 시스템 이벤트(810), 제2 시스템 이벤트(820) 및 제3 시스템 이벤트(830)에 대한 시간스탬프는 각각 10:00 AM, 11:00 AM, 및 12:00 PM이다. (750)에서, 관심 있는 시간 기간은 추출된 시간스탬프 각각에 대하여 판정된다. 출혈이 많은 경우에, 원격조종 수술 시스템은 각각의 추출된 시간스탬프에 대응하는 3분 비디오 세그먼트를 관심 있는 시간 기간으로서 식별하도록 프로그래밍되어 있다. 각각의 3분 비디오 세그먼트는 각각의 추출된 시간스탬프 1분전에 시작하고 3분동안 지속된다. 이러한 비디오 세그먼트는 후보 비디오 클립으로 식별된다. 이러한 예에서, 관심 있는 3개의 3분 비디오 세그먼트(즉, 후보 비디오 클립)는 의료 비디오의 다음의 세그먼트들이다. (1) 9:59 AM 부터 10:02 AM까지의 세그먼트; (2) 10:59 AM 부터 11:02 AM까지의 세그먼트 및 (3) 11:59 AM 부터 12:02 AM까지의 세그먼트 각각의 관심 있는 시간 기간은 각각의 관심 있는 의료 이벤트와, 그리고 각각의 시스템 이벤트와 연관될 수 있다.

(755)에서, 이미지 데이터를 분석하는 이미지 검색 알고리즘이 (750)에서 식별된 관심 있는 비디오 세그먼트(즉, 후보 비디오 클립)의 프레임에 적용된다. 하나의 실시예에서, 각각의 후보 비디오 클립의 제1 프레임은 비디오 기록이 개시된 후 경과된 시간의 기간을 판정함으로써 그 위치가 찾아진다. 하나의 예로서, 도 8을 참조하면, 9:00 AM의 시간스탬프를 가지는 비디오 기록은 (805)에서 시작된다. (750)은 비디오 기록 중 9:59 AM과 10:02 AM 사이에 발생한 부분을 제1 후보 비디오 클립으로 판정하였다. 따라서, 제1 후보 비디오 클립의 제1 프레임은 비디오 기록에서 59분에 발생한다. 이와 유사하게, 관심 있는 제2 비디오 세그먼트(제2 후보 비디오 클립)의 제1 프레임 및 관심 있는 제3 비디오 세그먼트(제3 후보 비디오 클립)의 제1 프레임은 각각 비디오 기록 중 1시 59분에 발생하고, 비디오 기록 중 2시 59분에 발생한다. 마찬가지로, 관심 있는 제1 비디오 세그먼트(제1 후보 비디오 클립), 관심 있는 제2 비디오 세그먼트(제2 후보 비디오 클립), 및 관심 있는 제3 비디오 세그먼트(제3 후보 비디오 클립)의 마지막 프레임은 각각 1시 2분, 2시 2분, 및 3시 2분이다.

이미지 데이터 분석을 이용하여 이미지의 내용을 판정하는 예시적인 알고리즘의 설명은 "이미지 데이터를 분할하는 방법 및 시스템"이란 제목의 게링의 미국특허 제7,623,709호에서 볼 수 있다. 일반적으로, 이러한 알고리즘은 관심 있는 어떤 내용을 나타내는 이미지 픽셀의 어떤 패턴을 찾는다. 이러한 예에서, (755)는 많은 출혈을 나타내는 픽셀 패턴에 대하여 앞서 식별된 3개의 후보 비디오 클립의 프레임을 검색하도록 프로그래밍된다. 하나의 실시예에서, 이미지 검색 알고리즘은 후보 비디오 클립을 구성하는 일련의 프레임이 바로 이전 프레임에 비하여, 증가된 개수의 진한 적색의 인접 픽셀을 포함할 때 많은 출혈을 확실하게 식별해낸다. 이러한 예에서, (755)는 제2 후보 비디오 클립(도 8에 도시된 제2 시스템 이벤트(820)에 대응하는 10:59 AM 내지 11:02 AM의 비디오 세그먼트)에서 보여지는 바와 같이 많은 출혈을 확실하게 식별해내고, 제1 후보 비디오 클립(도 8에 도시된 제1 시스템 이벤트(810)에 대응하는 9:59 AM 내지 10:02 AM 비디오 세그먼트) 또는 제3 후보 비디오 클립(도 8에 도시된 제3 시스템 이벤트(830)에 대응하는 11:59 AM 내지 12:02 AM 비디오 세그먼트)에서는 많은 출혈이 보이지 않는다고 판정한다.

(760)에서, (755)에서 식별된 후보 비디오 클립(즉, 10:59 AM 내지 11:02 AM의 비디오 세그먼트)은 의료인에게 볼 수 있도록 제공된다. 하나의 실시예에서, 이러한 비디오 세그먼트는 자동으로 디스플레이된다. 대안의 실시예에서, 의료인이에게 보여주기 위한 디스플레이상에(예컨대, 도 1에 도시된 외과의 콘솔(16) 상에 위치하는 디스플레이상에) 링크가 제공된다. 이러한 링크는 식별된 비디오 클립에 대응하는 기록된 비디오의 일부분을 의료인에게 재생시키도록 구성되어 있다. 이와 유사하게, 하나 이상의 후보 비디오 클립이 (755)에서 식별된다면, 하나 이상의 링크가 디스플레이될 수도 있다. 식별된 비디오 클립 및/또는 식별된 비디오 클립을 재생하도록 구성된 하나 이상의 링크가 외과의 콘솔(16) 상에 위치하는 디스플레이 이외의 임의의 다수의 디스플레이상에서 의료인들에게 제공될 수도 있음을 이해해야 한다. 부가적으로 또는 대안으로서, 이러한 정보는 (도 6에 도시된) 컴퓨터(620)에 연결된 디스플레이상에 디스플레이될 수도 있다.

다른 예에서, 알고리즘(703)의 (740)은 전기소작 기구의 소작 기능의 활성화 빈도의 분석을 포함한다. 소작 기능의 활성화는 원격조종 수술 시스템의 외과의 콘솔(예컨대, 도 1에 도시된 외과의 콘솔(52))상에 위치하는 발로 작동되는 페달에 의해 일어날 수 있다. 앞서 언급한 바와 같이, 소작 기구는 지혈을 위해 널리 사용된다. 일반적으로, 출혈이 심각할수록, 출혈을 멈추기 위한 노력으로서 소작 기능이 더 빈번하게 활성화된다. 하나의 실시예에서, 원격조종 수술 시스템은 많은 출혈을 전기소작 기구의 소작 기능이 활성화되는 빈도와 연관짓도록 프로그래밍된다. 하나의 예에서, 의료 절차 비디오 기록을 보는 의료인은 절차중 환자가 많은 출혈을 경험했던 부분 전후 환경에 대하여 더 배우고자 할 수 있다. 의료인은 상술한 것과 유사한 방식으로 비디오 검색을 시작한다. 이러한 예에서, 소작 기능의 각각의 활성화는 절차 이벤트 로그 내에 엔트리가 생성되는 시스템 이벤트이다. (740)에서, 알고리즘(703)은 그 설명이 "소작" 및 "활성화"를 포함하는 절차 이벤트 로그 엔트를 검색하는, 즉각적인 의료 절차에 대응하는 절차 이벤트 로그의 검색을 수행한다. 하나의 예에서, (740)에서의 검색은 30개의 엔트리를 산출한다. (745)에서, (740)에 의해 생성된 검색 결과 각각에 대한 시간스탬프가 추출된다. 이 예에서, (1) 제1 엔트리에 대한 시간스탬프는 10:00 AM이고, 2-29번째 엔트리에 대한 시간스탬프는 11:00AM 내지 11:02 AM의 기간에 걸쳐 촘촘한 간격이고, (3) 30번째 엔트리에 대한 시간스탬프는 12:00 PM이다. (750)에서, 관심 있는 시간 기간은 (745)에서 추출된 시간스탬프를 이용하여 판정된다. 이 예에서, 원격조종 수술 시스템은 소작 기능이 2분의 기간 내에 10회 이상 활성화된 경우에 대응하는 3분 비디오 세그먼트(즉, 후보 비디오 클립)을 관심 있는 시간 기간으로 식별하도록 프로그래밍된다. 각각의 후보 비디오 클립은 일련의 소작 활성화에서 제1 소작 활성화에 대응하는 이벤트 로그 엔트리의 시간스탬프의 1분 전에 시작하고, 그 시간스탬프 후 2분까지 지속된다. 이러한 예에서, 11:00 AM 내지 11:02 AM의 소작 활성화의 빈도가 "2분간 10회 이상"의 테스트를 충족시키는 유일한 경우이다. 따라서, 오직 하나의 후보 비디오 클립(10:59 AM 내지 11:02 AM의 세그먼트)이 식별된다. (755 및 760)은 앞서 서술한 것과 유사한 방식으로 동작한다.

다른 예에서, 담낭 절제술을 수행하기 위해 알고리즘(703)을 구현한 원격조종 수술 시스템을 이용하는 의료인(예컨대, 모두 도 1에 도시된 원격조종 수술 시스템(10)을 이용하는 외과의(18))은 절차 중 십이지장 벽으로부터 쓸개를 떼어낸(mobilization) 전후 환경에 대하여 더 배우고자 한다. 의료인은 음성 인식 검색 인터페이스에 "쓸개 떼어내기"를 말함으로써 담낭 절제술의 비디오 기록의 컨텐트 검색을 시작한다. 원격조종 수술 시스템은 쓸개 떼어내기(관심 있는 의료 이벤트)를 형광 이미징 모드의 사용(절차 이벤트 로그에 기록된 시스템 이벤트)과 연관짓도록 프로그래밍되어 있다. 형광 이미징은 담낭 절제술 중 쓸개 떼어내기 부분 동안 어떤 해부구조의 시각화를 향상시키기 위해 널리 사용된다. 따라서, (740)에서, 알고리즘(703)은 그 설명이 "형광" 및 "켜기"를 포함하는 이벤트 로그 엔트리를 검색하는, 즉각적인 담낭 절제술 절차에 대응하는 이벤트 로그의 부분에 대한 검색을 수행한다. 하나의 예에서, (740)에서의 검색은 제1 엔트리, 제2 엔트리, 및 제3 엔트리를 산출한다. (745)에서, (740)에 의해 생성된 각각의 검색 결과에 대한 시간 스탬프가 추출된다. 이 예에서, 제1 엔트리, 제2 엔트리, 및 제3 엔트리에 대한 시간스탬프는 각각 10:00 AM, 11:00 AM, 및 12:00 PM이다. (750)에서, 관심 있는 시간 기간이 각각의 추출된 시간스탬프에 대하여 판정된다. 쓸개 떼어내기의 경우에, 원격조종 수술 시스템은 각각의 추출된 시간스탬프에 대응하는 10분 비디오 세그먼트를 관심 있는 시간 기간으로서 식별하도록 프로그래밍된다. 각각의 10분 비디오 세그먼트는 추출된 시간스탬프의 시간에 시작하고, 시간스탬프 후 10분간 지속된다. 이 예에서, 3개의 10분 관심 있는 비디오 세그먼트(후보 비디오 클립)는 의료 비디오의 다음 세그먼트들이다. (1) 10:00 AM 내지 10:10 AM의 세그먼트; (2) 11:00 AM 내지 11:10 AM의 세그먼트 및 (3) 12:00 PM 내지 12:10 PM의 세그먼트. (755 및 760)은 앞서 서술한 것과 유사한 방식으로 동작한다.

다른 예에서, 승모판막재건수술(mitral valve repair procedure)을 수행하기 위해 알고리즘(703)을 구현한 원격조종 수술 시스템을 이용하는 의료인(예컨대, 모두 도 1에 도시된 원격조종 수술 시스템(10)을 이용하는 외과의(18))은 승모판막재건수술 동안 수행된 개전 작업 전후 환경에 대하여 더 배우고자 한다. 의료인은 음성 제어식 검색 인터페이스에 "판막재건"을 말함으로써 승모판막재건수술의 비디오 기록의 컨텐트 검색을 시작한다. 원격조종 수술 시스템은 판막재건(관심 있는 의료 이벤트)을 미세 제어 모드의 사용(절차 이벤트 로그에 기록된 시스템 이벤트)과 연관짓도록 프로그래밍되어 있다. 거친(coarse) 제어 모드와 달리, 미세 제어 모드는 원격조종 수술 시스템의 사용자에게 수술 기구의 더 작은 움직임을 명령할 수 있는 능력을 제공한다. 앞서 언급한 바와 같이, 원격조종 수술 시스템의 하나의 실시예에서, 슬레이브 로봇 조종기에 연결된 수술 기구는 외과의 콘솔에 위치하는 2개의 컨트롤 입력부의 외과의의 움직임에 응답하여 이동한다. 거친 제어 모드에서, 수술 기구는 외과의의 1cm의 컨트롤 입력부의 움직임에 응답하여 5mm 이동할 수 있다. 미세 제어 모드에서, 동일한 1cm의 컨트롤 입력부의 움직임이 단지 수술 기구의 2.5mm 이동을 만들어낼 수 있다. 미세 제어 모드는 연약한 해부구조 영역에서 수술하는 외과의에 의해 빈번하게 사용된다. 거친 제어 모드와 달리, 컨트롤 (1) 입력부의 이동과 (2) 대응하는 수술 기구의 이동 간의 더 미세한 크기 조정(scaling)은 외과의가 더 적은 절개부 및 더 적은 봉합선을 만드는 것을 가능하게 한다.

따라서, (740)에서, 알고리즘(703)은 그 설명이 "미세 제어 모드"를 포함하는 이벤트 로그 엔트리에 대하여 검색하는, 즉각적인 승모판막재건수술에 대응하는 이벤트 로그 부분에 대한 검색을 수행한다. 하나의 예에서, (740)에서의 검색은 제1 엔트리, 제2 엔트리 및 제3 엔트리를 산출한다. (745)에서, (740)에 의해 생성된 각각의 검색 결과에 대한 시간스탬프가 추출된다. 이 예에서, 제1 엔트리, 제2 엔트리, 및 제3 엔트리에 대한 시간스탬프는 각각 10:00 AM, 11:00 AM, 및 12:00 PM이다. (750)에서, 관심 있는 시간 기간이 각각의 추출된 시간스탬프에 대하여 판정된다. 승모판막재건의 경우에, 원격조종 수술 시스템은 각각의 추출된 시간스탬프에 대응하는 30분 비디오 세그먼트를 관심 있는 시간 기간으로서 식별하도록 프로그래밍되어 있다. 각각의 30분 비디오 세그먼트는 추출된 시간스탬프의 시간에 시작하고, 시간스탬프 후 30분간 지속된다. 이 예에서, 3개의 30분 관심 있는 비디오 세그먼트(후보 비디오 클립)는 의료 비디오의 다음 세그먼트들이다. (1) 10:00 AM 내지 10:30 AM의 세그먼트; (2) 11:00 AM 내지 11:30 AM의 세그먼트 및 (3) 12:00 PM 내지 12:30 PM의 세그먼트. (755 및 760)은 앞서 서술한 것과 유사한 방식으로 동작한다.

각각의 상기 예에 대하여, 후보 비디오 클립은, 각각의 후보 비디오 클립의 이미지 데이터를 이용하여 각각의 후보 비디오 클립을 구성하는 프레임의 픽셀들이 사용자가 원하는 관심 있는 내용을 실제로 나타내는지 여부를 판정하기 위해 평가된다. 이러한 판정이 긍정적으로 이루어진 후보 비디오 클립은 사용자에게 볼수 있도록 제공된다.

도 9는 장치의 데이터 라이브러리의 보존 및 데이터 수집에 관한, 알고리즘(900)의 흐름도를 보여준다. 하나의 실시예에서, 장치는 원격조종 수술 시스템이고, 데이터 라이브러리는 (1) 수술 시스템을 이용하여 수행된 수술 절차의 하나 이상의 비디오 기록(절차 비디오 기록); 및 (2) 하나 이상의 절차 비디오 기록 각각에 대한 절차 이벤트 로그를 포함한다. 데이터 라이브러리는 원격조종 수술 시스템의 메모리 장치에 저장될 수 있다. 부가적으로 또는 대안으로서, 데이터 라이브러리는 (1) 원격조종 수술 시스템과 데이터 통신하는 원격 서버 상에 위치하는 메모리 장치에; (2) 원격조종 수술 시스템과 데이터 통신하는 클라우드 컴퓨팅 시스템의 메모리에; 또는 (3) 임의의 다른 저자 기록 매체 옵션에 저장될 수 있다.

하나의 실시예에서, 수술 시스템의 전원이 켜질 때마다, 새로운 절차 이벤트 로그가 생성된다. 하나의 예에서, 수술 시스템의 전원을 켜는 것은 새로운 절차 이벤트 로그를 생성하지만, 수술 시스템과 연관된 이미지 캡처 장치에 의해 캡처된 비디오의 기록을 시작하지는 않고, 사용자는 이미지 캡처 장치에 의해 캡쳐된 비디오의 기록을 시작하기 위해 수술 시스템의 사용자 인터페이스를 통해 입력할 것을 요청받게 된다. 다른 예에서, 수술 시스템의 전원이 켜진 때 수술 시스템에 이미지 캡처 장치(예컨대, 내시경)가 설치되어 있다면, 수술 시스템의 전원을 켜는 것이 부가적으로 수술 시스템이 이미지 캡처 장치에 의해 캡처된 비디오의 기록을 시작하게 만들 수 있다. 다른 예에서, 이미지 캡처 장치에 의해 캡쳐된 비디오의 기록은 이미 전원이 켜진 수술 시스템에 이미지 캡처 장치가 사용을 위해 설치될 때 자동으로 시작된다. 이러한 예는 단지 예시일 뿐이며, 제한사항으로 의도된 것은 아니다.

도 9에 도시된 바와 같에, 알고리즘(900)은 그것이 (910)에서 '시작(START)' 신호를 수신한 때 시작된다. 시작 신호는 사용자 인터페이스(905)를 통해 수신된 사용자의 입력(예컨대, 전원 온/오프 스위치를 작동시키는 것)의 산물이다. 시작 신호가 수신되지 않으면, 알고리즘(900)은 되돌아가 (910)에서의 질문을 반복한다.

시작 신호가 (910)에서 수신되면, 알고리즘(900)은 (915)로 진행하고, (915)에서 알고리즘(900)은 현재 시각을 판독하기 위해 시스템 클록(920)에 질문한다. (925)에서, 알고리즘(900)은 알고리즘(900)을 실행하는 컴퓨터 프로세서와 데이터 통신하는 이미지 캡처 장치(930)로부터 하나의 이미지를 수신하는데, 이 이미지는 이미지 캡처 장치(930)에 의해 캡처된 비디오 기록 중 하나의 프레임이다. (935)에서, (925)에서 수신된 이미지는 (915)에서 판독된 현재 시각을 가지는 디지털식의 시간스탬프를 부여받고, 시간스탬프 부여된 이미지는 비디오 기록의 하나의 프레임으로서 메모리 장치(940)에 저장된다.

알고리즘(900)은 또한 절차 이벤트 로그를 갱신 및 보존한다. 앞서 언급한 바와 같이, 하나의 실시예에서, 절차 이벤트 로그는 알고리즘(900)을 수행하는 장치(예컨대, 원격조종 수술 시스템)의 전원이 켜질 때마다 생성된다. (945)에서, 알고리즘(900)은 관심 있는 다수의 시스템 이벤트 중 하나가 그 순간에 탐지되었는지 여부를 수술 시스템에 질문한다. 바람직하게는, 수술 시스템의 메모리 장치는 절차 이벤트 로그 내에 저장될 시스템 이벤트의 사전에 식별된 목록을 포함하는 룩업 테이블을 포함한다. (945)가 룩업 테이블 내에 포함된 시스템 이벤트 중 하나의 발생을 탐지하면, 식별된 시스템 이벤트가 추출되고, (915)에서 판정된 현재 시각을 가지는 디지털 시간스탬프를 부여받는다. 이러한 시스템 이벤트 및 그것과 연관된 시간스탬프는 절차 이벤트 로그 내의 한 엔트리로서 메모리 장치(940)에 저장된다. 그 다음, 알고리즘(900)은 (955)로 진행하며, (955)에 대해서는 아래에 더 상세하게 설명된다.

(945)가 룩업 테이블에 포함된 시스템 이벤트가 발생하지 않았다고 판정하면, 알고리즘(900)은 바로 (955)로 진행하는데, (955)에서 알고리즘(900)은 "중단(STOP)" 신호가 수신되었는지 문의한다. 중단 신호가 수신되면, 알고리즘(900)은 비디오 기록을 중단할 것이고, 기존의 수술 프로시저에 대한 절차 이벤트 로그에 대한 갱신을 중지한다. 바람직하게는, 정지 신호는 사용자 인터페이스(예컨대, 사용자 인터페이스(905))를 통한 사용자 입력의 산물이다. 하나의 실시예에서, 정지 신호는 시스템의 전원이 꺼진 때(예컨대, 사용자가 전원 온/오프 스위치를 작동한 때) 수신된다. 이러한 예는 단지 예시일 뿐이며, 제한사항으로 의도된 것은 아니다.

중단 신호가 수신되면, 알고리즘(900)은 (960)으로 진행하고, (960)에서 절차 비디오 기록의 다양한 프레임을 구성하는 이미지들이 볼 수 있는 비디오 기록을 만들기 위해 컴파링일(compiled)되고, 절차 이벤트 로그의 엔트리를 구성하는 다양한 시스템 이벤트들이 완벽한 절차 이벤트 로그를 형성하기 위해 컴파일링된다. 컴파일링된 절차 비디오 기록 및 절차 이벤트 로그는 추후의 사용을 위해 메모리 장치(940)에 저장된다. 정지 신호가 수신되지 않으면, 알고리즘(900)은 되돌아가 다시 (915)를 진행한다.

도 10은 이미지 데이터 및 보조 데이터의 조합을 이용하여 비디오 컨텐트 검색을 수행하는 알고리즘(1000)을 보여준다. 하나의 애플리케이션에서, 알고리즘(1000)은 관심 있는 어떤 내용에 대하여 다양한 절차 비디오 기록(예컨대, 알고리즘(900)에 의해 생성된 절차 비디오 기록)을 검색하기 위해 사용될 수 있다. 이러한 애플리케이션에서, 그 각각이 특정한 절차 비디오 기록과 연관되어 있는 절차 이벤트 로그에 포함된 데이터는 관심 있는 어떤 내용에 대한 절차 비디오 기록의 검색을 용이하게 하기 위해 사용될 수 있는 보조 데이터를 구성한다. 알고리즘(1000)은 알고리즘(900)을 수행하는 장치의 컴퓨터 프로세서(예컨대, 원격조종 수술 시스템의 일부분인 컴퓨터 프로세서)에 의해 수행될 수 있다. 알고리즘(1000)은 또한 알고리즘(900)을 수행하는 장치(예컨대, 퍼스널 컴퓨터 장치)와 데이터 통신하는 컴퓨터 프로세서에 의해 수행될 수도 있다.

하나의 실시예에서, 알고리즘(1000)은 관심 있는 특정 의료 내용을 담고 있는 절차 비디오 기록의 일부에 대한 사용자의 검색을 용이하게 하기 위해, (1) 절차 이벤트 로그에 저장된 특정 시스템 이벤트와 (2) 관심 있는 특정 의료 내용 간의 기지의 상관관계를 활용한다. 앞서 설명한 바와 같이, 알고리즘(1000)의 이러한 접근법은 오직 이미지 데이터 분석에만 의존하는 종래의 비디오 검색 알고리즘과 관련된 다양한 단점을 개선한다.

도 10을 참조하여, 하나의 실시예에서, 알고리즘(1000)은 사용자 인터페이스(1005)를 통해 지시받은 사용자 요청에 의해 시작된다. 사용자 인터페이스(1005)에서, 사용자는 사용자가 관심 있는 어떤 내용에 대하여 어떤 절차 비디오 기록이 검색되어야 한다고 요청한다. 하나의 예에서, 사용자는 특정 수술 기술을 포함하는 특정 수술 절차를 수행할 준비 중인 외과의이고, 이 외과의는 보관된 절차 비디오 기록 중 그 특정 수술 기술을 보여주는 부분을 보고자 한다. 사용자 인터페이스(1005)는 마이크로폰일 수 있고, 이를 이용하여 사용자는 관심 있는 어떤 내용에 대하여 미리 기록된 비디오의 검색을 명령할 수 있다. 대안으로서, 사용자 인터페이스는 터치패드 또는 텍스트 입력 수단을 제공하는 몇몇 대안의 사용자 인터페이스일 수 있다. 이러한 예는 단지 예시일 뿐이며, 제한사항으로 의도된 것은 아니다.

하나의 예에서, (1010)에서, 질문 맵퍼(query mapper)는 (1005)에서 요청된 사용자 검색에 포함된 하나 이상의 용어를 절차 이벤트 로그에 의해 정상적으로 기록된 시스템 이벤트 중 하나를 연관짓는다. 바람직하게는, 질문 맵퍼는 (1010)에서 (1) 다양한 주요 용어 또는 문구와 (2) 각각의 시스템 이벤트 또는 몇몇 시스템 이벤트의 패턴간의 기지의 상관관계를 담고 있는 룩업 테이블을 검색함으로써 작동한다. 추가적인 상관관계를 알게 되었을 때, 이러한 룩업 테이블은 추가적인 상관관계를 반영하도록 갱신될 수 있다.

하나의 예에서, 사용자는 (1005)에서 수술 절차 동안 환자 출혈을 완화시키기 위한 수술 기술에 대하여 절차 비디오 기록을 검색할 것을 요청한다. 질문 맵퍼는 (1010)에서 이러한 사용자 질문시 작동하고, 주어진 수술 절차 동안 소작 기구와 연관된 전기소작 기능의 빈번한 적용을 나타내는 시스템 이벤트가 환자 출혈을 완화시키기 위해 사용되는 일반적인 수술 기술에 대응하는지 판정한다. 이러한 예를 계속하여, (1015)에서, 이벤트 검색자는 주어진 기간 내에 전기소작의 반복된 적용(예컨대, 1분 시간 기간 내에 적어도 10회의 전기소작 에너지의 적용)에 대하여 데이터 라이브러리(1035)에 보관된 절차 이벤트 로그를 검색한다.

도 10을 참조하면, 예시적인 데이터 라이브러리(1035)는 절차 이벤트 로그(1040a, 1041a, 1042a)를 보여준다. 각각의 절차 이벤트 로그(1040a, 1041a, 1042a)는 절차 비디오 기록(1040b, 1041b, 1042b) 중 하나와 연관된다. 상기 예를 계속하여, 이벤트 검색자(1015)는 절차 이벤트 로그(1040a, 1041a, 1042a)에 걸쳐 주어진 기간 내에 전기소작의 적용이 반복된 경우를 검색하고, 오직 절차 이벤트 로그(1040a) 및 절차 이벤트 로그(1041a) 만이 특정 빈도의 전기소작 적용을 충족하는 기간을 포함함을 알게 된다.

알고리즘(900)에 관하여 앞서 서술한 바와 같이, 하나의 실시예에서, 절차 이벤트 로그(예컨대, 절차 이벤트 로그(1040a, 1041a, 1042a))의 각각의 시스템 이벤트는 대응하는 시간스탬프와 함께 보관되고, 절차 비디오 기록(예컨대, 절차 비디오 기록(1040b, 1041b, 1042b)의 각각의 프레임은 대응하는 시간스탬프와 함께 보관된다. 비디오 클립 추출자(1020)는 이벤트 검색자(1015)의 출력 시, 절차 비디오 기록의 대응하는 세그먼트를 추출하기 위해 절차 이벤트 로그의 시스템 이벤트들과 연관된 하나 이상의 시간스탬프를 이용하여 동작한다. 상기 예를 계속하여, 이벤트 검색자의 출력(1015)을 이용하여, 비디오 클립 추출자(1020)는 특정 빈도의 전기소작 적용을 충족하는 절차 이벤트 로그(1040a, 1041a)의 각각의 부분에 대한 후보 비디오 클립을 절차 비디오 기록(1040b, 1041b)으로부터 추출한다.

비디오 클립 추출자(1020)에 의해 추출된 각각의 후보 비디오 클립은 분석하는 비디오 분석자(1025)에게 분석을 위해 제공된다. 비디오 분석자(1025)는 각각의 후보 비디오 클립이 사용자가 찾고자 하는 관심 있는 내용을 실제로 포함하는지 판정하기 위해, 각각의 후보 비디오 클립에 대응하는 이미지 데이터를 분석한다. 상기 예를 계속하여, 비디오 분석자(1025)는 오직 절차 비디오 기록(1040b)으로부터의 하나의 후보 비디오 클립만이 실제로 사용자가 찾고자 하는 관심 있는 내용을 포함한다고 판정하고, 그 후보 비디오 클립을 식별된 비디오 클립으로 확인한다. (1030)에서, 이러한 식별된 비디오 클립은 사용자에게 볼 수 있도록 제공된다.

예시의 실시예가 도시되고 설명되었으나, 상기 개시물에 광범위한 수정, 변형, 및 치환이 고려되었고, 몇몇 경우에, 이러한 실시예의 몇몇 특징은 대응하는 다른 특징의 사용 없이 채용될 수 있다. 당업자들은 다양한 변형, 대안, 및 수정을 알 수 있을 것이다. 그러므로, 본 발명의 범위는 오직 아래의 청구항에 의해서만 제한되어야 하며, 청구항이 여기 개시된 실시예의 범위와 일치하는 방법으로 넓게 해석되어야 함이 당연하다.

Claims

하나 이상의 절차 비디오 기록으로부터 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾고자 하는 사용자 커맨드를 수신하는 단계;
하나 이상의 절차 이벤트 로그로부터, 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트를 식별해내는 단계;
상기 하나 이상의 절차 비디오 기록으로부터 하나 이상의 식별된 시스템 이벤트 각각에 대응하는 하나 이상의 시간 스탬프를 이용하여 하나 이상의 후보 비디오 클립을 식별해내는 단계;
상기 하나 이상의 후보 비디오 클립의 이미지 데이터를 분석하여, 하나 이상의 후보 비디오 세그먼트 각각이 관심 있는 의료 이벤트를 포함하는 식별된 비디오 세그먼트인지 판정하는 단계; 및
적어도 하나의 식별된 비디오 세그먼트를 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾고자 하는 사용자 커맨드를 수신하는 단계는:
사용자 인터페이스를 통해 선택할 복수의 관심 있는 의료 이벤트를 제공하는 단계;
제공된 복수의 관심 있는 의료 이벤트 중 하나의 사용자 선택을 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾고자 하는 사용자 커맨드를 수신하는 단계는:
사용자가 의료 절차를 수행하고 있는 동안 수술 도중에 사용자 커맨드를 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾고자 하는 사용자 커맨드를 수신하는 단계는:
수술 전 또는 수술 후 사용자 커맨드를 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트를 식별해내는 단계는 룩업 테이블을 검색하는 단계를 포함하는 것을 특징으로 하는 방법.
제 5 항에 있어서, 상기 룩업 테이블은 기계 학습을 통해 학습된 시스템 이벤트와 관심 있는 의료 이벤트 간의 상관관계를 고려하도록 자동으로 주기적으로 갱신되는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트는 개별적인 시스템 이벤트의 발생을 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트는 특정 패턴에 따르는 2 이상의 시스템 이벤트의 발생을 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트는 장기간 동안의 개별적인 시스템의 발생을 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 하나 이상의 식별된 시스템 이벤트 각각에 대응하는 하나 이상의 시간 스탬프를 이용하여 하나 이상의 후보 비디오 클립을 식별해내는 단계는 2개의 시간 스탬프 사이에 발생한 절차 비디오 기록의 비디오 세그먼트를 식별해내는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 하나 이상의 식별된 시스템 이벤트 각각에 대응하는 하나 이상의 시간 스탬프를 이용하여 하나 이상의 후보 비디오 클립을 식별해내는 단계는 시간스탬프의 시간 윈도우 내에 발생한 절차 비디오 기록의 비디오 세그먼트를 식별해내는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 적어도 하나의 식별된 비디오 세그먼트를 사용자에게 제공하는 단계는 적어도 하나의 식별된 비디오 세그먼트를 사용자가 볼 수 있도록 디스플레이상에 재생하는 단계를 포함하는 것을 특징으로 하는 방법.
비디오 검색을 수행하는 장치로서,
사용자 인터페이스; 및
상기 사용자 인터페이스에 유효하게 연결된 프로세싱 유닛을 포함하고, 상기 프로세싱 유닛은 하나 이상의 프로세서를 포함하고,
상기 프로세싱 유닛은:
상기 사용자 인터페이스를 통해, 하나 이상의 절차 비디오 기록로부터 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾고자하는 사용자 커맨드를 수신하고;
하나 이상의 절차 이벤트 로그로부터 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트를 식별해내고;
상기 하나 이상의 절차 비디오 기록로부터 하나 이상의 식별된 시스템 이벤트 각각에 대응하는 하나 이상의 시간스탬프를 이용하여 하나 이상의 후보 비디오 클립을 식별해내고;
상기 하나 이상의 후보 비디오 클립의 이미지 데이터를 분석하여, 하나 이상의 후보 비디오 세그먼트 각각이 관심 있는 의료 이벤트를 포함하는 식별된 비디오 세그먼트인지 판정하고; 그리고
적어도 하나의 식별된 비디오 세그먼트를 사용자에게 제공하도록
구성된 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 사용자 인터페이스는 퍼스널 컴퓨팅 장치의 사용자 인터페이스를 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 사용자 인터페이스는 원격조종 수술 시스템의 사용자 인터페이스를 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 관심 있는 의료 이벤트를 보여주는 하나 이상의 비디오 클립의 위치를 찾고자하는 사용자 커맨드를 수신하는 것은:
사용자 인터페이스를 통해 선택할 복수의 관심 있는 의료 이벤트를 제공하는 것;
제공된 복수의 관심 있는 의료 이벤트 중 하나의 사용자 선택을 수신하는 것을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 11 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트를 식별해내는 것은 룩업 테이블을 검색하는 것을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 17 항에 있어서, 상기 룩업 테이블은 기계 학습을 통해 학습된 관심 있는 의료 이벤트와 시스템 이벤트 간의 상관관계를 고려하도록 자동으로 주기적으로 갱신되는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트는 개별적인 시스템 이벤트의 발생을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트는 특별한 패턴에 따르는 2 이상의 시스템 이벤트의 발생을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 관심 있는 의료 이벤트의 발생에 대응할 가능성이 있는 하나 이상의 시스템 이벤트는 장기간 동안의 개별적인 시스템 이벤트의 발생을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 하나 이상의 식별된 시스템 이벤트 각각에 대응하는 하나 이상의 시간스탬프를 이용하여 하나 이상의 후보 비디오 클립을 식별해내는 것은 두 시간스탬프 사이에 발생한 절차 비디오 기록의 비디오 세그먼트를 식별해내는 것을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 하나 이상의 식별된 시스템 이벤트 각각에 대응하는 하나 이상의 시간스탬프를 이용하여 하나 이상의 후보 비디오 클립을 식별해내는 것은 시간스탬프의 시간 윈도우 내에 발생한 절차 비디오 기록의 비디오 세그먼트를 식별해내는 것을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.
제 13 항에 있어서, 상기 적어도 하나의 식별된 비디오 세그먼트를 사용자에게 제공하는 것은 적어도 하나의 식별된 비디오 세그먼트를 사용자가 볼 수 있도록 디스플레이상에 재생하는 것을 포함하는 것을 특징으로 하는 비디오 검색을 수행하는 장치.