KR20210022135A - 수술 트레이닝 장치, 방법 및 시스템 - Google Patents

Abstract

수술 훈련생이 증강 현실 헤드셋을 사용하여 사실적인 방식으로 해부학적 모델을 대상으로 수술 스킬을 연습하는 것 및 훈련생이 적절한 수술 기법 및 의사 결정을 개발하는 것을 돕기 위해 모델 내의 또는 모델에 인접하는 센서에 의해 감지되는 바와 같은 훈련생의 액션에 상관되는 목표로 하는 수술 과정 커리큘럼의 전달을 허용하는 수술 트레이닝 장치, 방법 및 시스템.

Description

수술 트레이닝 장치, 방법 및 시스템

본 발명은 수술 트레이닝을 위한 장치, 방법 및 시스템에 관한 것이다. 더 구체적으로, 본 발명은 전략적으로 배치된 센서를 갖는 해부학 모델(anatomy models)을 활용하는 신규의 시뮬레이션된 수술 트레이닝 장치, 방법 및 시스템에 관한 것이다. 센서가 장착된 모델은, 시뮬레이션된 수술 트레이닝 세션 동안 이상적인 시간에 훈련생에게 가이드식 지시(guided instruction) 및 목표로 하는 커리큘럼 콘텐츠(curricular content)를 전달하기 위해, 증강 현실 헤드셋 및 컴퓨터 소프트웨어와 연계하여 사용된다.

현재 많은 수술 훈련생은 불충분한 대체재에 기인하여 수술실에서 살아 있는 환자를 대상으로 연습하고 있다. 이것은 이상적인 것보다 덜한 환자 결과 및 불필요하게 증가된 수술 시간으로 이어질 수도 있다. 연구는, 더 긴 수술 시간이 환자 위험성을 더하고 치료의 비용을 증가시킨다는 것을 보여주었다.

수술 모형 모델(surgical phantom model)을 대상으로 하는 트레이닝이 공지되어 있지만, 그러나 향상된 수술 트레이닝 장치, 방법 및 시스템에 대한 필요성이 여전히 남아 있다. 특히, 수술 트레이닝은, 학생이 운동 과제(motor task)를 완료하는 동안 시각적 및 언어적 큐(cue) 둘 모두 필요로 한다. 현재, 이 지시를 제공하는 유일한 수단은 라이브의 숙련된 실무자 트레이닝 세션을 통하는 것이다. 불행히도 외과 의사의 시간 제한에 기인하여, 직접(in person) 트레이닝은 실제 환자 사례 동안에만 실현 가능하고, 따라서, 수술의 비효율성에 기인하여 과도한 비용을 생성하거나 또는 피해를 야기하는 가능성을 갖는다.

수술 훈련생이 증강 현실 헤드셋을 사용하여 사실적인 방식으로 해부학적 모델을 대상으로 수술 스킬을 연습하는 것 및 훈련생이 적절한 수술 기법 및 의사 결정을 개발하는 것을 돕기 위해 모델 내의 또는 모델에 인접하는 센서에 의해 감지되는 바와 같은 훈련생의 액션에 상관되는 목표로 하는 수술 과정 커리큘럼(targeted surgical coursework curriculum)의 전달을 허용하는 수술 트레이닝 장치, 방법 및 시스템.

본 발명은 증강 현실 헤드셋(augmented reality; AR) 헤드셋 또는 다른 휴먼 컴퓨터 인터페이스(human computer interface; HCI)를 통해 통합된 디지털 커리큘럼 콘텐츠를 갖는 센서 장착 수술 모형 모델을 다른 양태에서 제공하는 것에 의해 상기의 요구를 추가로 해결한다.

본 발명은, 또 다른 양태에서, 사용자가 자가 지도 트레이닝(self-guided training)을 수행하는 것을 허용하는 수술 모형, 수술 도구, 및 컴퓨터 소프트웨어 사이의 정보 전송을 제공한다.

또 다른 양태에서, 본 발명은 커리큘럼 콘텐츠의 전달을 촉진하기 위해 신호를 방출하는 수술 트레이닝 모형을 제공한다.

신호는, 예를 들면, 트랜스듀서, 비디오 이미지 및/또는 변형 게이지(strain gauge)와 같은 임의의 적절한 전자 컴포넌트를 사용하여 모델로부터 생성될 수 있다.

신호의 생성은, 예를 들면, 다음과 같은 방식 중 임의의 하나 또는 다음과 같은 방식의 조합에서 개시될 수도 있다:

a) 예를 들면, 제안된 절개 부위의 마킹, 절개를 행하기, 시뮬레이션된 출혈의 시작, 시뮬레이션된 종양의 절제, 등등과 같은 모델에서의 변화의 감지시;

b) 예를 들면, 사용자 손 및/또는 머리 모션과 같은 사용자 움직임의 감지시;

c) 신체 마킹 펜, 봉합 바늘, 바늘 드라이버, 복강경 기구, 흡입 팁, 등등과 같은 수술 기구의 사용의 감지시; 및/또는

d) 수술의 과정 동안 "외과 의사가 보는 것" 또는 수술 영역 내에서의 특정한 비디오 시야(field of view; "FOV")의 감지시. 센서로부터의 신호(예를 들면, 트랜스듀서, 가시적인 및 비가시 주파수를 포함한 전자기 스펙트럼 방출)는, 카메라 비전, Wi-Fi(와이파이), Bluetooth(블루투스), 사운드, 조명, 유선 연결, 등등과 같은 임의의 소망되는 통신 모드를 사용하여 수술 트레이닝 소프트웨어 프로그램을 실행하는 컴퓨터로 전달된다. 데이터를 파싱하기 위해, 그 데이터로부터 학습하기 위해 그리고 학습된 것에 대한 정보에 입각한 결정을 행하기 위해 머신 러닝이 활용될 수도 있다. 딥 러닝은 모델은, 모델이 이미지, 텍스트, 또는 신호로부터 직접적으로 분류 과제를 수행하는 것을 학습하는 머신 러닝의 한 타입이다. 딥 러닝은 병렬 컴퓨터에 의해 실시간으로서 계산될 수도 있는 신경망 아키텍쳐를 사용하여 구현될 수도 있다. 머신 러닝 및/또는 딥 러닝은, AR 헤드셋 카메라 및 9 자유도 머리/카메라 위치 추적기로부터의 신호 및 이미지 및 시뮬레이션된 장기(organ) 및/또는 수술 기구로부터의 다른 신호 출력을 사용하여 오브젝트를 식별, 프로세싱 및 분류하기 위해 사용될 수도 있다.

신호는 컴퓨터 수술 트레이닝 소프트웨어 프로그램에 의해 해석되고 수술 시뮬레이션 트레이닝 소프트웨어에서 상태 변화를 야기할 수도 있다.

소프트웨어는 수술 모형 모델 트레이닝 세션의 진행중인 프로세스에 대응하는 튜토리얼 및 "방법(how-to)" 가이드를 훈련생에게 전달하도록 프로그래밍될 수도 있다.

또 다른 양태에서, 본 발명은 수술 모델에 대한 트레이닝 프로시저 동안 수술 훈련생의 특정한 수행(performance)을 검출하고 대응하는 커리큘럼 콘텐츠 및/또는 다른 정보를 훈련생에게 전달하는 것에 의해 검출된 수행에 응답하는 AR 플랫폼을 제공한다. AR 헤드셋 및/또는, 예를 들면, 수술 기구(복강경, 내시경, 관절경, 현미경, 등등)로부터의 비디오를 포함하는 임의의 비디오 또는 카메라 피드는, "모델 큐(Model Cues)" 및/또는 "모션 큐(Motion Cues)" 및/또는 "스틸 이미지/비디오 큐(Still Image/Video Cues)"일 수도 있는 하나 이상의 "큐(Cues)"를 검출할 수 있다.

"모델 큐"는 AR 헤드셋과 같은 "큐 수신기(Cue Receiver)"에 의해 검출 가능한 모델 그 자체로부터 발생하는 물리적 조건 또는 별개의 엘리먼트이다. 모델 큐의 예는, 물리적 마킹(예를 들면, 바코드 또는 가시적 또는 비가시적 잉크의 다른 심볼), 전자 및/또는 광학 센서 및/또는 수술 모델의 외부 표면에 임베딩되는 또는 적용되는 임의의 다른 기점(fiducial)을 포함하지만, 그러나 이들로 제한되지는 않는다.

"식별(identification; ID) 및/또는 모션 큐"(이하 "ID-모션 큐(ID-Motion Cues)")는, AR 헤드셋에 의해 검출 가능한 수술 기구 및/또는 훈련생에 의한 물리적 존재(정적 상태) 및/또는 모션(예를 들면, 눈, 머리, 손, 팔 움직임)의 검출을 포함한다. 이와 관련하여 훈련생의 신체 부위 및/또는 수술 기구(예를 들면, 클립, 스펀지 및 거즈와 같은 수술에서 사용될 수도 있는 보조 아이템을 포함함)는 적용된(예를 들면, 임시 부착된) 센서 및/또는 그 존재(ID) 및/또는 모션의 검출을 허용하는 다른 기점을 제공받을 수도 있다. 모션 검출은 컴퓨터화된 내비게이션 시스템을 통해 추적 가능하게 만들어질 수도 있거나 또는 추적 가능하게 만들어지지 않을 수도 있다.

"스틸 이미지/비디오 큐"는 수술 카메라(예를 들면, 복강경, 로봇, 등등)로부터의 이미지 캡처 및 비디오 피드를 포함한다. AR 헤드셋은, 수술 시스템 트레이닝 소프트웨어 프로그램에 대한 입력을 생성하는 이미지 캡처 및 비디오 피드 기능성을 또한 가질 수도 있다.

큐 수신기에 의한 모델 큐 및/또는 ID-모션 큐 및/또는 스틸 이미지/비디오 큐의 검출은, 수술 트레이닝 시스템 소프트웨어(이것에 큐 수신기가 유선 또는 무선으로 연결됨)가 특정한 수술 트레이닝 모듈 또는 세션의 맥락 내에서 모델의 특정한 액션 및/또는 해부학적 기준 포인트로서 해석하도록 프로그래밍되는 신호를 생성한다.

모델 큐는 그 특정한 모델에 대한 소프트웨어 프로그래밍과 일치하는 방식으로 모델 내에 또는 모델 상에 전략적으로 배치된다. 더 상세하게는, 소프트웨어는 특정한 수술 트레이닝 모듈을 위해 프로그래밍될 수도 있다. 따라서 소프트웨어는 그 특정한 수술 트레이닝 모듈에 대한 성공적인 수술 프로시저를 나타내는 모델에 대한 수술 행위의 순서가 정해진(그리고, 옵션 사항으로(optionally), 타이밍이 조절된) 시퀀스를 가지고 프로그래밍될 수도 있다. 모델 내의 또는 모델 상의 하나 이상의 모델 큐 및/또는 ID-모션 큐 및/또는 스틸 이미지/비디오 큐의 타입 및 배치는 특정한 수술 세션에 대한 수술 행위의 프로그래밍된 순서가 정해진 시퀀스에 상관된다. 훈련생이 소프트웨어 프로그램에서 식별되는 바와 같은 예상된 수술 수행(surgical performance)와 일치하지 않는 수술 행위를 모델에 대해 수행하는 경우, 소프트웨어는 임의의 그러한 이탈을 검출할 것이고 예상된 수술 프로토콜로부터의 이탈을 훈련생에게 통지하는 것에 의해 응답할 것이다.

커리큘럼 콘텐츠 및/또는 다른 정보가 자동적으로 생성되어 검출된 이탈시 및/또는 트레이닝 모듈 종료시 훈련생에게 전달될 수도 있다.

프로그래밍된 순서가 정해진 시퀀스 및/또는 모델 큐 검출의 타이밍에서 변화를 검출할 수 있는 것 외에도, 모델 큐 및/또는 모션 큐 및/또는 이미지 캡처/비디오 큐는, 그 트레이닝 모듈에 대한 프로토콜을 따르지 않는 또는 그 행위에 대한 수술 수행 표준을 충족하지 않는(예를 들면, 신체 마킹 펜으로 모델 상의 절개에 대한 잘못된 부위를 마킹하는 것, 절개를 불량하게 실행하는 것, 절제, 또는 수술 기구 또는 보조 아이템의 부적절한 배치(예컨대, 모델에 스폰지를 남겨두는 것) 수술 행위가 수행되고 있다는 것을 나타내는 신호를 소프트웨어로 제공할 수도 있다.

따라서, 시스템은 검출된 모델 큐 및/또는 ID-모션 큐 및/또는 이미지 캡처/비디오 큐에 기초하여 현재의 수술 트레이닝 상태를 검출할 수도 있고 대응하는 커리큘럼 콘텐츠 및/또는 다른 정보로 하여금 디스플레이되게 하는 것 또는 그렇지 않으면 수술 훈련생에게 제공되게 하는 것에 의해 응답할 수도 있다. 소프트웨어는, 다양한 큐 검출 기능을 개발하기 위해 머신 러닝, 딥 러닝, 및/또는 보강 학습을 포함하는 직접적인 시각적 검출 알고리즘을 가지고 프로그래밍될 수도 있다.

다른 양태에서, 본 발명은 수술 트레이닝 모델에 대한 훈련생의 진척도에 적절하게 타이밍이 조절되는 커리큘럼 콘텐츠를 전달하도록 프로그래밍되는 컴퓨터 소프트웨어를 제공한다. 이 소프트웨어는, 임의의 주어진 수술 트레이닝 세션 또는 시나리오에 대한 적절한 콘텐츠를 선택하는 알고리즘 의사 결정 트리(algorithm decision tree)에 기초한다. 소프트웨어 구조체는, 시스템이, 소망되는 경우, 검출된 입력 직후를 포함하는 임의의 소망되는 방식으로 훈련생에 대한 콘텐츠의 전달의 타이밍을 맞추는 것을 허용한다. 시스템은 트레이닝 세션에서 임의의 간격에서의 훈련생에 의한 옵션 사항의 재생을 포함하도록 프로그래밍될 수도 있다.

다른 양태에서, 본 발명은 훈련생에 의해 검출되는 활동을 요약하고(summate) 훈련생에 의해 취해지는 개개의 단계 및/또는 수술 트레이닝 모듈의 전체 프로시저에 대한 수행 점수(performance score)를 제공하는 컴퓨터 소프트웨어를 제공한다. 상기에서 설명되는 큐로부터의 출력은, 예를 들면, 초보자와 전문가 사이의 수행 차이에 기초하여 머신 러닝에 의해 요약되고 해석될 수도 있다. 소프트웨어는 또한 수행 점수를 계산하도록 또는 미래의 성능을 향상시키기 위해 훈련생에게 추가적인 지시를 제공하도록 프로그래밍될 수도 있다.

본 발명의 추가적인 목적, 이점 및 신규의 양태는, 첨부의 도면과 함께 고려될 때, 후속하는 설명에서 부분적으로 기술될 것이고, 본 발명의 실무자에게 부분적으로 명백하게 될 것이다.

본 발명의 상기 언급된 및 다른 피처 및 이점, 및 그들을 달성하는 방식은, 첨부의 도면과 연계한 본 발명의 후속하는 설명에 대한 참조에 의해 명백 하게 될 것이고 더 잘 이해될 것인데, 첨부의 도면에서:
도 1a는 수술 트레이닝 시스템의 실시형태를 활용하는 수술 훈련생의 예를 도시하는 본 발명의 실시형태의 사시도이다;
도 1b는 큐 입력, STSS, STSS 데이터베이스 및 출력을 도시하는 실시형태의 플로우차트 다이어그램이다;
도 1c는 모델 타입 및 인접한 장기 센서 활성화 출력(organ sensor activation output)의 예를 포함하는 각각의 모델 타입에 대한 트레이닝 옵션을 도시하는 실시형태의 플로우차트 다이어그램이다;
도 2a는 수술 모형 모델의 예의 단편화된 평면도이다;
도 2b는 본 발명의 실시형태에 따른 모델 상의 마킹을 도시하는 도 2a의 도면이다;
도 3a는 도 2b에서 나타내어지는 그리고 본 발명의 한 실시형태에 따른 모델에 대한 수술 훈련생에 의한 사용을 위한 수술 기구를 추가로 도시하는 모델의 단편화된 평면도이다;
도 3b는 본 발명의 한 실시형태에 따른 절개를 행하는 프로세스에서의 수술 기구를 도시하는 도 3a의 도면이다;
도 3c는 본 발명의 한 실시형태에 따른 절개를 빠져나가는 시뮬레이션된 체액(예를 들면; 혈액, 담즙, 소변, 등등)을 도시하는 도 3b의 도면이다;
도 4a는 본 발명의 한 실시형태에 따른 훈련생이 모델 위에서 수술 기구를 잡고 있는 상태에서의 모델 큐를 갖는 수술 트레이닝 모델의 단편화된 도면이다;
도 4b는 본 발명의 한 실시형태에 따른 수술 기구에 의해 적용되는 센서의 변형 및 활성화를 도시하는 도 4a의 도면이다;
도 5는 본 발명의 한 실시형태에 따른 시뮬레이션된 종양이 프로세스에서 절제되고 있는 상태에서의 수술 모델의 단편화된 도면이다;
도 6a는 본 발명의 실시형태에 따른 시뮬레이션된 종양을 갖는 인간 신장의 수술 모델의 단편화된 평면도이다;
도 6b는 본 발명의 한 실시형태에 따른 절제되는 시뮬레이션된 종양 및 신장 동맥 상에 배치되는 임시 클립을 도시하는 도 6a의 도면이다;
도 7은 본 발명의 한 실시형태에 따른 수술 트레이닝 프로세스의 흐름도이다;
도 8은 본 발명의 한 실시형태에 따른 수술 트레이닝 프로세스의 흐름도이다;
도 9는 본 발명의 한 실시형태에 따른 신경망을 사용하여 머신 및 딥 러닝을 위해 컴퓨터를 트레이닝시키는 흐름도이다;
도 10은 본 발명의 실시형태에 따른 머신/딥 러닝을 사용한 실시간 오브젝트/신호 검출의 흐름도이다;
도 11a 및 도 11b는 본 발명의 한 실시형태에 따른 신호 결정 트리 및 커리큘럼 콘텐츠 전달의 흐름도이다;
도 12는 본 발명의 한 실시형태에 따른 검출된 오브젝트 및 신호에 기초한 지시 콘텐츠(instructional content)의 흐름도이다;
도 13은 본 발명의 한 실시형태에 따른 이미지 타임스탬프 및 로그의 흐름도이다; 그리고
도 14는 본 발명의 한 실시형태에 따른 커리큘럼 지시 재생 모드(curriculum instruction playback mode)의 흐름도이다.

가장 기본적인 형태의 수술 트레이닝 시스템은 수술 모델, 컴퓨터(예를 들면, 프로세서, 메모리, 입력-출력 인터페이스, 그래픽 사용자 인터페이스(graphic user interface; GUI), 등등을 포함하는, 그러나 이들로 반드시 제한되지는 않는 일반적인 컴퓨터 컴포넌트를 구비함), 모델 큐 및/또는 ID-모션 큐 및/또는 스틸 픽쳐/비디오 큐의 형태로 데이터 입력을 수신하기 위한 하나 이상의 "큐 수신기", 및 컴퓨터 프로세서 상에서 실행되는 수술 트레이닝 시스템 소프트웨어(surgical training system software; "STSS")를 포함한다. 수술 모델은 임의의 동물 또는 인간 타입에서 발견되는 임의의 장기 및/또는 다른 해부학적 컴포넌트일 수도 있다. 큐 수신기는, 예를 들면, AR 헤드셋, 마이크로폰, 디지털 카메라, 디지털 비디오, 전자 센서, 실시간 시계, 터치스크린, 컴퓨터 키보드, 조이스틱, 마우스, 트랙볼, 이미지 스캐너, 그래픽 태블릿, 오버레이 키보드 중 임의의 하나 또는 이들의 조합을 포함할 수도 있다. 큐 수신기의 하나보다 더 많은 타입이 동일한 디바이스(예를 들면, AR 헤드셋) 상에 제공될 수도 있다. 큐 수신기는 수신된 큐를, 하나 이상의 수술 트레이닝 세션 또는 모듈을 가지고 프로그래밍되는 STSS로 중계한다. STSS는 수신된 큐를 수신하고 그에 응답하여 적절한 출력을 생성하고 수술 훈련생에게 수술 모델에 대한 수술 프로시저를 수행할 것을 교수하도록 프로그래밍된다.

도 1을 참조하면, 증강 현실(AR) 헤드셋(12)을 착용하는 수술 훈련생(10)이 보이고 임의의 소망되는 재료(예를 들면, 실리콘, 하이드로겔, 등등)의 것일 수도 있는 수술 모델(14)에 대해 수술하고 있다(즉, 수술 트레이닝 세션을 수행하고 있다). AR 헤드셋(12)은 다음의 피처 또는 그들의 등가물 중 임의의 하나 이상을, 그러나 바람직하게는, 모두를 포함할 수도 있다:

투시 광학기기(See through Optics)를 갖는 1080p DLP 투사 디스플레이 도파관(Projected Display Waveguide)

와이파이 및 블루투스 연결성

8 메가 픽셀 카메라

쿼드 코어 ARM CPU

우안 단안용 기구(Right Eye Monocular)

햅틱 피드백

음성 제어부

안드로이드 5 OS

노이즈 캔슬링 마이크로폰

온 보드 비디오 레코딩 매체(on board video recording media)

AR 헤드셋(12)은, 예를 들면, STSS(19)를 다운로드된 소프트웨어 애플리케이션("앱")으로서 실행하는 스마트폰의 형태일 수도 있는 그래픽 사용자 인터페이스("GUI")(17)를 갖는 컴퓨터에 유선 또는 무선으로 연결될 수도 있다. STSS는 "클라우드" (21)에서 원격으로 호스팅될 수도 있고 서비스로서의 소프트웨어(Software as a Service; SaaS)로서 훈련생에게 또한 제공될 수도 있다. 태블릿, 랩탑, 데스크탑, 가상 데스크탑, 등등과 같은 임의의 다른 컴퓨터 타입이 사용될 수도 있는데, 그 상에서 STSS가 SaaS로서 설치될 수도 있거나 또는 액세스될 수도 있다. STSS(19)는 훈련생에게 디바이스(17), 모니터(13) 및/또는 AR 헤드셋(12) 상에서 로그인 화면을 제공하도록 프로그래밍될 수도 있는데, 훈련생은 나중의 리트리브(retrieve) 및/또는 재생을 위해 훈련생의 수술 트레이닝 세션 데이터를 저장할 패스워드로 보호되는 데이터 파일을 가질 수도 있다. STSS는 예컨대 2lb에서 다른 서버 및/또는 네트워크에 연결될 수도 있는데, 그에 의해, 훈련생의 STSS 파일은, 예를 들면, 훈련생의 의과 대학 서버 상에서 호스팅되는 훈련생의 개인 학생 데이터 파일에 연결될 수도 있다. 그러한 만큼, 시뮬레이션된 수술 트레이닝에 소요되는 훈련생의 시간은 훈련생의 수업 학점(class credit) 또는 다른 목적을 위해 기록될 수도 있다.

STSS(19)는, 예를 들면, 음성 커맨드에 의해 또는 디바이스(17) 상의 GUI를 통해 행해질 수도 있는 훈련생에 의한 선택을 위한 상이한 수술 트레이닝 세션의 하나 이상을 포함하도록 프로그래밍될 수도 있다. 수술 트레이닝 모델(14)은, 유선 또는 무선 연결을 통해 컴퓨터(17)에 연결되는 분리된 바코드 스캐너(23a) 또는 컴퓨터(17)에 통합되는 스캐너(23b)(예를 들면, 스마트폰(17)의 스캐너 앱) 또는 모델(14) 상의 바코드를 판독하도록 그에 의해 훈련생이 트레이닝하기를 소망하는 수술 모델 해부학 타입을 식별하도록 동작가능한 그 상에서 실행되는 STSS 앱에 의해 스캔될 수도 있는 바코드(14a) 또는 등등을 포함할 수도 있다. STSS로 프로그래밍되는 각각의 수술 모델 타입은 모델 타입에 적절한 하나 이상의 수술 트레이닝 세션과 관련될 수도 있고 그것을 훈련생에게 디스플레이할 수도 있다. 예를 들면, 모델 타입은 신장으로서 식별될 수도 있고 매치하는 수술 트레이닝 세션 옵션은, 예를 들면, 1) 종양 절제; (2) 신장 결석 제거; (3) 혈관 파열 수복, 등등으로서 (예를 들면, 미디어 인터페이스(17), 모니터(13) 및/또는 AR 헤드셋(12) 상에서) 목록에서 훈련생에게 제시될 수도 있다. 훈련생은 (예를 들면, 그래픽 사용자 인터페이스(GUI) 및 터치스크린, 키보드, 또는 마우스를 사용하는 수동 입력에 의해, 및/또는 시각적(예를 들면, 눈 추적) 및/또는 음성 커맨드에 의해) 소망되는 수술 트레이닝 세션을 선택(입력)할 수도 있고, STSS는, STSS 프로그램의 훈련생이 선택한 수술 트레이닝 세션을 론칭하는 것에 의해 입력에 응답하도록 프로그래밍된다. 선택되는 트레이닝 세션에 따라, 모델의 소정의 센서 피처는 하기에서 추가로 논의되는 바와 같이 STSS에 의해 자동적으로 활성화될 수도 있다(그러나 반드시 트리거되지는 않을 수도 있음).

상기에서 언급되는 바와 같이, 수술 트레이닝 세션 동안 AR 헤드셋(12)과 같은 큐 수신기에 의한 컴퓨터 입력은 모델 큐 및/또는 ID-모션 큐 및/또는 스틸 픽쳐/비디오 큐 중 임의의 하나 또는 이들의 조합의 형태의 큐를 포함할 수도 있다. 다양한 큐 입력은, 그들이 큐 수신기를 통해 수신됨에 따라 STSS에 의해 분석되는데, STSS는, 대응하는 커리큘럼 콘텐츠 및/또는 다른 유용한 정보(예를 들면, 수술 응급 상황의 경보가 검출되는 것, 안전하지 않은 프로시저가 수행되는 것, 프로토콜로부터의 일탈에 기인하여 따를 수정된 또는 대체된 프로토콜)의 형태의 출력을 생성하는 것에 의해 응답한다. STSS 출력은, AR 헤드셋(12) 상에서의 및/또는 수술 트레이닝실 내의 분리된 비디오 모니터(13) 및/또는 스피커(15) 상에서의 오디오 출력 및/또는 디스플레이를 포함하는 소망되는 포맷 중 임의의 하나 또는 이들의 조합으로 제공될 수도 있다. 생성된 오디오 출력은, 예를 들면, 경보 및/또는 구두 지시의 형태로 훈련생에게 제공될 수도 있다. 그러한 만큼, 이 실시형태에서, 훈련생은 트레이닝 동안 (실시간으로) 그들의 고려 사항에 대한 생성된 출력을 수신하고, 그 결과, 그들은 그들의 수행이 올바른지의 여부, 일반적으로 향상의 필요성을 이해할 수도 있고 및/또는 임의의 식별된 이슈를 그들의 수행을 통해 개선하거나 또는 해결하기 위해 그들이 수술 프로토콜 그 자체에 대한 변경을 구현해야 한다는 것을 요구할 수도 있다. 생성된 출력의 형태 및 콘텐츠는 각각의 특정한 수술 트레이닝 세션에 대한 STSS로 프로그래밍될 수도 있다. 콘텐츠는 데이터베이스(11)에 저장되는 교육 커리큘럼의 형태일 수도 있다.

도 1b를 참조하면, 훈련생의 강의실 커리큘럼 콘텐츠가 데이터베이스(11)에 저장되고 STSS(19)에 의해 액세스 가능한 STSS에 대한 입력 및 생성된 출력의 예가 보여진다. 이 예에서, 훈련생이 수술 세션에 대한 문턱 절개 깊이를 초과한 절개를 행한 큐가 생성되어 STSS에 의해 수신되었다. STSS는 출력으로서 데이터베이스(11)로부터 특정한 커리큘럼 콘텐츠를 생성하도록 프로그래밍된다. 이 예에서, 절개 깊이 문턱치를 초과하는 것은 해부학 레슨 2 및 수술 기법 레슨 3에 결부되는 행위이다. 따라서, 이들은 박스(25)에서 보이는 바와 같이 출력으로서 제공되며, 그 다음, 훈련생은 절개 행하기 수행(incision making performance)을 향상시키기 위해 세션 동안 또는 세션 이후 이들 레슨을 읽을 수 있다.

도 1c는, STSS 프로그램이 모델 타입 각각에 대한 다수의 수술 세션 선택지를 제공할 수도 있는 모델 타입의 스캔된 식별을 도시하는 박스 다이어그램을 예시한다. 수술 트레이닝 시스템은 각각의 모델이 별개의 해부학적 모델 타입인 두 개 이상의 모델을 포함할 수도 있다. 따라서, 소프트웨어 트레이닝 프로그램은 각각의 모델 타입에 상관되는 분리된 수술 세션 프로그램을 포함할 수도 있다. 분리된 수술 세션 프로그램은 적어도 두 개의 대안적인 수술 세션 타입을 더 포함할 수도 있다. 훈련생은 (예를 들면, 인터페이스(17)를 통해) 수술 세션을 선택하고 그 모델 및 수술 세션에 대한 센서 중 센서 중 소정의 센서는 특정한 트레이닝 세션 동안 활용될 센서로서 식별된다. 예를 들면, 훈련생이 신장의 모델을 스캔하면, STSS는, 이 예에서는 "종양 절제(Tumor Resection)" 또는 "생검(Biopsy)"인 신장 모델에 대한 이용 가능한 수술 세션의 목록을 제시한다. 훈련생은 (예를 들면, 인터페이스 17을 통해) 모델 트레이닝 세션을 선택하는데, 이것은 STSS로 하여금 선택된 세션에 대한 프로그램을 론칭하게 한다. 상기에서 언급되는 바와 같이, 수술 모델 및 세션은, 선택되는 특정한 수술 모델 및 세션에 대해 활용되는 센서의 고유의 세트를 가질 수도 있다. 방광 모델 예에서, 훈련생은 경요도 절제(Transurethral Resection) 또는 결석 제거(Stone Removal) 트레이닝 세션 중 어느 하나를 선택할 수도 있다. 경요도 절제의 선택은 센서(A 및 D 내지 F)를 활성화할 수도 있는데(예를 들면, 그들에게 전력을 인가하여, 만약 존재한다면, 센서의 펌웨어를 통해 "준비" 상태로 만듦), 이들 센서가 그 특정한 수술 세션을 수행하는 것과 관련되는 센서이기 때문이다. 훈련생이 대신 결석 제거 세션을 선택하는 경우, 그 특정한 수술 세션과 관련되는 센서의 세트가 활성화되는데, 이 예에서는 센서(A 내지 C 및 E)이다. 예를 들면, 선택된 모델이, 유방, 갈비뼈, 폐 및 심장의 모델을 포함하는 흉부 모델(Thoracic model)인 경우, 훈련생은 유방 재건(Breast Reconstruction) 및 혈관 성형술(Angioplasty)의 수술 세션 선택지를 제시받는다. 훈련생이 유방 재건을 선택하는 경우, 폐 센서(D 및 F) 및 유방 센서(K 내지 M)를 포함하는 그 프로시저와 관련되는 센서의 세트가 활성화된다. 훈련생이 인접한 모델 구조체의 공간을 잘못 침범하고 있는지(예를 들면, 유방에 대해 작업하는 동안 폐를 천공하는 것)를 나타내기 위해서는, 인접 모델의 센서가 중요할 수도 있다. 따라서, 도 1c의 박스(31)에서 도시되는 바와 같이, 수술 훈련생은 흉부(모델 타입 C)를 STSS로 스캔하는데, 이것은 훈련생에게 유방 재건 또는 혈관 성형술을 수행하는 선택지를 제공한다. 수술 훈련생은, STSS의 그 특정한 트레이닝 세션 프로그램을 론칭하는 박스(33)에서 유방 재건 트레이닝 세션을 선택한다. 수술 트레이닝 세션 동안, 훈련생이 실수로 폐를 잘라 내고 천공하는 경우, 폐 센서(D)는 큐 수신기를 통해 STSS로 신호를 전송하고 STSS는, AR 헤드셋에서의 시각적 경고 메시지의 형태일 수도 있는 폐 천공의 출력을 훈련생에게 제공하는 것에 의해 응답하도록 그리고 치료 액션을 취할 것을 요구하도록 프로그래밍된다. STSS는 또한, 출력으로서, 폐 천공에 대응하는 커리큘럼 콘텐츠를 데이터베이스(11)로부터 제공할 수도 있다. 출력은 임의의 소망되는 포맷으로 그리고 임의의 매체 상에 제공될 수도 있다(예를 들면, 모니터(13) 상에 제공될 수도 있고, 프린터(9) 상에서 인쇄될 수도 있고, 및/또는 컴퓨터(17)의 메모리에서 또는 훈련생에 의한 나중의 리트리브를 위해 메모리 스틱(7)과 같은 분리된 메모리 스토리지 디바이스 상에서 디지털적으로 저장될 수도 있고, 등등일 수도 있다).

복강경 또는 로봇 수술 트레이닝 세션의 시작에서의 인간 복부(16)의 수술 모형 모델이 보이는 수술 트레이닝 세션의 한 예가 도 2a 및 도 2b에서 보여진다. 포트 위치는 참조 번호(l8a-l8d)에 의해 지정되며, 트레이닝 세션 동안 훈련생에 의해 복벽의 개구부(포트)가 형성될 위치를 나타낸다. 몸통 배꼽(torso navel) 또는 배꼽(umbilicus)은 참조 번호(20)에 의해 나타내어지며 3D 공간에서 모델의 일반적인 방위를 확립하기 위한 기준 포인트(기점)를 제공한다. 이 수술 트레이닝 세션 예에서, 훈련생은, 배꼽(20)에 인접한 제1 배꼽 포트(l8a)를 배치할 것을, AR 헤드셋(12)의 오디오 및/또는 시각적 디스플레이를 통해 STSS에 의해 및/또는 분리된 지시(이것은, 예를 들면, 구두(verbal) 또는 성문(written) 형식일 수도 있음)에 의해 지시 받는다. 훈련생(10)은 또한, AR 헤드셋(12)으로 하여금 수술 모델(16) 상으로 포트(l8a)가 배치되어야 할 곳의 이미지를 중첩시키게 하도록 프로그래밍될 수도 있는 STSS에 의해 배꼽 포트(l8a)의 적절한 배치로 안내될 수도 있다. 포트(l8a)의 배치는 (예를 들면, 모델 외관, 훈련생 모션, 또는 표면 또는 임베딩된 센서에 대한 변화 중 어느 하나를 검출하는 것에 의해) 큐로 하여금 검출되게 하는데, 이것은 AR 헤드셋(12)과 같은 큐 수신기에 대한 입력(예를 들면, 전자 신호)의 생성을 트리거한다. AR 헤드셋(12)(큐 수신기)은, 입력을 분석하도록 그리고 훈련생이 포트(l8a)의 적절한 배치를 수행하였다는 것을 입력이 나타내는지를 결정하도록 프로그래밍되는 STSS로 신호를 중계한다. 만약 그렇다면, 하기에서 추가로 설명되는 바와 같이, 그 다음, 훈련생은 바코드(22)에 의해 지정되는 위치에서 제2 포트(18b)를 배치하도록 STSS에 의해 안내 받을 수도 있다. 비록 설명의 용이성을 위해 바코드(22)가 도 2b에서 도시되지만, 사람 눈에 보일 수도 있는 또는 보이지 않을 수도 있는, 큐 수신기(예를 들면, AR 헤드셋 12)에 의해 감지될 수 있는 임의의 타입의 모델 큐가 사용될 수도 있다는 것이 이해된다. 그러한 표시자(indicator)는, 예를 들면, AR 헤드셋(12)에 의해 검출 가능하지만 그러나 심지어 AR 헤드셋(12)을 착용한 동안에도 훈련생에 의해서는 검출 가능하지 않은 비가시적인 잉크를 포함한다. 이것은 바람직할 수도 있는데, 그것은, 시각적 또는 다른 표시자에 의해 그것이 즉시 인식되지 않으면서, 훈련생이 몸통 상의 적절한 포트 위치를 찾는 것을 필요로 할 것이기 때문이다. 이 경우, 훈련생은, 제2 포트가 배치될 것으로 추측되는 곳을 표시 받지 않은 상태에서, 그 제2 포트를 배치할 것을 STSS에 의해 단순히 지시 받을 수도 있다. 포트 위치(18b)에서의 비가시적인 모델 큐 또는 스틸 픽쳐/비디오 큐와 같은 다른 큐는, 훈련생이 포트를 올바른 위치에 배치했는지 또는 그렇지 않은지를 검출하기 위해 사용될 수도 있다.

상기에서 언급되는 바와 같이, 훈련생에게 적절한 포트 위치를 보여주는 것이 소망되는 경우, STSS는 훈련생의 AR 헤드셋에서 포트를 갖는 복부의 이미지를 야기할 수도 있거나, 또는 포트 위치의 이미지를 수술 모델 상으로 오버레이할 수도 있다. AR 헤드셋은, 예컨대 바코드(22) 또는 배꼽(20)과 같은 다른 기점을 스캐닝하는 것에 의해 표면 마킹과 같은 임의의 소망되는 큐에 의해 포트 위치(18b)의 정확한 위치를 인식한다. 다시, 이것은, 훈련생이 실제 수술에 존재하지 않을 수도 있는 그러한 마킹에 너무 심각하게 의존하는 것을 방지하기 위해, 모델에서의 약간의 컬러 변화 또는 인간의 가시 스펙트럼 밖의 도포된 잉크 또는 다른 착색제의 사용만큼 미묘할 수도 있다.

자신의 수신된 데이터를 입력으로서 STSS(상기의 논의 참조)로 중계하는 적절한 큐에 의해 검출되는 바와 같이 제2 포트(18b)가 정확하게 배치된 이후, 훈련생은, 예를 들면, 상기에서 설명되는 바와 같은 모델 상의 바코드의 형태를 포함하는 임의의 소망되는 형태의 큐 또는 AR 헤드셋(12)에 의해 검출 가능한, 모델에 임베딩될 수도 있거나 또는 임베딩되지 않을 수도 있는(따라서 사람 눈에 보이지 않을 수도 있는) 센서를 포함할 수도 있는 위치(24)에서 제3 포트(18c)를 배치할 것을 AR 헤드셋(12)을 통해 STSS에 의해 지시 받는다. 센서(예를 들면, 압력 센서)는, 활성화시, AR 헤드셋(12)에 의해 검출되는 신호를 생성할 수도 있는데, 그 신호는, (예를 들면, AR 헤드셋(12) 및/또는 모니터(13) 및/또는 스피커(15)에서 텍스트 및/또는 구두 지시를 발행하는 것에 의해) 포트(18d)에서 제4 포트를 배치하기 위한 안내를 생성하는 것에 의해 훈련생에게 응답하도록 프로그래밍되는 제3 포트(I8c)가 적절하게 배치되었다는 것을 STSS에게 통지한다. 큐에 의해 검출되고 STSS로 중계되는 바와 같이 복강경 트레이닝 프로시저가 완료된 이후, 훈련생은 모델로부터 시료(예를 들면, 시뮬레이션된 종양)를 제거할 것을 그리고 26에서 절개를 생성할 것을 STSS에 의해 지시 받을 수도 있다.

이제 도 3a 내지 도 3c를 참조하면, 본 발명의 다른 양태는 STSS를 통해 수술 트레이닝 세션을 안내하기 위한 훈련생의 진척도의 이미지 인식의 사용을 포함할 수도 있다. 도 3a에서, 메스(30) 형태의 수술 기구가 수술 모델 표면(32) 위에서 도시되어 있다(명확화를 위해 도 3a 내지 도 3c에서는 훈련생의 손은 도시되지 않음). AR 헤드셋(12) 및 STSS는 모델 표면(32), 훈련생 손(도시되지 않음) 및 메스(30)의 상대적 위치 데이터를 (예를 들면, AR 헤드셋(12)을 통해) 수신하고 분석하도록(프로세싱하도록) 그리고 훈련생이 당면한 과제(예를 들면, 종양 절제를 위한 절개를 생성하는 것)에 대해 올바른 방위에서 메스(30)를 잡고 있는지의 여부에 관한 정보(출력)를 훈련생에게 제공하도록 프로그래밍될 수도 있다.

훈련생은 메스(30)를 사용하여 모델 표면(32)에서 절개(34)를 절단하는 것에 의해 수술 시뮬레이션 세션을 진행한다. AR 헤드셋 및 STSS는 시각적 외관 및/또는 기점 기준과 같은 큐에 기초하여 절개(34)의 길이 및/또는 깊이를 계산하도록 프로그래밍될 수도 있다. 예를 들면, 큐는 모델 "피부" 표면 상에서 검출되는 1 제곱센티미터 기점의 형태로 제공될 수도 있으며, STSS는 기점에 대한 절개의 시각적 검출에 기초하여 거리를 계산하도록 프로그래밍될 수도 있다. 대안적으로, 전자 센서 형태의 모델 큐는 소정 거리 떨어져 이격될 수 있으며 선형 또는 곡선 시퀀스에서 검출되는 센서의 수는 STSS가 거리(절개의 길이)를 계산하기 위해 사용될 수 있다.

깊이(모델 표면으로부터 모델의 바디까지의 거리)는, 모델의 상부 표면 아래로 연장된 또는 모델 안으로 "사라진" 메스의 양에 기초하여 비디오 큐 및/또는 모션 큐에 의해 제공될 수 있다. 이 경우 메스 날(scalpel blade)은 시각적 큐이며, 날의 몇 퍼센트가 모델 안으로 사라졌는지를 검출하여 STSS에 중계할 수 있는 AR 헤드셋(12)에 의해 검출된다. STSS는 이 데이터를 사용하여 절개 깊이를 계산하도록 그리고 절개(34)가 올바르게 실행되지 않았다는 것을 그것이 계산하는 경우, 예를 들면, 절개가 절개 깊이에 대한 최소 프로그래밍된 문턱치를 충족하지 않는 경우, 훈련생에게 적절한 지시를 제공하도록 프로그래밍될 수 있다.

도 3c에서, 모델 표면(32)은 절개(34)로부터 흐를 수도 있도록 배치되는 시뮬레이션된 혈액과 같은 시뮬레이션된 체액을 포함할 수도 있다. STSS는, 예를 들면, 모델 표면(32)(예를 들면, 살색(flesh tone))으로부터의 검출된 컬러 구별(예를 들면, 혈액의 경우, 적색)에 기초하여 이 시뮬레이션된 출혈(36)을 인식하도록 그리고 "흡입 사용(use suction)" 또는 "압력 유지(hold pressure)"와 같은 적절한 지시를 훈련생에게 제공하도록 프로그래밍될 수도 있다.

도 4a 및 도 4b는, 소프트웨어 프로그래밍이 훈련생 진척도 및 수행에 상관시키는 압력을 검출하도록 동작가능한 압력 센서(38) 형태의 센서의 한 예를 예시한다. 이 예에서는 압력 센서가 사용되지만, 예를 들면, 변형 센서, 유량 센서, 등등을 포함하는 임의의 타입의 센서가 사용될 수도 있다는 것이 이해된다는 것을 유의한다. 예를 들면, 훈련생의 손(10a)은 모델 표면(32)(도 4b)을 절단하는 메스(30)(도 4a)를 잡고 있다. 센서는 도 4a에서 그 휴지 상태에서 나타내어진다. 센서(38)는, STSS로 하여금 AR 헤드셋 또는 다른 HCI(휴먼 컴퓨터 인터페이스)를 통해 훈련생에게 소정의 지시를 제공하게 하는 신호를 생성하는 도 4b에서 도시되는 바와 같이 자신에 대해 누르는 수술 기구에 의해 검출될 수도 있다. 훈련생이 메스(30)를 통해 센서(38)에 대해 압력을 가하는 경우, 센서(38)는, STSS로 하여금, 예를 들면, "자립식 견인기 배치(place self-retaining retractor)"와 같은, 수술 프로시저에서의 지시의 다음 세트를 훈련생에게 제공하는 형태로 출력을 시각적 및/또는 청각적 포맷으로 생성하게 하는 신호를, 그 신호를 STSS로 중계하는 큐 수신기로 전송한다. 센서(38)는 또한 훈련생의 메스 사용에 의해 센서 상에 가해지고 있는 힘을 측정하여 큐 수신기 및 STSS로 송신할 수도 있다. STSS는 센서(38)로부터 수신되는 힘 값을 비교할 수도 있고 그 값을 미리 설정된 힘 문턱치에 비교할 수도 있다. 감지된 힘 값이 허용 가능한 문턱값 밖에 있는 경우, STSS는, 훈련생이 수행을 수정 및/또는 향상시킬 수도 있는 방법에 관한 추가적인 지시의 옵션과 함께 이 정보의 출력을 생성하는 것에 의해 훈련생에게 응답할 수도 있다.

도 5는 본 발명의 한 실시형태에 따른 종양 절제를 수반하는 수술 트레이닝 세션을 위한 수술 모델의 한 예를 예시한다. 이 예에서, 감지된 훈련생 수행 메트릭(performance metrics)에 기초하여 훈련생 커리큘럼 콘텐츠를 구동하기 위해 다양한 센서가 활용된다. 수술 모형 모델(40)에 대한 훈련생(도시되지 않음) 수술 트레이닝 세션은 훈련생에게 영양 혈관(feeding blood vessel; 44)을 갖는 종양(42)을 절제할 것을 지시한다. 훈련생이 종양(42)을 절제함에 따라, 혈관(44)이 절단되어 시뮬레이션된 혈액(46)을 방출한다. 시뮬레이션된 혈액(46)은 센서(50a 및 50b)에 의해 감지되는 절제 공동(48)을 충전하기 시작한다. 센서는, 그들이 혈액 충전 공동(48)의 양을 순차적으로 검출할 수 있도록 도시되는 바와 같이 전략적으로 배치될 수도 있다는 것을 유의한다. 예를 들면, 센서(50b 또는 50c)가 아닌 센서(50a)의 트리거링은 공동(48) 내에 "n" 입방 센티미터("cc")의 혈액의 존재를 나타낼 수도 있다. 더 많은 혈액이 공동(48)에 진입함에 따라, 센서(50b)가 트리거되는데, 이것은 혈액 "n + 1" cc의 혈액의 존재를 나타낸다. 더 많은 혈액이 공동(48)에 진입함에 따라, 센서(50c)가 트리거되어 공동(48) 내에서의 "n + 2" cc의 혈액을 나타낸다. 혈액의 양에서의 증가를 검출하기 위해 모델 내에 임의의 수의 센서가 전략적으로 배치될 수도 있다. 활용되는 센서의 타입 및 감지 범위에 따라, 센서는 시뮬레이션된 혈액과의 물리적 접촉시에만 활성화되도록 선택될 수도 있거나 또는 그들은 시뮬레이션된 혈액이 센서의 미리 결정된 거리 내에 있을 때마다 활성화되어 출혈이 악화될 수도 있다는 것을 훈련생에게 경고할 수도 있다.

STSS 프로그래밍은, 특정한 트레이닝 세션 또는 그 임의의 세그먼트 동안 활성화되는 센서 중 어떤 것 및/또는 얼마나 많은 것 및/또는 그 순서에 기초하여 훈련생에게 제공할 정보를 선택하도록 만들어질 수도 있다. 도 5에서 도시되는 예에서, 시뮬레이션된 혈액(46)은, 흡입 튜브(52)를 더 잘 활용하기 위한 지시를 훈련생에게 제공할 것을 STSS에게 촉구할 수도 있는 센서(50b)의 레벨에 도달하였다. 시뮬레이션된 혈액(46)이 센서(50c)의 레벨에 도달하면, STSS 프로그래밍은, 예를 들면, "상당한 혈액 손실이 발생하고 있습니다 - 활발한 출혈이 있다는 것을 마취과 의사에게 경고합니다"와 같은 텍스트(예를 들면, AR 헤드셋(12)을 통함) 및/또는 음성 메시지를, 예를 들면 제공하는 것에 의해, 훈련생에게 지시를 제공할 수도 있다. 센서(53)를 갖는 스폰지(51)도 또한 보인다. 훈련생이 스펀지(51)를 사용하고 절개를 닫을 때 모델 내부에 그것을 두는 경우, 센서(53)는 STSS에게 시그널링하여, 스펀지가 모델 내부에 남아 있다는 것을 훈련생에게 경고할 것이다. STSS는 또한 데이터베이스(11)로부터의 커리큘럼 콘텐츠를 프로시저 중 이 실수와 상관되는 훈련생에게 전달할 수도 있다.

모델 내에 다수의 장기가 존재하는 경우, 훈련생에게, 그/그녀가 인접한 장기의 주변 공간에 잘못 진입하였거나 또는 손상을 입혔는지를 통지하기 위해 인접한 장기 내에 센서가 제공될 수도 있다. 예를 들면, 도 1c를 참조하여 상기에서 논의되는 바와 같이, 트레이닝 세션이 유방 모델에 기초하는 경우, 유방에 대해 해부학적으로 정확한 위치에 폐 모델이 배치될 수도 있다. 폐를 찌르는 것은 외과적 응급 상황으로 간주된다. 따라서, 훈련생이 고의로 또는 무의식적으로 폐에 구멍을 내는 경우 활성화되는 센서가 폐에 제공될 수도 있다. 그러한 센서가 활성화되면, STSS는 훈련생이 시정 조치를 취할 추가적인 지시와 함께 또는 그 지시 없이 폐 천공의 텍스트 및/또는 가청 경고(audible alert)를 발행할 수도 있다. 시정 조치가 취해져야 하는 경우, 훈련생이 STSS 프로그래밍된 승인된 수술 시정 조치 프로토콜에 따라 행동했는지를 결정하기 위해, 그러한 조치는 (예를 들면, 비디오 및/또는 다른 큐에 의해) 분석되고 타이밍이 확인될 수도 있다.

STSS 프로그래밍은 훈련생에게 세션 동안 임의의 시간에 트레이닝 세션을 계속할 것을 지시할 수도 있다. 예를 들면, 프로그래밍은 종양(42)을 흡인하기(retract) 위해 흡입 튜브(52) 및 겸자(54)를 사용하기 위한 지시를 훈련생에게 제공할 수도 있다. 훈련생이 흡입 튜브(52) 및/또는 겸자(54)의 사용을 통해 종양을 흡인할 때, 종양(42) 내에 임베딩되는 압력 센서(56)가 가압되어 활성화될 수도 있다. STSS 프로그래밍은 정확한 흡인 압력을 나타내는 문턱 압력 값을 포함할 수도 있다. 종양 압력 센서(56)로부터의 낮은 신호에 기초하여 불충분한 흡인이 발생하는 경우, STSS는, 예를 들면, 더 많은 흡인을 수행하기 위해 흡입 튜브(52)를 사용하도록 훈련생에게 경고를 제공할 수도 있다.

이 종양 절제 트레이닝 세션은 종양 제거를 위한 프로시저의 일부로서 혈관(44)의 결찰(ligation)을 요구하도록 STSS에서 프로그래밍될 수도 있다. STSS 프로그래밍은, 센서(58)가 문턱 압력을 감지하는 경우 혈관의 결찰을 인식할 것이다. 혈관(44) 주위가 봉합되지만 충분히 조여지지 않은 경우, STSS 프로그래밍은, 예를 들면, 추가적인 출혈을 방지하기 위해, 봉합을 다시 행하거나 또는 조일 것을 훈련생에게 지시할 수 있다.

도 6a 및 도 6b는 신장 종양 절제 트레이닝을 위해 의도되는 수술 모형 모델(60)에서 제공되는 모델 큐의 예를 예시한다. 신장 종양 모델(60)은 (예를 들면, AR 헤드셋(12)의 일부를 형성하는 바코드 판독기를 사용하여 또는 도 1에서 보이는 23a 또는 23b와 같은 분리된 바코드 스캐너를 사용하여) 바코드(62)를 스캐닝하는 것에 의해 STSS 프로그래밍에 의해 식별된다. 바코드(62)는 STSS 프로그래밍으로 하여금 특정한 수술 트레이닝 세션(이 예에서는, 신장 종양 절제)에 매치되는 훈련생 커리큘럼 콘텐츠를 제공하게 할 수도 있다. 바코드(62)는 모델 큐로서 모델 타입 마킹의 많은 가능한 예 중 하나이다는 것을 유의한다. 상에서 논의되는 바와 같이, 센서 검출 가능 마킹의 다른 예는, 그러한 마킹이 실제 수술 프로시저에서 나타나지 않을 것이기 때문에 다르게는 비현실적인 트레이닝 경험을 생성할 수도 있는 마킹을 훈련생이 알아차리는 것을 방지하기 위해, 마킹과 모델 기판 및/또는 사람의 가시 스펙트럼 밖의 잉크 또는 다른 착색제 사이의 미묘한 컬러 구별을 포함한다.

시뮬레이션된 신장 종양(64) 및 그 경계는, 종양(64)과 종양(64)을 둘러싸는 신장 모델 기질(60) 사이의 감지된 컬러 차이에 의해 STSS 프로그래밍에 의해 식별될 수도 있다. 신장 모델(60)의 가장자리(이것은 실제 신장에서 통상적으로 지방에 의해 덮여 있음)는 검출되는 고유한 마킹을 가지며 신장의 이 부분이 노출되었다는 것을 STSS 프로그래밍에게 통지한다. 훈련생은, 누락된 병변 또는 다른 이상이 없다는 것을 보장하기 위해, 수술 동안 전체 신장을 평가하도록 요구 받는다. STSS 프로그래밍에 의해 마킹(66)이 검출될 때까지, STSS는 훈련생에게 신장을 "드러내거나" 또는 "노출시킬" 것을 지시한다.

종양(64)의 절제 동안, 훈련생은 신장 동맥(68a) 및 신장 정맥(68b)을 식별해야만 한다. STSS 프로그래밍은 동맥(68a)에만 임시 클립(70)을 배치하기 위한 지시를 훈련생에게 제공한다. (모델 큐 및/또는 ID-모션 큐 및/또는 스틸 이미지/비디오 큐 중 임의의 하나 이상에 의해 검출되는 바와 같이) 잘못 배치되는 경우, STSS 프로그래밍은, 클립이 부적절하게 배치되었다는 지시를 훈련생에게 제공할 수도 있고 및/또는 클립(70)을 올바른 위치로 이동하기 위한 지시를 훈련생에게 제공할 수도 있다. 예를 들면, 훈련생이 클립을 정맥(68b)에 배치한 경우, 이것은 (예를 들면, 정맥(68b) 내에 또는 상에 배치되는 센서에 의해 또는 카메라를 통한 시각적 입력에 의해) 검출될 것이고 STSS 프로그래밍은 그것을 의료적 응급 상황으로 식별할 것인데, 정맥 상에서의 배치는 신장으로 하여금 혈액 유입을 가지지만 그러나 혈액 유출을 가지지 않게 하여, 잠재적으로 신장으로 하여금 파괴되게 할 것이기 때문이다. 더구나, 올바른 클립 위치는 혈관에 대해 수직이고 클립의 끝은 혈관의 가장자리를 교차해야 한다. 육안 검사(visual inspection)(예를 들면, 클립과 혈관 사이의 컬러 차이)는, STSS가, 동맥에 대한 클립의 임의의 중첩 및 상대적 배치를 평가하는 것을 허용할 수도 있다.

도 6b를 참조하면, 잔여 종양이 참조 번호(64')에 의해 나타내어진다. STSS 프로그래밍은, 주변 영역으로부터의 나머지 컬러 구별과 같은 시각적 데이터(예를 들면, 스틸 이미지/비디오 큐)에 기초하여 잔여 종양(64')을 인식할 수도 있다. 그 다음, STSS 프로그래밍은 모든 잔여 종양(64')이 제거될 때까지 종양 절제를 계속할 것을 훈련생에게 지시할 수도 있다. 수신된 큐에 의해 인식되는 바와 같이 잔여 종양(64')이 완전히 제거된 이후(예를 들면, 시각적 데이터에서 어떠한 잔여 컬러 구별도 보이지 않음), 그 다음, STSS 프로그래밍은 트레이닝 세션을 계속하고 임시 클립(70)을 제거하여 신장으로의 혈류를 복원할 것을 훈련생에게 지시할 수도 있다.

도 7은 쉽게 이용 가능한 머신 러닝 소프트웨어를 사용하여 STSS를 트레이닝시키기 위한 프로세스를 예시한다. STSS 트레이닝은, 이미지 프로세스 트레이닝을 위해 머신 러닝 소프트웨어를 사용하는 것에 의해 (예를 들면, 봉합 품질을) 식별함에 있어서 주목하는 큐를 취하는 것에 의해 수행되는 오프라인 프로세스이다.

도 8에서, 도 7에서 도시되는 바와 같이 생성되는 사전 프로세싱된 이미지 특성 데이터는, 이미지가 특정한 오브젝트 또는 이미지 특성일 가능성의 확률론적 추정을 제공하기 위해, 다수(통상적으로 수백 개)의 GPU(일반화된 프로세싱 유닛) 및/또는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array)(들)(FPGA(s)) 내의 다수의 애플리케이션 고유의 디지털 로직 엘리먼트, 및/또는 주문형 집적 회로(Application Specific Integrated Circuit; ASIC)에 의해 실시간으로 사용된다. 이 실시간 이미지 프로세싱 접근법은, 수술 진척도가 큐를 사용하여 식별되는 것, STSS에 의해 해석되는 것, 및 시뮬레이션 활동 동안 트레이닝을 제공하기 위한 적절한 지시를 제공하는 것을 허용한다. 이 예에서, 큐는 사용자의 손이고 기구는 큐이다. 오브젝트의 타입 및 오브젝트를 사용하는 기법 둘 모두는 분석되고, 그 다음, 필요한 것으로 간주되면 컴퓨터에 의해 수정된다.

도 9는 본 발명의 한 실시형태에 따른 신경망을 사용하여 머신 및 딥 러닝을 위해 컴퓨터를 트레이닝시키는 흐름도이다. 절개 간격은 사용자 기법의 검출을 위한 예로서 사용된다. 제1 박스는 큐 수신기에 대한 입력(AR 헤드셋 비디오로부터의 이미지의 스택)을 나타낸다. 신경망은 학습된 이미지 데이터베이스에 기초하여 봉합 패턴을 분류하고 봉합사 사이의 이격 간격을 결정한다. 간격은 초보자/전문가 사용 데이터에 대해 비교되며 출력은 백분위 수와 같은 수행 점수이다. 그 다음, 허용 가능한 봉합사 간격 및 에러에 대한 설정된 문턱치는, 봉합 품질 및 수용 가능성을 사용자에게 통지할 것을 STSS에게 촉구한다.

도 10은 본 발명의 실시형태에 따른 머신/딥 러닝을 사용한 실시간 오브젝트/신호 검출의 흐름도이다;

도 11a 및 도 11 b는, 다양한 시스템 출력 및 프롬프트를 생성하기 위해 STSS에 의해 사용될 수 있는 주목하는 영역(area of interest; AOI)에서 "Y" 개의 오브젝트/신호를 식별하기 위해 다수의 GPU, ASIC 및/또는 FPGA 상에서 병렬로 실행되는 도 9의 프로세스의 "N" 개의 인스턴스를 묘사하는 의사 결정 트리를 예시한다. 추가적으로, 이미지는 분류되고 점수가 매겨져 지표를 위해 그리고 성능 지수(figures of merit)를 위해 사용될 수 있다. 예를 들면, 향상된 수술 결과를 위해 바람직한 것으로 공지되어 있는 봉합사 간격, 상처 갭 또는 다른 수술 특성과 같은 특성. 예를 들면, 성능 지수는 우수(excellent), 양호(good), 보통(fair) 및 불량(poor)일 수 있다. 이 프로세싱은, 시뮬레이션된 이미지 및/또는 신호에 대해 일반적으로 30-100 Hz에서 실행되는 프레임 레이트("M")에서 반복적으로 수행된다. 각각의 프레임 동안, 머신 러닝을 활용하여 오브젝트 검출이 수행되고, 검출되는 오브젝트에 기초하여 지시 콘텐츠를 디스플레이/통고하는 프로세스가 후속된다. 다음으로, 분류된 오브젝트 및 신호는, 사후 프로시저 지시 재생(post procedure instructional playback)을 위해 타임스탬프가 찍혀(timestamped) 데이터베이스에 저장된다. 마지막으로, 사용되지 않은 프로세싱 시간을 고려하는 "타임 버너(time burner)" 과제가 실행될 것이고, 초당 M 프레임의 레이트에서 프로세싱을 동기화한다.

도 12는 수술 프로시저에서 훈련생에게 다음 단계를 촉구하기 위해 AR 헤드셋(12) 상에서 지시가 어떻게 렌더링될 수도 있는지를 예시한다. 기점 및/또는 바코드는 수술 시야 내의 검출된 오브젝트의 위치를 추정하기 위해 사용된다. 신호/오브젝트 검출 단계 동안 검출되는 오브젝트는 주목하는 영역의 이미지 상에 오버레이될 수 있고 훈련생(10)이 볼 수도 있도록 AR 헤드셋(12) 상에서 디스플레이될 수 있다. 예를 들면, 수술 훈련생이 봉합을 학습하고 있는 경우, 그들의 봉합 기술의 그들의 순간적인 점수 또는 성능 지수를 도시하는 오버레이가 렌더링될 수 있다. 예를 들면, 훈련생은 HCI를 통해 "다음의 단계로의 진행 지시"와 같은 음성 프롬프트 입력을 제공할 수 있다. 추가적으로, 머신 러닝은 또한, 훈련생이 트레이닝 세션의 특정한 단계에 대해 올바른 기구를 사용하고 있는지 또는 그렇지 않은지의 여부를 검출할 수 있고, 올바른 기구를 훈련생에게 가르쳐줄 수 있다.

도 13은 재생/디브리핑(debrief) 모드 동안 나중의 리트리브를 위해 검출된 오브젝트에 타임스탬프를 배치하고 그들을 데이터베이스에 저장하는 로그 이미지/신호를 예시한다.

도 14는 타임스탬프식 데이터베이스(time-stamped database)로부터의 시간 동기화된 AR 비디오/오디오/신호 및 물리적 시뮬레이션된 장기를 사용하여 트레이닝 세션을 리트리브하는 지시 재생 모드를 예시한다. 재생은 트레이닝 세션의 임의의 부분에서 훈련생과의 상호 작용식 방식으로 시작될 수 있다. 예를 들면, 사용자는 마음대로 재생을 일시 중지할 수 있거나, 트레이닝 세션 동안 특정한 시간으로 점프할 수 있거나, 검출된 오브젝트의 다음 인스턴스로 점프할 수 있거나, 또는 재생 세션을 종료할 수 있다. 리포트는 기록/재생 세션의 끝에서 생성될 것이고 메트릭, 점수 및 최종 리포트 기록을 포함할 수 있다.

본 발명의 장치, 방법 및 시스템이 그들의 소정의 바람직한 실시형태를 참조하여 도시되고 설명되었지만, 설명되는 바와 같은 본 발명의 취지 및 범위로부터 벗어나지 않으면서, 형태 및 상세에서의 다양한 변경예가 그 안에서 이루어질 수도 있다는 것이 기술 분야의 숙련된 자에 의해 이해될 것이다.

Claims (22)

1. 수술 트레이닝 시스템(surgical training system)으로서,
   a) 인간 또는 동물의 해부학적 부분(anatomical part)의 모델;
   b) 상기 모델에 부착되는 하나 이상의 센서 - 상기 하나 이상의 센서는 활성화 입력(activation input)을 수신하는 것에 응답하여 신호를 방출하도록 동작가능함 - ;
   c) 상기 하나 이상의 센서로부터 전자 신호들을 수신하도록 적응(adapt)되는 하나 이상의 전자 입력 및 출력 채널 및/또는 광학 입력 및 출력 채널을 갖는 증강 현실 헤드셋(augmented reality headset);
   d) 상기 증강 현실 헤드셋 및/또는 상기 하나 이상의 센서로부터 신호들을 수신하도록 동작가능한 컴퓨터 프로세서;
   e) 하나 이상의 개개의 수술 주제 컴포넌트(surgical subject matter component)가 저장되어 있는 수술 트레이닝 커리큘럼을 갖는 컴퓨터 데이터베이스; 및
   f) 상기 컴퓨터 프로세서 상에서 실행되고 상기 데이터베이스에 연결되는 소프트웨어 프로그램 - 상기 소프트웨어 프로그램은 하나 이상의 센서 신호를 상기 하나 이상의 개개의 수술 주제 컴포넌트에 상관시키도록 동작가능하고, 상기 소프트웨어 프로그램은 또한, 수신된 신호에 상관되는 상기 개개의 수술 주제 컴포넌트를 출력으로서 제공하도록 동작가능함 -
   을 포함하는, 수술 트레이닝 시스템.
2. 제1항에 있어서, 상기 하나 이상의 센서는, 상기 모델 내에 임베딩되며 상기 모델 내로 개구부를 절단할 때 노출되는 두 개 이상의 센서들을 포함하고, 상기 하나 이상의 센서는 상기 개구부 내에서 유동하는 유체와의 접촉에 응답하여 신호를 방출하도록 동작가능한 것인, 수술 트레이닝 시스템.
3. 제2항에 있어서, 상기 두 개 이상의 센서들은 상기 모델 내에 상이한 깊이들에 배치되고, 증가하는 유체 흐름을 상기 센서들의 순차적인 활성화에 의해 감지하도록 동작가능한 것인, 수술 트레이닝 시스템.
4. 제3항에 있어서, 상기 소프트웨어 프로그램은 상기 두 개 이상의 센서들 각각을 유체의 체적량(volumetric quantity)과 상관시키도록 동작가능하고, 상기 센서들 각각은 유체의 상이한 체적량에 상관되는 것인, 수술 트레이닝 시스템.
5. 제4항에 있어서, 상기 소프트웨어 프로그램은, 상기 유체의 체적량이 미리 결정된 문턱치에 도달하는 것 또는 미리 결정된 문턱치를 초과하는 것에 응답하여 훈련생(trainee)이 인지 가능한 출력을 제공하도록 동작가능한 것인, 수술 트레이닝 시스템.
6. 제5항에 있어서, 상기 출력은 가청 경보(audible alarm) 또는 텍스트 메시지 중 하나 이상인 것인, 수술 트레이닝 시스템.
7. 제6항에 있어서, 상기 출력은 상기 증강 현실 헤드셋에서 볼 수 있는 텍스트인 것인, 수술 트레이닝 시스템.
8. 수술 트레이닝 시스템으로서,
   a) 인간 또는 동물의 해부학적 부분의 모델 - 상기 모델은 하나 이상의 큐(cue)를 가짐 - ;
   b) 상기 모델로부터 하나 이상의 큐를 수신하도록 동작가능한 큐 수신기 - 상기 큐 수신기는 큐를 수신하는 것에 응답하여 신호를 생성하도록 동작가능함 - ;
   c) 상기 큐 수신기로부터 신호들을 수신하도록 동작가능한 컴퓨터 프로세서;
   e) 하나 이상의 개개의 수술 주제 컴포넌트가 저장되어 있는 수술 트레이닝 커리큘럼을 갖는 컴퓨터 데이터베이스; 및
   f) 상기 컴퓨터 프로세서 상에서 실행되고 상기 데이터베이스에 연결되는 소프트웨어 프로그램 - 상기 소프트웨어 프로그램은 하나 이상의 수신된 신호를 상기 하나 이상의 개개의 수술 주제 컴포넌트에 상관시키도록 동작가능하고, 상기 소프트웨어 프로그램은 또한, 수신된 신호에 상관되는 상기 개개의 수술 주제 컴포넌트를 출력으로서 제공하도록 동작가능함 -
   을 포함하는, 수술 트레이닝 시스템.
9. 제8항에 있어서, 상기 큐 수신기는,
   a) 투시 광학기기(see through optics)를 갖는 투사 디스플레이 도파관(projected display waveguide);
   b) 와이파이(WiFi) 및 블루투스 연결성(Bluetooth connectivity);
   c) 카메라;
   d) 중앙 프로세싱 유닛;
   e) 단안용 기구(monocular);
   f) 쌍안용 기구(binocular);
   g) 햅틱 피드백;
   h) 음성 제어부;
   i) 운영 체제;
   j) 노이즈 캔슬링 마이크로폰; 및
   k) 온 보드 비디오 레코딩 매체(on board video recording media)
   중 하나 이상을 갖는 증강 현실 헤드셋인 것인, 수술 트레이닝 시스템.
10. 제8항에 있어서, 상기 큐 수신기는 디지털 스틸(digital still) 및/또는 비디오 카메라인 것인, 수술 트레이닝 시스템.
11. 제8항에 있어서, 상기 큐는 상기 모델에 부착되는 바코드이고 상기 큐 수신기는 바코드 스캐너인 것인, 수술 트레이닝 시스템.
12. 제8항에 있어서, 상기 소프트웨어 프로그램은 서비스로서의 소프트웨어로서 제공되는 것인, 수술 트레이닝 시스템.
13. 제8항에 있어서, 상기 출력은 컴퓨터 모니터 상에 제공되는 것인, 수술 트레이닝 시스템.
14. 제9항에 있어서, 상기 출력은 상기 증강 현실 헤드셋 상에 제공되는 것인, 수술 트레이닝 시스템.
15. 제8항에 있어서, 각각의 모델이 별개의 해부학적 모델 타입인 상기 모델들 중 두 개 이상을 더 포함하고, 상기 소프트웨어 프로그램은 상기 모델 타입들 각각에 상관되는 분리된 수술 세션 프로그램을 포함하는 것인, 수술 트레이닝 시스템.
16. 제15항에 있어서, 상기 분리된 수술 세션 프로그램은 적어도 두 개의 대안적인 수술 세션 타입들을 포함하는 것인, 수술 트레이닝 시스템.
17. 제16항에 있어서, 상기 해부학적 부분은 심장 모델 및 폐 모델을 갖는 흉부인 것인, 수술 트레이닝 시스템.
18. 제8항에 있어서, 상기 해부학적 부분은 적어도 두 개의 모델들을 포함하고, 상기 소프트웨어 프로그램은 상기 모델들 중 어느 하나로부터 수신되는 신호들에 응답하여 출력을 제공하도록 프로그래밍되는 것인, 수술 트레이닝 시스템.
19. 제16항에 있어서, 상기 모델 타입은 신장이고 상기 수술 세션 타입들은 종양 절제 수술 세션 및 생검 세션(biopsy session)을 포함하는 것인, 수술 트레이닝 시스템.
20. 수술 트레이닝 시스템으로서,
    a) 인간 또는 동물의 해부학적 부분의 모델;
    b) 상기 모델에 부착되는 하나 이상의 센서 - 상기 하나 이상의 센서는 활성화 입력을 수신하는 것에 응답하여 신호를 방출하도록 동작가능함 - ;
    c) 상기 하나 이상의 센서로부터 신호들을 수신하도록 동작가능한 컴퓨터 프로세서;
    e) 하나 이상의 개개의 수술 주제 컴포넌트가 저장되어 있는 수술 트레이닝 커리큘럼을 갖는 컴퓨터 데이터베이스; 및
    f) 상기 컴퓨터 프로세서 상에서 실행되고 상기 데이터베이스에 연결되는 소프트웨어 프로그램 - 상기 소프트웨어 프로그램은 하나 이상의 수신된 센서 신호를 상기 하나 이상의 개개의 수술 주제 컴포넌트에 상관시키도록 동작가능하고, 상기 소프트웨어 프로그램은 또한, 수신된 신호에 상관되는 상기 개개의 수술 주제 컴포넌트를 출력으로서 제공하도록 동작가능함 -
    을 포함하는, 수술 트레이닝 시스템.
21. 제20항에 있어서, 상기 센서는 근접 센서이고 상기 활성화 입력은 상기 센서에 인접하게 배치되는 수술 기구에 의해 제공되는 것인, 수술 트레이닝 시스템.
22. 동물 또는 인간의 시뮬레이션된 해부학적 모델에 대해 시뮬레이션된 수술 트레이닝 세션을 수행하기 위한 방법으로서,
    a) 동물 또는 인간의 시뮬레이션된 해부학적 모델을 제공하는 단계;
    b) 상기 시뮬레이션된 해부학적 모델에 상관되는 교육 커리큘럼을 갖는 데이터베이스에 연결되는 컴퓨터를 제공하는 단계;
    c) 상기 컴퓨터로 신호들을 전송하도록 동작가능한 하나 이상의 큐 수신기를 제공하는 단계;
    d) 상기 컴퓨터 상에 소프트웨어를 제공하는 단계 - 상기 소프트웨어는 상기 해부학적 모델에 상관되는 하나 이상의 수술 트레이닝 세션 모듈로 프로그래밍되고, 상기 소프트웨어는 상기 데이터베이스에 액세스하도록 그리고 상기 큐 수신기로부터 신호를 수신하는 것에 응답하여 상기 교육 커리큘럼을 인간이 인지 가능한 출력으로서 제공하도록 프로그래밍됨 -
    를 포함하는, 동물 또는 인간의 시뮬레이션된 해부학적 모델에 대해 시뮬레이션된 수술 트레이닝 세션을 수행하기 위한 방법.

Images