KR20220020896A - 비교 학습을 위한 시술 비디오들을 동기화하기 위한 방법 및 시스템 - Google Patents

비교 학습을 위한 시술 비디오들을 동기화하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20220020896A
KR20220020896A KR1020227000841A KR20227000841A KR20220020896A KR 20220020896 A KR20220020896 A KR 20220020896A KR 1020227000841 A KR1020227000841 A KR 1020227000841A KR 20227000841 A KR20227000841 A KR 20227000841A KR 20220020896 A KR20220020896 A KR 20220020896A
Authority
KR
South Korea
Prior art keywords
video
surgical
segment
segments
phase
Prior art date
Application number
KR1020227000841A
Other languages
English (en)
Inventor
킬로이 파블로 가르시아
자가디시 벤카타라만
Original Assignee
버브 서지컬 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버브 서지컬 인크. filed Critical 버브 서지컬 인크.
Publication of KR20220020896A publication Critical patent/KR20220020896A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/169—Systems operating in the time domain of the television signal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G11B27/323—Time code signal, e.g. on a cue track as SMPTE- or EBU-time code
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 명세서에 기술된 실시예들은 2개의 시술 비디오들, 특히 비교 학습을 위한 2개의 외과적 시술 비디오들을 준비하는 다양한 예들을 제공한다. 일부 실시예들에서, 2개의 기록된 수술 비디오들의 비교 학습을 허용하기 위해, 2개의 기록된 수술 비디오들 각각은 일정 시퀀스의 미리정의된 페이즈들/단계들로 세그먼트화된다. 다음으로, 2개의 세그먼트화된 비디오들의 대응하는 페이즈들/단계들은 페어와이즈 방식으로 개별적으로 시간-동기화되어, 2개의 기록된 비디오들의 비교 재생 동안, 하나의 기록된 비디오의 주어진 페이즈/단계 및 다른 세그먼트화된 비디오의 대응하는 페이즈/단계가 동일한 또는 실질적으로 동일한 시작 시간 및 종료 타이밍을 가질 수 있게 한다. 개시된 비교 학습 기술들은 대체적으로, 일정 시퀀스의 미리정의된 페이즈/단계들로 분류될 수 있는 임의의 유형의 시술 비디오들에 적용될 수 있고, 일정 시퀀스의 미리정의된 페이즈들/단계들 중의 각각의 세그먼트화된 페이즈/단계에서 하나의 그러한 시술 비디오를 동일한 유형의 다른 시술 비디오에 동기화/종속시키도록 적용될 수 있다.

Description

비교 학습을 위한 시술 비디오들을 동기화하기 위한 방법 및 시스템
본 발명은 대체적으로 외과적 시술 비디오 분석 툴들을 구축하는 것에 관한 것으로, 보다 구체적으로는, 주어진 외과적 시술의 수술 비디오들을 동기화시켜서 수술 비디오들이 비교 학습을 위한 외과적 시술의 일정 시퀀스의 미리정의된 페이즈(phase)들에서 자동으로 동기화된 채로 재생될 수 있도록 하기 위한 시스템들, 디바이스들 및 기술들에 관한 것이다.
수술들과 같은 의료 시술들의 기록된 비디오들에는 의료 교육 및 훈련, 수술들의 품질 및 외과의들의 숙련도의 평가 및 분석, 수술들의 결과들 및 외과의들의 숙련도의 향상을 위한 매우 가치 있고 풍부한 정보가 포함되어 있다. 외과적 시술들의 비디오 이미지들을 디스플레이하고 캡처하는 것을 수반하는 많은 외과적 시술들이 있다. 예를 들어, 내시경 검사, 복강경 검사, 및 관절경 검사와 같은 거의 모든 최소 침습 시술들(MIS)은 외과의들을 돕기 위해 비디오 카메라들 및 비디오 이미지들을 사용하는 것을 수반한다. 또한, 최신 로봇-지원 수술들은 수술중 비디오 이미지들이 캡처되고 외과의들을 위한 모니터들 상에 디스플레이될 것을 요구한다. 결과적으로, 많은 전술된 외과적 시술들, 예컨대, 위 절제술 또는 담낭 절제술을 위해, 수술 비디오들의 대용량 캐시가 이미 존재하며 상이한 병원들의 많은 상이한 외과의들에 의해 수행된 수많은 외과적 사례들의 결과로서 계속해서 생성되고 있다.
기록된 외과적 시술 비디오는 외과의의 수술 품질 및 숙련도를 평가하고 분석하는 데 사용될 수 있다는 것이 잘 허용된다. 그러나, 외과의가 외과적 시술 비디오에 대해 기록된 소정 외과적 태스크들을 수행하는 것을 그저 시청함으로써, 외과의의 성과를 객관적으로 평가하는 것은 상당히 어려울 수 있는데, 그 이유는 외과의가 각각의 외과적 태스크에서 양호한 직무를 행했는지 여부를 판단하기 위한 명쾌한 기준 또는 메트릭이 없기 때문이다. 상기 기술에 대한 개선으로서, 비교 학습 기술은, 전문가가, 2인의 외과의들에 의해 수행되는 2개의 수술 비디오들을 동시에 시청하는 것, 2인의 외과의들의 기술들을 시각적으로 비교하는 것, 및 2인의 외과의들에 의해 수행되는 외과적 태스크들에 대한 점수들을 더 객관적으로 할당하는 것을 수반한다. 상기 기술들에 대한 추가 개선으로서, 다른 비교 학습 기술은 하기의 2개의 기록된 시술 비디오들이 나란히 재생되는 것을 수반한다: 제1 비디오는 외과적 시술의 전문가에 의해 수행되는 기준 비디오인 반면; 제2 비디오는 제2 외과의에 의해 수행되는 평가 비디오이다. 또한, 전문가는 2개의 나란히 있는 비디오들을 동시에 시청하도록 과제를 부여받고, 전문가의 기술들에 대비하여 제2 외과의의 기술들을 비교하고, 후속적으로, 제2 비디오 내의 제2 외과의와 제1 비디오 내의 전문가의 직접적인 비교에 기초하여 제2 외과의에게 숙련도 점수를 할당한다.
본 특허 개시물은 2개의 시술 비디오들, 특히 비교 학습을 위한 2개의 외과적 시술 비디오들을 준비하는 다양한 실시예들을 제공한다. 일부 실시예들에서, 2개의 기록된 수술 비디오들의 비교 학습을 허용하기 위해, 2개의 기록된 수술 비디오들 각각은 일정 시퀀스의 미리정의된 페이즈들/단계들로 세그먼트화된다. 다음으로, 2개의 세그먼트화된 비디오들의 대응하는 페이즈들/단계들은 페어와이즈(pair-wise) 방식으로 개별적으로 시간-동기화되어, 예컨대 2개의 나란히 있는 모니터들 상에서의 2개의 기록된 비디오들의 비교 재생 동안, 하나의 세그먼트화된 비디오의 주어진 페이즈/단계 및 다른 세그먼트화된 비디오의 대응하는 페이즈/단계가 동일한 또는 실질적으로 동일한 시작 시간 및 종료 타이밍을 가질 수 있게 한다.
일부 실시예들에서, 제안된 비교 학습 기술들은 또한, 나란히 있는 기록된 비디오 및 라이브 비디오 피드의 비교 재생 및 관찰을 포함한다. 그렇게 하기 위해, 기록된 비디오는 재생 전에 일정 시퀀스의 미리정의된 단계들로 세그먼트화될 수 있다(즉, 오프라인으로 처리됨). 다음으로, 라이브 연습 세션 동안, 제안된 기술들은, 라이브 비디오 피드에서 미리정의된 단계들을 실시간으로 식별하기 위한, 그리고 후속적으로, 기록된 비디오에서의 미리정의된 단계의 재생을 라이브 비디오 피드에서 식별된 대응하는 미리정의된 단계에 종속시키기 위한 메커니즘을 제공한다. 이러한 방식으로, 기록된 비디오는 일정 시퀀스의 미리정의된 단계들을 통해 사람이 기록된 비디오 내의 액션들을 모사하는 것을 묘사하는 라이브 비디오 피드를 일시정지시킬 수 있고, 그것을 재시작할 수 있고, 그것의 속도를 따라갈 수 있다.
일 태양에서, 2개의 외과적 시술 비디오들을 동기화시키기 위한 프로세스가 개시된다. 이러한 프로세스는 외과적 시술의 제1 수술 비디오 및 동일한 외과적 시술의 제2 수술 비디오를 수신함으로써 시작될 수 있으며, 여기서 외과적 시술은 일정 시퀀스의 미리정의된 페이즈들을 포함한다. 프로세스는, 다음으로, 제1 및 제2 수술 비디오들 각각에 대해 페이즈 세그먼트화 동작을 수행하여, 제1 및 제2 수술 비디오들을 일정 시퀀스의 미리정의된 페이즈들에 대응하는 제1 세트의 비디오 세그먼트들 및 제2 세트의 비디오 세그먼트들로 세그먼트화한다. 다음으로, 프로세스는 일정 시퀀스의 미리정의된 페이즈들 중의 하나의 미리정의된 페이즈에 대응하는 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트를 동일한 미리정의된 페이즈에 대응하는 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시킨다. 프로세스는, 후속적으로, 비교 관찰을 위해, 제1 및 제2 세트들의 동기화된 비디오 세그먼트들을 포함하는 제1 및 제2 수술 비디오들을 디스플레이 시스템으로 출력한다.
일부 실시예들에서, 프로세스는, 하기에 의해 제1 또는 제2 수술 비디오를 제1 또는 제2 세트의 비디오 세그먼트들로 세그먼트화한다: 일정 시퀀스의 미리정의된 페이즈들 중의 각각의 페이즈에 대해, 제1 또는 제2 수술 비디오 내의 페이즈의 시작을 표현하는, 제1 또는 제2 수술 비디오 내의 제1 페이즈 경계를 식별하는 것; 제1 또는 제2 수술 비디오 내의 페이즈의 종료를 표현하는, 제1 또는 제2 수술 비디오 내의 제2 페이즈 경계를 식별하는 것; 및 제1 또는 제2 수술 비디오의 제1 페이즈 경계와 제2 페이즈 경계 사이의 비디오 세그먼트를 주어진 페이즈에 대응하는 비디오 세그먼트로서 출력하는 것. 제1 또는 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트는 대응하는 세트의 비디오 프레임들을 포함한다는 것에 유의한다.
일부 실시예들에서, 프로세스는, 기계 학습 엔진을 사용하여, 외과적 시술 내의 대응하는 페이즈의 시작 또는 종료를 나타내는, 제1 또는 제2 수술 비디오에서의 외과적 이벤트를 검출함으로써 제1 또는 제2 수술 비디오 내의 제1 또는 제2 페이즈 경계를 식별한다.
일부 실시예들에서, 프로세스는, 하기에 의해 제1 수술 비디오의 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트를 제2 수술 비디오의 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시킨다: 제1 수술 비디오의 비디오 세그먼트의 제1 페이즈 경계를 제2 수술 비디오의 대응하는 비디오 세그먼트의 제1 페이즈 경계에 시간-정렬시키는 것; 및 제1 재생 속도를 사용한 비디오 세그먼트의 제1 재생 시간이 제2 재생 속도를 사용한 대응하는 비디오 세그먼트의 제2 재생 시간과 같거나 실질적으로 같도록 비디오 세그먼트에 대한 제1 재생 속도 및 대응하는 비디오 세그먼트에 대한 제2 재생 속도를 결정하는 것. 이러한 방식으로, 프로세스는 제1 수술 비디오의 비디오 세그먼트의 제2 페이즈 경계가 제2 수술 비디오의 대응하는 비디오 세그먼트의 제2 페이즈 경계에 시간-정렬될 수 있게 한다.
일부 실시예들에서, 프로세스는, 하기에 의해 제1 수술 비디오의 제1 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트를 제2 수술 비디오의 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시킨다: 주어진 비디오 세그먼트 내에 포함된 비디오 프레임들의 제1 개수를 결정하는 것; 대응하는 비디오 세그먼트 내에 포함된 비디오 프레임들의 제2 개수를 결정하는 것; 및 비디오 프레임들의 제1 개수 및 제2 개수에 기초하여 주어진 비디오 세그먼트를 재생하기 위한 제1 프레임 레이트 및 대응하는 비디오 세그먼트를 재생하기 위한 제2 프레임 레이트를 결정하여, 제1 프레임 레이트를 사용한 주어진 비디오 세그먼트의 제1 재생 시간이 제2 프레임 레이트를 사용한 대응하는 비디오 세그먼트의 제2 재생 시간과 같거나 실질적으로 같게 하는 것.
일부 실시예들에서, 제1 프레임 레이트는 제1 수술 비디오의 모든 비디오 세그먼트들에 대한 일정한 프레임 레이트이고, 여기서 제2 프레임 레이트는 일정한 프레임 레이트, 및 비디오 프레임들의 제1 개수 및 제2 개수에 기초하여 계산된다.
일부 실시예들에서, 제1 수술 비디오는 기준 비디오이고, 프로세스는, 하기에 의해 제1 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트를 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시킨다: 제1 세트의 비디오 세그먼트들 중의 모든 비디오 세그먼트들에 대해 일정한 재생 속도를 할당하는 것; 및 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트에 대해, 일정한 재생 속도를 사용할 때의 제1 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트의 재생 시간에 기초하여 조정가능한 재생 속도를 할당하는 것. 보다 구체적으로, 조정가능한 재생 속도는, 일정한 재생 속도를 사용할 때의 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간이 조정가능한 재생 속도를 사용한 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간과 같거나 실질적으로 같게 하기 위해 제2 세트의 비디오 세그먼트들 중의 비디오 세그먼트의 재생을 가속하거나 감속하도록 구성된다.
일부 실시예들에서, 프로세스는, 하기에 의해 제1 및 제2 수술 비디오들의 비교 관찰을 수행한다: 제1 수술 비디오를 제1 모니터로, 그리고 제2 수술 비디오를, 제1 모니터 다음에 위치된 제2 모니터로 출력하는 것; 및 제1 모니터 상에서의 제1 수술 비디오의 재생 및 제2 모니터 상에서의 제2 수술 비디오의 재생을 동시에 시작하는 것. 2개의 세트들의 동기화된 비디오 세그먼트들에 기초하여 제1 수술 비디오 및 제2 수술 비디오를 재생하는 것은, 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생을 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트의 재생에 자동으로 동기화시킨다는 것에 유의한다.
일부 구현예들에서, 제1 모니터 상에서의 제1 수술 비디오의 재생은 제2 모니터 상에서의 제2 수술 비디오의 재생이 종료됨과 동시에 또는 실질적으로 동시에 종료된다.
일부 실시예들에서, 프로세스는, 하기에 의해 제1 및 제2 수술 비디오들의 비교 관찰을 수행한다: 제1 및 제2 수술 비디오들을 조합함으로써 분할 스크린 비디오를 생성하는 것 - 제1 및 제2 수술 비디오들 내의 대응하는 비디오 세그먼트들은 분할 스크린 비디오 내의 대응하는 페이즈 경계들에서 시간-정렬됨 -; 및 제1 및 제2 수술 비디오들이 일정 시퀀스의 미리정의된 페이즈들 각각에서 나란히 재생되고 서로 시간-정렬되게 하기 위해 모니터 상에서 분할 스크린 비디오를 재생하는 것.
다른 태양에서, 2개의 외과적 시술 비디오들을 동기화시키기 위한 시스템이 개시된다. 이러한 시스템은 하기를 포함할 수 있다: 하나 이상의 프로세서들; 하나 이상의 프로세서들에 커플링된 메모리; 외과적 시술에 대한 일정 시퀀스의 미리정의된 페이즈들에 기초하여 동일한 외과적 시술의 제1 수술 비디오 및 제2 수술 비디오를 각각 제1 세트의 비디오 세그먼트들 및 제2 세트의 비디오 세그먼트들로 세그먼트화하도록 구성된 세그먼트화 모듈; 일정 시퀀스의 미리정의된 페이즈들 중의 하나의 미리정의된 페이즈에 대응하는 제1 세트의 비디오 세그먼트들 중의 비디오 세그먼트를 동일한 미리정의된 페이즈에 대응하는 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 구성된 동기화 모듈; 및 비교 관찰을 위해 동기화된 비디오 세그먼트들을 디스플레이 시스템으로 출력하도록 구성된 출력 모듈.
일부 실시예들에서, 세그먼트화 모듈은, 하기에 의해 제1 수술 비디오 또는 제2 수술 비디오를 세그먼트화하도록 구성된다: 일정 시퀀스의 미리정의된 페이즈들 중의 각각의 페이즈에 대해, 제1 또는 제2 수술 비디오 내의 페이즈의 시작을 표현하는, 제1 또는 제2 수술 비디오 내의 제1 페이즈 경계를 식별하는 것; 제1 또는 제2 수술 비디오 내의 페이즈의 종료를 표현하는, 제1 또는 제2 수술 비디오 내의 제2 페이즈 경계를 식별하는 것; 및 제1 또는 제2 수술 비디오의 제1 페이즈 경계와 제2 페이즈 경계 사이의 비디오 세그먼트를 주어진 페이즈에 대응하는 비디오 세그먼트로서 출력하는 것. 제1 또는 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트는 대응하는 세트의 비디오 프레임들을 포함한다는 것에 유의한다.
일부 실시예들에서, 세그먼트화 모듈은, 기계 학습 엔진을 사용하여, 외과적 시술 내의 대응하는 페이즈의 시작 또는 종료를 나타내는, 제1 또는 제2 수술 비디오에서의 외과적 이벤트를 검출함으로써 제1 또는 제2 수술 비디오 내의 제1 또는 제2 페이즈 경계를 식별하도록 추가로 구성된다.
일부 실시예들에서, 동기화 모듈은, 하기에 의해 제1 세트의 비디오 세그먼트들 중의 비디오 세그먼트를 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 구성된다: 제1 수술 비디오의 비디오 세그먼트의 제1 페이즈 경계를 제2 수술 비디오의 대응하는 비디오 세그먼트의 제1 페이즈 경계에 시간-정렬시키는 것; 및 제1 재생 속도를 사용한 비디오 세그먼트의 제1 재생 시간이 제2 재생 속도를 사용한 대응하는 비디오 세그먼트의 제2 재생 시간과 같거나 실질적으로 같도록 비디오 세그먼트에 대한 제1 재생 속도 및 대응하는 비디오 세그먼트에 대한 제2 재생 속도를 결정하는 것. 이러한 방식으로, 동기화 모듈은 제1 수술 비디오의 비디오 세그먼트의 제2 페이즈 경계가 제2 수술 비디오의 대응하는 비디오 세그먼트의 제2 페이즈 경계에 시간-정렬될 수 있게 한다.
일부 실시예들에서, 동기화 모듈은, 하기에 의해 제1 세트의 비디오 세그먼트들 중의 비디오 세그먼트를 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 추가로 구성된다: 주어진 비디오 세그먼트 내에 포함된 비디오 프레임들의 제1 개수를 결정하는 것; 대응하는 비디오 세그먼트 내에 포함된 비디오 프레임들의 제2 개수를 결정하는 것; 및 비디오 프레임들의 제1 개수 및 제2 개수에 기초하여 주어진 비디오 세그먼트를 재생하기 위한 제1 프레임 레이트 및 대응하는 비디오 세그먼트를 재생하기 위한 제2 프레임 레이트를 결정하여, 제1 프레임 레이트를 사용한 주어진 비디오 세그먼트의 제1 재생 시간이 제2 프레임 레이트를 사용한 대응하는 비디오 세그먼트의 제2 재생 시간과 같거나 실질적으로 같게 하는 것.
일부 실시예들에서, 제1 프레임 레이트는 제1 수술 비디오의 모든 비디오 세그먼트들에 대한 일정한 프레임 레이트이고, 여기서 제2 프레임 레이트는 일정한 프레임 레이트, 및 비디오 프레임들의 제1 개수 및 제2 개수에 기초하여 계산된다.
일부 실시예들에서, 제1 수술 비디오는 기준 비디오이고, 페이즈 동기화 모듈은, 하기에 의해 제1 수술 비디오의 제1 세트의 비디오 세그먼트들 중의 주어진 페이즈 세그먼트를 제2 수술 비디오의 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 추가로 구성된다: 제1 세트의 비디오 세그먼트들 중의 모든 비디오 세그먼트들에 대해 일정한 재생 속도를 할당하는 것; 및 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트에 대해, 일정한 재생 속도를 사용할 때의 제1 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트의 재생 시간에 기초하여 조정가능한 재생 속도를 할당하는 것. 보다 구체적으로, 페이즈 동기화 모듈은, 일정한 재생 속도를 사용할 때의 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간이 조정가능한 재생 속도를 사용한 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간과 같거나 실질적으로 같게 하기 위해 제2 세트의 비디오 세그먼트들 중의 비디오 세그먼트의 재생을 가속하거나 감속하도록, 조정가능한 재생 속도를 구성한다.
일부 실시예들에서, 출력 모듈은, 제1 세트의 비디오 세그먼트들 중의 비디오 세그먼트를 제1 모니터로 그리고 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트를 제1 모니터 옆에 위치된 제2 모니터로 출력하도록; 그리고 제1 모니터 상에서의 제1 수술 비디오의 비디오 세그먼트의 재생 및 제2 모니터 상에서의 제2 수술 비디오의 대응하는 비디오 세그먼트의 재생을 동시에 시작하도록 추가로 구성된다. 2개의 동기화된 비디오 세그먼트들에 기초하여 제1 수술 비디오 및 제2 수술 비디오를 재생함으로써, 시스템은, 제1 수술 비디오의 비디오 세그먼트의 재생을 제2 수술 비디오의 대응하는 비디오 세그먼트의 재생에 자동으로 동기화시킨다.
본 발명의 구조 및 동작은 하기의 상세한 설명 및 첨부 도면을 검토함으로써 이해될 것이며, 도면에서 유사한 도면 부호들은 유사한 부분들을 지칭한다.
도 1a는 본 명세서에 기술된 일부 실시예들에 따른, M개 비디오 프레임들을 포함하는, 외과적 시술의 제1 수술 비디오를 일정 세트의 K개 비디오 세그먼트들로 세그먼트화하기 위한 예시적인 수술 비디오 세그먼트화 프로세스를 도시한다.
도 1b는 본 명세서에 기술된 일부 실시예들에 따른, N개 비디오 프레임들을 포함하는, 동일한 외과적 시술의 제2 수술 비디오를 일정 세트의 K개 세그먼트들로 세그먼트화하기 위한 예시적인 수술 비디오 세그먼트화 프로세스를 도시한다.
도 2는 본 명세서에 기술된 일부 실시예들에 따른, 비교 학습을 위해, 동일한 외과적 시술의 2개의 기록된 수술 비디오들을 시간-동기화하고 2개의 시간-동기화된 수술 비디오들을 재생하기 위한 예시적인 수술 비디오 비교 학습 시스템을 도시한다.
도 3은 본 명세서에 기술된 일부 실시예들에 따른, 비교 학습을 위해 동일한 외과적 시술의 2개의 수술 비디오들을 시간-동기화시키기 위한 예시적인 프로세스를 도시하는 흐름도를 나타낸다.
도 4는 본 명세서에 기술된 일부 실시예들에 따른, 외과적 시술의 기록된 교육용 비디오의 재생을 사람이 동일한 외과적 시술을 모사하는 것의 라이브 비디오 피드에 동기화시키기 위한 예시적인 프로세스를 도시하는 흐름도를 나타낸다.
도 5는 본 기술의 일부 실시예들이 구현될 수 있는 컴퓨터 시스템을 개념적으로 도시한다.
아래에 기재된 상세한 설명은 대상 기술의 다양한 구성들에 대한 설명으로서 의도되며, 대상 기술이 실시될 수 있는 유일한 구성들을 표현하고자 하는 것은 아니다. 첨부된 도면은 본 명세서에 통합되고, 상세한 설명의 일부를 구성한다. 상세한 설명은 대상 기술의 완전한 이해를 제공할 목적을 위한 구체적인 상세 사항들을 포함한다. 그러나, 대상 기술은 본 명세서에 기재된 구체적인 상세 사항들로 제한되지 않으며, 이들 구체적인 상세 사항들 없이 실시될 수 있다. 일부 경우들에서, 구조들 및 구성요소들은 대상 기술의 개념들을 모호하게 하지 않게 위해 블록도 형태로 도시된다.
본 특허 개시물에서, 2개의 시술 비디오들, 특히 비교 학습을 위한 2개의 외과적 시술 비디오들을 준비하는 다양한 실시예들이 개시된다. 일부 실시예들에서, 2개의 기록된 수술 비디오들의 비교 학습을 허용하기 위해, 2개의 기록된 수술 비디오들 각각은 일정 시퀀스의 미리정의된 페이즈들/단계들로 세그먼트화된다. 다음으로, 2개의 세그먼트화된 비디오들의 대응하는 페이즈들/단계들은 페어와이즈 방식으로 개별적으로 시간-동기화되어, 예컨대 2개의 나란히 있는 모니터들 상에서의 2개의 기록된 비디오들의 비교 재생 동안, 하나의 세그먼트화된 비디오의 주어진 페이즈/단계 및 다른 세그먼트화된 비디오의 대응하는 페이즈/단계가 동일한 또는 실질적으로 동일한 시작 시간 및 종료 타이밍을 가질 수 있게 한다. 일부 실시예들에서, 제안된 비교 학습 기술들은 또한, 나란히 있는 기록된 비디오 및 라이브 비디오 피드의 비교 재생 및 관찰을 포함한다. 그렇게 하기 위해, 기록된 비디오는 재생 전에 일정 시퀀스의 미리정의된 단계들로 세그먼트화될 수 있다(즉, 오프라인으로 처리됨). 다음으로, 라이브 연습 세션 동안, 제안된 기술들은, 라이브 비디오 피드에서 미리정의된 단계들을 실시간으로 식별하기 위한, 그리고 후속적으로, 기록된 비디오에서의 미리정의된 단계의 재생을 라이브 비디오 피드에서 식별된 대응하는 미리정의된 단계에 종속시키기 위한 메커니즘을 제공한다. 이러한 방식으로, 기록된 비디오는 일정 시퀀스의 미리정의된 단계들을 통해 라이브 비디오 피드를 일시정지시킬 수 있고, 그것을 재시작할 수 있고, 그것의 속도를 따라갈 수 있다.
외과적 시술 비디오들(또는, 이하, "수술 비디오들")이 일종의 시술 비디오들을 표현하며, 여기서 각각의 비디오는 일정 시퀀스의 미리정의된 외과적 단계들 또는 페이즈들로 분류될 수 있고, 여기서 일정 시퀀스의 미리정의된 페이즈들 중의 각각의 페이즈는 전체 외과적 시술에서 고유한 그리고 구별가능한 목적에 도움이 되는 외과적 시술의 특정 스테이지를 표현한다는 것에 유의한다. 일부 실시예들에서, 본 명세서에 기술된 주어진 수술 비디오는, 특히 외과적 시술의 수술 중 기간 동안 기록된다. 미리정의된 시퀀스의 페이즈들은 초기에, 주어진 외과적 시술 내의 핵심적인 페이즈들을 식별하는 수술 정보 관리 시스템(information management system, IMS)으로부터 취출가능한 잘 인식되고/되거나 표준화된 수술 절차에 기초하여 확립될 수 있다. 일정 시퀀스의 미리정의된 페이즈들 및 외과적 페이즈 세그먼트화 엔진(또는 이하, "페이즈 세그먼트화 엔진")을 사용하면, 상당히 긴 비디오일 수 있는 수술 비디오가 일정 세트의 더 짧은 비디오 세그먼트들로 세그먼트화될 수 있고, 각각의 비디오 세그먼트는, 외과적 시술의 다른 페이즈들에 대응하는 다른 비디오 세그먼트들과 구별가능한 외과적 시술의 특정 페이즈에 대응한다. 일부 실시예들에서, 페이즈 세그먼트화 엔진은 주어진 미리정의된 페이즈를 일정 시퀀스의 서브페이즈들로 추가로 분류할 수 있으며, 여기서 서브페이즈들 각각은 주어진 미리정의된 페이즈 내에서 수행되는 일정 시퀀스의 태스크들 중의 단일 태스크에 대응한다. 그러한 실시예들에서, 수술 비디오의 페이즈 세그먼트를 주어진 페이즈 내의 개별 태스크들에 대응하는 훨씬 더 작은 세그먼트들로 추가로 분할하는 것이 가능하다. 페이즈 세그먼트화 엔진의 더 상세한 동작은 2018년 5월 23일자로 출원된 관련 특허 출원 제15/987,782호에서 설명되었으며, 그 내용은 본 명세서에 참고로 포함된다.
2개의 기록된 비디오들 사이의 비교 학습
위 절제 시술 또는 담낭 절제술과 같은 동일한 외과적 시술에 대응하는 2개의 기록된 수술 비디오들이, 전형적으로, 동일한 시퀀스의 미리정의된 페이즈들 또는 스테이지들을 포함한다는 것에 유의한다. 예를 들어, 2개의 기록된 비디오들은, 동일한 외과의가 2인의 상이한 환자들에 대해 동일한 외과적 시술을 수행하는 것으로부터, 또는 2인의 상이한 외과의들이 2인의 상이한 환자들에 대해 동일한 외과적 시술을 수행하는 것으로부터 생성될 수 있다. 상기 시나리오들 각각에서, 예컨대 2개의 모니터가 나란히 있는 셋업(two-monitor side-by-side setup)에서, 2개의 기록된 비디오들을 비교 재생하고 관찰함으로써 2개의 상이한 수술들에서의 동일한 외과의의 수행들 또는 2인의 상이한 외과의들이 동일한 시술을 행하는 것을 비교하는 것이 유익할 수 있다. 또한, 상기 시나리오들 각각에서, 2개의 기록된 비디오들이 동일한 시퀀스의 미리정의된 페이즈들로 구성될 수 있지만, 2개의 비디오들 내의 한 쌍의 대응하는 비디오 세그먼트들은 비디오 프레임들의 길이들 및 개수들이 상이할 수 있다는 것에 유의한다. 따라서, 2개의 기록된 비디오들이 개별 페이즈들에서 시간-동기화되지 않는 경우, 비교 관찰은 관찰자가 2개의 비디오들 중 하나를 (예컨대, 제1 비디오가 제2 비디오에 앞서 페이즈 1을 완료할 때) 수동으로 일시정지하고 (예컨대, 제2 비디오가 언젠가 나중에 페이즈 1을 완료할 때) 재시작할 것을 요구할 것이고, 대응하는 페이즈들에서 2개의 비디오들의 재생들을 동기화시키기 위해 2개의 비디오들 사이에서 왔다갔다 할 것이다.
주어진 외과적 시술의 2개의 기록된 비디오들의 자동화된 비교 재생 및 관찰(본 특허 개시물에서 "비교 학습"으로도 지칭됨)을 가능하게 하기 위해, 본 특허 개시물의 일부 실시예들은 먼저, 대응하는 페이즈 세그먼트화 엔진을 2개의 기록된 비디오들에 적용하여, 2개의 비디오들 각각을 일정 시퀀스의 미리정의된 페이즈들로 분류/세그먼트화한다. 예를 들어, 제1 기록된 비디오 V 1은 주어진 외과적 시술에 대해 일정 시퀀스의 N개 미리정의된 페이즈들(예컨대, N = 6 또는 8)에 대응하는 일정 세트의 N개 비디오 세그먼트들로 세그먼트화될 수 있고, 제2 기록된 비디오 V 2는 또한, 동일한 외과적 시술에 대해 동일한 시퀀스의 N개 미리정의된 페이즈들(예컨대, N = 6 또는 8)에 대응하는 일정 세트의 N개 비디오 세그먼트들로 세그먼트화될 수 있다. 게다가, V 1 또는 V 2 내의 각각의 식별된 외과적 페이즈에 대해, 대응하는 비디오 세그먼트의 2개의 페이즈 경계들, 즉 시작 타임스탬프 및 종료 타임스탬프가 또한, 페이즈 세그먼트화 엔진에 의해 결정될 수 있다. 2개의 기록된 비디오들 각각에서의 N개 미리정의된 페이즈들이 서로 동일하지만, 2개의 기록된 비디오들에서의 주어진 페이즈 내의 프레임들의 지속기간들 및 개수는 상이할 수 있다는 것에 유의한다. 다음으로, 2개의 비디오들 V 1 및 V 2의 재생들 동안, V 1의 일정 세트의 N개 비디오 세그먼트들 중의 각각의 비디오 세그먼트가 V 2의 대응하는 비디오 세그먼트의 재생과 시간-동기화된 채로 재생될 수 있다. 예를 들어, 2개의 비디오들 V 1 및 V 2의 2개의 대응하는 비디오 세그먼트들 각각 내의 프레임들의 개수에 따라, 비디오 플레이어의 프레임 레이트는 어느 하나의 비디오에 대해 조정되어, 각각의 대응하는 비디오 세그먼트가 2개의 비디오들의 재생과 동일한 또는 실질적으로 동일한 시간에 시작되고 종료되도록 할 수 있다.
(예컨대, 나란한 재생 및 관찰을 통한) 개시된 비교 학습 기술들이 대체적으로, 수술 비디오를 일정 시퀀스의 미리정의된 페이즈들로 세그먼트화한 것에 기초하여 전술되고 추가로 후술되지만, 수술 비디오의 세그먼트화는 단지 일정 세트의 하이-레벨 페이즈들보다 더 미세한 입도들을 포함할 수 있다는 것에 유의한다. 예를 들어, 2개의 기록된 비디오들 각각은 먼저, 일정 세트의 미리정의된 하이-레벨 외과적 페이즈들에 대응하는 일정 세트의 비디오 세그먼트들로 세그먼트화될 수 있다. 다음으로, 일정 세트의 하이-레벨 외과적 페이즈들 중의 하나 이상의 페이즈들에 대응하는 일정 서브세트의 비디오 세그먼트들이 일정 세트의 외과적 서브페이즈들/태스크들로 추가로 세그먼트화될 수 있다. 다시 말하면, 일정 서브세트의 비디오 세그먼트들 각각은 개별 외과적 태스크들의 일정 세트의 훨씬 더 짧은 비디오 세그먼트들로 분류될 수 있다. 비디오 세그먼트화의 종료 시, 2개의 기록된 비디오들은 조합된 시퀀스의 미리정의된 페이즈들 및 태스크들로 세그먼트화될 수 있다. 다시 말하면, 식별된 페이즈 또는 태스크를 갖는 제1 비디오에 대해, 그 페이즈 또는 태스크가 아무리 길어도 또는 아무리 짧아도, 제2 비디오에서 식별되는 대응하는 페이즈 또는 태스크가 있다. 논의의 단순성을 위해, 일정 시퀀스의 미리결정된 페이즈들의 범주에서 2개의 기록된 비디오들의 재생들을 동기화시키는 다양한 실시예들을 설명한다. 그러나, 2개의 기록된 비디오들 사이의 하기의 개시된 기술들은 본 특허 개시물의 범주로부터 벗어나지 않고서 서브페이즈들, 단계들, 및 태스크들과 같은 더 미세한 입도들의 비디오 세그먼트들을 동기화시키는 것에 동등하게 적용가능할 수 있다.
일부 실시예들에서, 2개의 기록된 비디오들과 연관된 총 시술 시간들은, 2개의 비디오들의 일부 대응하는 비디오 세그먼트들/페이즈들이 상이한 지속기간들/길이들을 갖는 경우에도 동일할 수 있다. 예를 들어, 비디오 V 1이 비디오V 2 내의 대응하는 페이즈보다 2분 더 긴 주어진 페이즈를 갖지만, 또한 V 2 내의 대응하는 페이즈보다 2분 더 짧은 다른 페이즈를 갖는 경우, V 1 및 V 2는 동일한 총 비디오 길이를 여전히 가질 수 있다. 이러한 예에서, 2개의 비디오들이 동시에 비교 재생들을 시작하는 경우, 2개의 재생들은 또한, 동일한 또는 실질적으로 동일한 시간에 종료될 것이다. 그러나, 일정 시퀀스의 미리정의된 페이지들 중의 페이즈 P 1에 대응하는 제1 비디오 세그먼트에 대해, V 1 내의 페이즈 P 1의 재생은 V 2 내의 대응하는 페이즈 P 1의 재생의 종료와는 상이한 시간에 종료될 수 있는데, 즉 페이즈 P 1의 재생들은 2개의 비디오들 V 1과 V 2 사이에서 자동으로 시간-동기화(또는 "시간-동기")되지 않는다.
비교 관찰 및 학습을 위해, 제1 비디오 내의 모든 비디오 세그먼트/페이즈가 제2 비디오 내의 대응하는 비디오 세그먼트/페이즈에 시간-동기화되는 방식으로 2개의 기록된 비디오들을 재생하는 것이 유익하다. 일부 실시예들에서, 2개의 비디오들의 동기화된 재생들은, 2개의 비디오들 내의 대응하는 비디오 세그먼트들이 대응하는 비디오 세그먼트 경계들(대응하는 페이즈에 대한 "페이즈 경계들"로도 지칭됨)에서 항상 동기화되도록 다양한 속도들로 일정 세트의 비디오 세그먼트들을 재생함으로써 달성될 수 있다. 보다 구체적으로, 2개의 비디오들에 대해 페이즈 세그먼트화를 수행한 후에, 2개의 비디오들의 각각의 비디오 세그먼트의 길이들 및 페이즈 경계들이 추출될 수 있다. 다음으로, 2개의 비디오들의 재생들을 동기화시키는 것은 단순히, 대응하는 페이즈 경계들에서 대응하는 비디오 세그먼트들을 동기시키는 것을 요구한다. 예를 들어, V 1 내의 주어진 비디오 세그먼트/페이즈 및 V 2 내의 대응하는 비디오 세그먼트/페이즈가 동시에 재생하기 시작한다고 가정하면(즉, 2개의 비디오들 내의 주어진 비디오 세그먼트/페이즈의 제1 페이즈 경계들이 시간-정렬되었음), 2개의 비디오들 내의 주어진 비디오 세그먼트/페이즈를 동기화시키는 것은, 2개의 비디오들 내의 주어진 비디오 세그먼트/페이즈의 재생들이 또한 동시에 종료될 것을 요구한다(즉, 2개의 비디오들 내의 주어진 비디오 세그먼트/페이즈의 제2 페이즈 경계들이 또한 시간-정렬됨).
보다 구체적으로, V 1 내의 주어진 비디오 세그먼트/페이즈 및 V 2 내의 대응하는 비디오 세그먼트/페이즈가 상이한 길이들/지속기간들을 갖는 경우, 제2 페이즈 경계의 정렬은 하기에 의해 달성될 수 있다: (1) 더 긴 비디오 세그먼트/페이즈의 재생 속도를 증가시키는 것; 또는 (2) 더 짧은 비디오 세그먼트/페이즈의 재생 속도를 감소시키는 것. 예를 들어, V 1 내의 비디오 세그먼트 s 1이 V 2 내의 대응하는 비디오 세그먼트 s 1보다 2배 더 긴 경우, V 2 내의 비디오 세그먼트 s 1의 재생을 2배 감속하는 것은 2개의 비디오들 내의 s 1의 재생들이 동시에 종료되게 할 것이다. 다른 예로서, V 1 내의 비디오 세그먼트 s 3이 V 2 내의 대응하는 비디오 세그먼트 s 3보다 1.5배 더 긴 경우, V 2 내의 비디오 세그먼트 s 3의 재생을 1.5배 가속하는 것은 2개의 비디오들 내의 비디오 세그먼트 s 3의 재생들이 다시 동시에 종료되게 할 것이다. 주어진 비디오 세그먼트/페이즈의 페이즈 경계들을 정렬시키기 위한 상기 재생 동기화 기술은 일정 시퀀스의 미리정의된 페이즈들의 각각의 그리고 모든 비디오 세그먼트/페이즈에 대해 반복될 수 있고, 이에 의해, 모든 개별 비디오 세그먼트들/페이즈들 및 전체 시술들에 대한 2개의 비디오들 사이에서 충분한 시간-동기화를 달성할 수 있다. 충분한 시간-동기화가 2개의 비디오들의 비교 재생 동안 달성될 때, 비교 재생의 관찰자는 임의의 주어진 시점에 2개의 비디오들 내의 외과적 시술의 동일한 비디오 세그먼트/페이즈를 항상 시청할 것이라는 것에 유의한다.
일부 실시예들에서, 2개의 세그먼트화된 비디오들의 재생들을 동기화시키는 것은, 비디오 세그먼트들을 항상 더 느린 속도로 재생함으로써 달성될 수 있다. 보다 구체적으로, 비디오 세그먼트들/페이즈들 각각에 대해, 더 긴 지속기간을 갖는 2개의 비디오들 중 하나는 항상 기준 비디오로서 사용되고 규칙적인/일정한 속도로 재생되는 반면, 비디오 세그먼트/페이즈의 정렬은 다른 비디오 내의 대응하는 비디오 세그먼트/페이즈에 대해 더 느린 재생 속도를 사용함으로써 달성된다. 대안적으로, 2개의 세그먼트화된 비디오들의 재생들을 동기화시키는 것은, 비디오 세그먼트들을 항상 더 빠른 속도로 재생함으로써 달성될 수 있다. 보다 구체적으로, 비디오 세그먼트들/페이즈들 각각에 대해, 더 짧은 지속기간을 갖는 2개의 비디오들 중 하나는 항상 기준 비디오로서 사용되고 규칙적인/일정한 속도로 재생되는 반면, 비디오 세그먼트/페이즈의 정렬은 다른 비디오 내의 대응하는 비디오 세그먼트/페이즈에 대해 더 빠른 재생 속도를 사용함으로써 달성된다.
일부 다른 실시예들에서, 2개의 세그먼트화된 비디오들의 재생들을 동기화시키는 것은, 하나의 비디오를 기준 비디오로서 항상 규칙적인 속도로 재생되게 하고, 이어서, 상이한 비디오 세그먼트들/페이즈들을 동기시키기 위해 기준 비디오 내의 대응하는 비디오 세그먼트/페이즈에 기초하여 재생을 가속하거나 감속하는 것에 의해 일정 세트의 비디오 세그먼트들/페이즈들 각각에 대해 다른 비디오의 재생 속도를 조정함으로써 달성될 수 있다. 일부 실시예들에서, 비교 학습을 위한 2개의 비디오들이 전문가용/교육용/훈련용 비디오 및 비-전문가용/평가용/피훈련자용 비디오를 포함하는 경우, 전문가용/교육용/훈련용 비디오는 그것의 정규 속도로 재생될 기준 비디오로서 제작될 수 있는 한편, 비-전문가용/평가용/피훈련자용 비디오는 전문가용/교육용/훈련용 비디오 내의 대응하는 비디오 세그먼트/페이즈와 동기시키기 위해 일정 세트의 비디오 세그먼트들/페이즈들 각각에 대해 가변 속도들로 재생될 것이다. 페이즈 경계 정렬을 달성하기 위해 상기 기술들 중 어느 기술을 선택할 것인지는 종종, 비디오 비교와 연관된 특정 애플리케이션에 의존할 것이라는 것에 유의한다.
각각의 기록된 비디오가 시간 시퀀스를 자연스럽게 표현하는 일정 세트의 비디오 프레임들로 구성되기 때문에, 기록된 비디오를 비디오 세그먼트들로 세그먼트화하는 것은 일정 세트의 프레임들을 일정 서브세트들의 프레임들로 필수적으로 분할하며, 여기서 각각의 비디오 세그먼트는 일정 세트의 프레임들의 서브세트로 구성된다는 것에 유의한다. 도 1a는 본 명세서에 기술된 일부 실시예들에 따른, M개 비디오 프레임들을 포함하는, 외과적 시술의 제1 수술 비디오(100)를 일정 세트의 K개 비디오 세그먼트들로 세그먼트화하기 위한 예시적인 수술 비디오 세그먼트화 프로세스를 도시한다. 도 1a에서 알 수 있는 바와 같이, M개 프레임들로 구성된 수술 비디오(100)가 페이즈 세그먼트화 엔진(102)에 공급된다. 페이즈 세그먼트화 엔진(102)은 수술 비디오(100)를 일정 세트의 비디오 세그먼트들(104), 즉, 일정 시퀀스의 K개 미리정의된 외과적 페이즈들에 대응하는 세그먼트 1, 세그먼트 2, …, 세그먼트 K로 세그먼트화하도록 구성된다. 따라서, 세그먼트화 엔진(102)은, 상당히 긴 비디오일 수 있는 수술 비디오(100)를 일정 세트의 더 짧은 비디오 세그먼트들로 구획화하고, 각각의 비디오 세그먼트는, 외과적 시술의 다른 미리정의된 페이즈들에 대응하는 다른 비디오 세그먼트들과 구별가능한 외과적 시술의 특정 미리정의된 페이즈에 대응한다. 특히, 비디오 세그먼트화 후에, 생성된 세트의 비디오 세그먼트들(104)(즉, 세그먼트 1, 세그먼트 2, …, 세그먼트 K)은 일정 세트의 프레임들(m 1, m 2, …, m K )의 대응물이다. 예를 들어, 비디오(100)의 세그먼트 i는 m i 개 비디오 프레임들로 구성되며, 여기서 i는 1 내지 K의 임의의 수이다. 이와 같이, m 1 + m 2 + … + m K = M. 일부 실시예들에서, 비디오(100)는 외과적 시술의 전문가에 의해 준비된 교육용 비디오 또는 훈련용 비디오이다.
세그먼트화 엔진(102)으로부터의 출력들은 또한, 일정 세트의 비디오 세그먼트들(104) 중의 각각의 비디오 세그먼트에 대한 2개의 페이즈 경계들, 및 대응하는 페이즈를 포함할 수 있으며, 여기서 2개의 페이즈 경계들 각각은 대응하는 페이즈의 시작 또는 종료를 표시한다는 것에 유의한다. 2개의 페이즈 경계들 각각은 페이즈 경계의 대응하는 타임스탬프에 의해 또는 페이즈 경계의 대응하는 프레임 수에 의해 표현될 수 있다. 따라서, 주어진 비디오 세그먼트 i의 지속기간은 2개의 페이즈 경계들의 2개의 타임스탬프들 사이의 차이로서 계산될 수 있는데, 이는 비디오 세그먼트 내의 프레임들 m i (i = 1, 2, …, K)의 수에 비례한다. 그러나, 일부 실시예들에서, 세그먼트화 엔진(102)은 페이즈 경계들을 직접 생성하지는 않는다. 대신에, 프로세싱 파이프라인보다 더 아래의 페이즈 동기화 엔진은 일정 세트의 비디오 세그먼트들(104)로부터 페이즈 경계들을 추출하는 데 사용될 수 있다.
일부 실시예들에서, 대응하는 페이즈에 대한 페이즈 경계를 식별하는 것은, 컴퓨터 비전 또는 기계 학습 기반 비디오 이미지 프로세싱 기술을 사용하여 외과적 시술에서의 대응하는 페이즈의 시작 또는 종료를 나타내는 수술 비디오 내의 랜드마크 외과적 이벤트의 발생을 검출하는 것을 포함한다. 예를 들어, 그러한 랜드마크 이벤트는 특정 외과적 툴들의 출현들, 특정 해부학적 구조들의 출현들, 및 상기의 조합을 포함할 수 있다. 주어진 페이즈의 제2 또는 종료 페이즈 경계는 또한, 일정 시퀀스의 미리정의된 페이즈들 중의 후속 페이즈의 제1 또는 시작 페이즈 경계일 수 있다는 것에 유의한다.
유사하게, 도 1b는 본 명세서에 기술된 일부 실시예들에 따른, N개 비디오 프레임들을 포함하는, 동일한 외과적 시술의 제2 수술 비디오(110)를 일정 세트의 K개 세그먼트들로 세그먼트화하기 위한 예시적인 수술 비디오 세그먼트화 프로세스를 도시한다. 도 1b에서 알 수 있는 바와 같이, N개 프레임들로 구성된 수술 비디오(110)가 도 1a에서와 동일한 페이즈 세그먼트화 엔진(102)에 공급된다. 일부 실시예에서, 수술 비디오(110)는 수술 비디오(100)와 동일한 외과적 시술을 묘사하고, 따라서, 수술 비디오(100)와 동일한 시퀀스의 미리정의된 페이즈들을 포함한다. 따라서, 페이즈 세그먼트화 엔진(102)은 수술 비디오(110)를 일정 세트의 비디오 세그먼트들(114), 즉, 도 1a에서와 동일한 시퀀스의 K개 미리정의된 외과적 페이즈들에 대응하는 세그먼트 1, 세그먼트 2, …, 세그먼트 K로 세그먼트화하도록 구성된다. 비디오들(100, 110) 둘 모두를 세그먼트화한 후에, 일정 세트의 비디오 세그먼트들(104) 중의 세그먼트 k(k = 1, 2, …, K) 및 일정 세트의 비디오 세그먼트들(114) 중의 동일하게 인덱싱된 세그먼트 k(k = 1, 2, …, K)는 동일한 외과적 시술 내의 동일한 미리정의된 외과적 페이즈에 대응한다는 것에 유의한다.
따라서, 세그먼트화 엔진(102)은, 수술 비디오(110)를 일정 세트의 더 짧은 비디오 세그먼트들로 구획화하고, 각각의 비디오 세그먼트는, 외과적 시술의 다른 미리정의된 페이즈들에 대응하는 다른 비디오 세그먼트들과 구별가능한 외과적 시술의 특정 미리정의된 페이즈에 대응한다. 특히, 비디오 세그먼트화 후에, 생성된 세트의 비디오 세그먼트들(104)(즉, 세그먼트 1, 세그먼트 2, …, 세그먼트 K)은 일정 세트의 프레임들(n 1, n 2, …, n K )의 대응물이다. 예를 들어, 비디오(110)의 세그먼트 j는 n j 개 비디오 프레임들로 구성되며, 여기서 j는 1 내지 K의 임의의 수이다. 이와 같이, n 1 + n 2 + … + n K = N. 일부 실시예들에서, 비디오(110)는 외과적 시술의 전문가를 제외한 어떤 사람에 의해 준비된 비디오 또는 피훈련자 비디오이다.
유사하게, 세그먼트화 엔진(102)으로부터의 출력들은 또한, 일정 세트의 비디오 세그먼트들(114) 중의 각각의 비디오 세그먼트에 대한 2개의 페이즈 경계들, 및 대응하는 페이즈를 포함할 수 있으며, 여기서 2개의 페이즈 경계들 각각은 대응하는 페이즈의 시작 또는 종료를 표시한다. 2개의 페이즈 경계들 각각은 페이즈 경계의 대응하는 타임스탬프에 의해 또는 페이즈 경계의 대응하는 프레임 수에 의해 표현될 수 있다. 따라서, 주어진 비디오 세그먼트 j의 지속기간은 2개의 페이즈 경계들의 타임스탬프들 사이의 차이로서 계산될 수 있는데, 이는 비디오 세그먼트 내의 프레임들 n j (j = 1, 2, …, K)의 수에 비례한다. 그러나, 일부 실시예들에서, 세그먼트화 엔진(102)은 페이즈 경계들을 직접 생성하지는 않는다. 대신에, 프로세싱 파이프라인보다 더 아래의 페이즈 동기화 엔진은 일정 세트의 비디오 세그먼트들(114)로부터 페이즈 경계들을 추출하는 데 사용될 수 있다.
도 2는 본 명세서에 기술된 일부 실시예들에 따른, 비교 학습을 위해, 동일한 외과적 시술의 2개의 기록된 수술 비디오들(100, 110)을 시간-동기화하고 2개의 시간-동기화된 수술 비디오들을 재생하기 위한 예시적인 수술 비디오 비교 학습 시스템(200)을 도시한다. 비교 학습 시스템(200)은 도 1a 및 도 1b의 전술된 페이즈 세그먼트화 엔진(102), 페이즈 동기화 엔진(202), 및 비교 디스플레이 시스템(220)을 포함하며, 이들은 도시된 순서로 서로 커플링된다는 것에 유의한다.
도 2에서 알 수 있는 바와 같이, 페이즈 세그먼트화 엔진(102)은 수술 비디오들(100, 110)을 수신하고, 비디오들 각각을 대응하는 세트들의 비디오 세그먼트들(104, 114)로 세그먼트화한다. 페이즈 세그먼트화 엔진(102)을 사용하여 수술 비디오들(100, 110)을 대응하는 세트들의 비디오 세그먼트들(104, 114)로 세그먼트화하는 다양한 실시예들이 도 1a 및 도 1b와 관련하여 전술되었다. 일부 실시예들에서, 페이즈 세그먼트화 엔진(102)은 수술 비디오들(100, 110)을 동시에 또는 순차적으로 프로세싱할 수 있다. 세그먼트화 엔진(102)이 수술 비디오들(100, 110)을 순차적으로 프로세싱하는 경우, 세그먼트화 엔진(102)은 수술 비디오들(100, 110)을 어느 순서로든 프로세싱할 수 있다.
일부 실시예들에서, 페이즈 동기화 엔진(202)은 주어진 외과적 페이즈에 대응하는 비디오(100)의 각각의 비디오 세그먼트(104)를 동일한 외과적 페이즈에 대응하는 비디오(110)의 대응하는 비디오 세그먼트(114)에 시간-동기화시키는 데 사용된다. 보다 구체적으로, 페이즈 동기화 엔진(202)은, 비디오(100)의 각각의 비디오 세그먼트 k(k = 1, 2, …, K)에 대한 제1 재생 속도 및 비디오(110)의 대응하는 비디오 세그먼트 k에 대한 제2 재생 속도를 결정하여 2개의 비디오 세그먼트들이 동일한 또는 실질적으로 동일한 재생 시간을 갖게 하도록 구성될 수 있다. 이러한 방식으로, 2개의 비디오 세그먼트들이 동일한 또는 실질적으로 동일한 시간에 재생되기 시작하는 경우, 이들은 또한, 동일한 또는 실질적으로 동일한 시간에 재생들의 종료에 도달할 것이다.
조합된 페이즈 세그먼트화 엔진(102)과 페이즈 동기화 엔진(202)은, 비교 관찰을 위한 준비에서 동일한 외과적 시술의 2개의 입력된 수술 비디오들(100, 110)을 시간-동기화시키기 위해 수술 비디오 동기화 서브시스템(230)을 형성한다는 것에 유의한다. 개시된 수술 비디오 동기화 서브시스템(230)은, 동일한 외과적 시술의 수술 비디오들을 사전프로세싱하기 위해, 그리고 비교 학습 세션을 수행하기 위한 비교 디스플레이 시스템(220)과 같은 별개의 디스플레이 시스템에 의해 사용하기 위한 시간-동기화 출력들(예컨대, 계산된 재생 속도들을 포함함)을 생성하기 위해 사용될 수 있는 독립형 시스템일 수 있다는 것에 유의한다.
전술된 바와 같이, 2개의 대응하는 비디오 세그먼트들 k를 시간-동기화시키는 것은 2개의 대응하는 페이즈 경계들에서 2개의 비디오 세그먼트들을 동기화/정렬시킴으로써 달성될 수 있다. 따라서, 일부 실시예들에서, 페이즈 동기화 엔진(202)은 비디오(100)의 비디오 세그먼트 k로부터 2개의 페이즈 경계들을 그리고 비디오(110)의 대응하는 비디오 세그먼트 k로부터 2개의 페이즈 경계들을 추출하도록, 그리고 이들 페이즈 경계들로부터 2개의 비디오 세그먼트들의 지속기간들을 결정하도록 구성된다. 주어진 비디오 세그먼트의 지속기간은 주어진 비디오 세그먼트 내의 프레임들의 수 및/또는 2개의 페이즈 경계들 사이의 시간 차이에 기초하여 측정될 수 있다는 것에 유의한다. 2개의 계산된 지속기간들이 서로 상이할 수 있기 때문에, 2개의 비디오 세그먼트들 k의 제1 페이즈 경계들이 시간-정렬된 경우에도, 2개의 비디오 세그먼트들 k의 제2 페이즈 경계들은 서로 자동으로 정렬되지 않는다.
일부 실시예들에서, 페이즈 동기화 엔진(202)은, 비교 재생 동안, 2개의 비디오 세그먼트들 k의 제1 페이즈 경계들이 시간-정렬된 경우, 즉 동일한 또는 실질적으로 동일한 시작 시간을 갖는 경우, 2개의 비디오 세그먼트들 k의 제2 페이즈 경계들이 또한 시간-정렬되게 하기 위해, 즉 동일한 또는 실질적으로 동일한 완료 시간을 갖게 하기 위해, 결정된 지속기간들에 기초하여 2개의 비디오 세그먼트들 k에 대한 재생 속도들을 계산하도록 구성된다. 2개의 비디오 세그먼트들 k 각각이 일정 세트의 비디오 프레임들로 구성되기 때문에, 주어진 비디오 세그먼트에 대한 재생 속도는 프레임 레이트에 기초하여 측정될 수 있으며, 여기서 2개의 비디오 세그먼트들 k의 프레임 레이트들은 대응하는 비디오 세그먼트들 내의 프레임들의 수에 기초하여 결정될 수 있다.
특정 실시예에서, 제1 비디오(100)가 오리지널 프레임 레이트 R로 재생되는 기준 비디오로서 사용된다고 가정하면, 그리고 또한, 2개의 비디오 세그먼트들 k의 제1 페이즈 경계들이 시간-정렬되었다고 가정하면, 페이즈 동기화 엔진(202)은 하기의 수학식에 기초하여 비디오(110)의 비디오 세그먼트 k에 대한 프레임 레이트를 결정할 수 있으며:
R×(n k /m k ),
여기서, m k 및 n k 는 각각, 비디오들(100, 110)의 2개의 비디오 세그먼트들 k 내의 프레임들의 수들이다. 보다 구체적으로, 2개의 비디오들(100, 110)이 동시에 재생하기 시작한다고 가정하면, 2개의 비디오들 내의 제1 비디오 세그먼트들(즉, 세그먼트 1)에 대한 시간-동기화는 R×(n 1/m 1)의 조정된 프레임 레이트로 비디오(110)를 재생함으로써 달성될 수 있고; 2개의 비디오들 내의 제2 비디오 세그먼트들(즉, 세그먼트 2)에 대한 시간-동기화는 조정된 프레임 레이트 R×(n 2/m 2)로 비디오(110)를 재생함으로써 달성될 수 있고; 마지막 비디오 세그먼트들 K(즉, 세그먼트 K) 때까지 등등이 달성될 수 있으며, 여기서 시간-동기화는 조정된 프레임 레이트 R×(n K /m K )로 비디오(110) 내의 비디오 세그먼트 K를 재생함으로써 달성될 수 있다. 이러한 방식으로, 2개의 비디오들(100, 110) 내의 모든 비디오 세그먼트/페이즈의 페이즈 경계들은 비교 관찰 세션 동안 시간-정렬을 항상 유지할 수 있고, 재생들은 또한, 동일한 또는 실질적으로 동일한 시간에 완료될 수 있다. 2개의 수술 비디오들의 범주에서의 시간-동기화를 논의하지만, 비디오 재생들 동안 페이즈 경계들을 정렬시키는 동일한 개념은 주어진 외과적 시술의 다수의(즉, 2개 이상의) 수술 비디오들을 동일한 외과적 시술의 동일한 기준 비디오에 정렬시키는 것으로 용이하게 확장될 수 있다는 것에 유의한다.
따라서, 2개의 입력 비디오들(100, 110)을 시간-동기화시키기 위해, 비디오 동기화 서브시스템(230)의 페이즈 동기화 엔진(202)은, 비디오(100)에 대한 일정 세트의 페이즈 경계들(206) 및 비디오(110)에 대한 대응하는 세트의 페이즈 경계들(216)을 각각 생성하도록; 그리고 또한, 비디오(100)에 대한 일정 세트의 재생 속도들(208) 및 비디오(110)에 대한 대응하는 세트의 재생 속도들(218)을 각각 생성하도록 구성되며, 여기서 각각의 재생 속도는 프레임 레이트의 관점에서 측정될 수 있다. 상기 예에서, 비디오(100)에 대한 일정 세트의 재생 속도들(208)은 일정한 프레임 레이트 R인 반면; 비디오(110)에 대한 일정 세트의 재생 속도들(218)은 수학식 R×(n k /m k ) (k = 1, 2, …, K)에 기초하여 계산된다.
다음으로, 페이즈 동기화 엔진(202)으로부터의 출력들은 수술 비디오들(100, 110)에 대한 비교 학습 세션을 수행하도록 구성된 비교 디스플레이 시스템(220)에 의해 수신될 수 있다. 예를 들어, 디스플레이 시스템(220)은 2개의 나란히 있는 모니터들(222, 224)을 포함할 수 있는데, 이때 비디오(100)는 좌측에 있는 제1 모니터(222) 상에서 재생되고, 비디오(110)는 우측에 있는 제2 모니터(224) 상에서 재생된다. 디스플레이 시스템(220)의 비디오 프로세싱 모듈은 일정 세트의 재생 속도들(208) 및 일정 세트의 재생 속도들(218)에 기초하여 2개의 비디오들의 비교 재생들을 제어하여, 2개의 수술 비디오들 내의 대응하는 비디오 세그먼트들/페이즈들이 대응하는 페이즈 경계들에서 항상 정렬됨을 보장하게 할 수 있다.
일부 실시예들에서, 비교 디스플레이 시스템(220)은 페이즈 동기화 엔진(202)으로부터의 출력들을 사용하여, 수술 비디오들(100, 110)을 단일 분할 스크린 비디오로 조합함으로써 복합 비디오를 생성하도록 구성될 수 있으며, 이때 비디오(100)는 분할 스크린 비디오의 하나의 반부 상에 디스플레이되고, 비디오(110)는 분할 스크린 비디오의 다른 반부 상에 디스플레이된다. 게다가, 2개의 비디오들을 조합할 때, 분할 스크린 비디오 내의 대응하는 비디오 세그먼트들은 대응하는 페이즈 경계들에서 시간-정렬된다. 다음으로, 비교 관찰 세션 동안, 비교 디스플레이 시스템(220)은 단일 모니터 상의 조합된 비디오를 재생하며, 여기서 분할 스크린 비디오의 2개의 반부들은 대응하는 페이즈들 및 페이즈 경계들에서 항상 시간-정렬된다.
도 3은 본 명세서에 기술된 일부 실시예에 따른, 비교 학습을 위해 동일한 외과적 시술의 2개의 수술 비디오들을 시간-동기화시키기 위한 예시적인 프로세스(300)를 도시하는 흐름도를 나타낸다. 하나 이상의 실시예들에서, 도 3의 단계들 중 하나 이상은 생략되고/되거나, 반복되고/되거나, 상이한 순서로 수행될 수 있다. 따라서, 도 3에 도시된 단계들의 특정 배열은 본 기술의 범주를 제한하는 것으로 해석되어서는 안 된다.
도 3에서 알 수 있는 바와 같이, 프로세스(300)는 동일한 외과적 시술의 2개의 기록된 수술 비디오들을 수신함으로써 시작된다(단계(302)). 일부 실시예들에서, 2개의 수술 비디오들 중 하나는 외과적 시술의 전문가에 의해 수행되는 외과적 시술의 교육용/훈련용 비디오인 반면, 다른 수술 비디오는 외과적 시술의 피훈련자에 의해 수행된다. 다른 실시예들에서, 2개의 기록된 비디오들은, 동일한 외과의가 2인의 상이한 환자들에 대해 동일한 외과적 시술을 수행하는 것으로부터, 또는 2인의 상이한 외과의들이 2인의 상이한 환자들에 대해 동일한 외과적 시술을 수행하는 것으로부터 생성될 수 있다. 다음으로, 프로세스(300)는 2개의 수술 비디오들 각각에 대해 페이즈 세그먼트화를 수행하여, 각각의 수술 비디오를 외과적 시술의 일정 시퀀스의 미리정의된 페이즈들에 대응하는 일정 세트의 비디오 세그먼트들로 세그먼트화한다(단계(304)). 예를 들어, 프로세스(300)는 전술된 페이즈 세그먼트화 엔진(102)을 사용하여, 페이즈 세그먼트화 동작들을 수행할 수 있다. 2개의 수술 비디오들이 기록된 비디오들이기 때문에, 페이즈 세그먼트화 동작들은 오프라인으로 수행될 수 있다는 것에 유의한다.
2개의 세그먼트화된 비디오들 각각이 동일한 시퀀스의 미리정의된 페이즈들에 대응하는 일정 세트의 비디오 세그먼트들로 구성되지만, 2개의 비디오들 내의 한 쌍의 대응하는 비디오 세그먼트들(예컨대, 제1 비디오 내의 세그먼트 1 및 제2 비디오 내의 세그먼트 1)은 비디오 프레임들의 길이들 및 수들이 상이할 수 있다는 것에 유의한다. 일부 실시예들에서, 주어진 미리정의된 페이즈에 대응하는 하나의 비디오의 일정 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트는 일정 시퀀스의 미리정의된 서브페이즈들로 추가로 세그먼트화될 수 있으며, 여기서 서브페이즈들 각각은 주어진 미리정의된 페이즈 내에 수행되는 일정 시퀀스의 태스크들 중의 단일 태스크에 대응한다. 유사하게, 동일한 미리정의된 페이즈에 대응하는 다른 비디오의 일정 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트는 또한, 일정 시퀀스의 미리정의된 서브페이즈들로 세그먼트화될 수 있다.
다음으로, 프로세스(300)는 주어진 외과적 페이즈에 대응하는 하나의 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트를 동일한 외과적 페이즈에 대응하는 다른 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시킨다(단계(306)). 예를 들어, 프로세스(300)는 비디오 세그먼트에 대한 제1 재생 속도 및 대응하는 비디오 세그먼트에 대한 제2 재생 속도를 결정하여, 2개의 비디오 세그먼트들이 동일한 또는 실질적으로 동일한 재생 시간을 가질 수 있게 할 수 있다. 이러한 방식으로, 2개의 비디오 세그먼트들이 제1 대응하는 페이즈 경계들에서 시간-정렬되는 경우, 이들은 또한, 제2 대응하는 페이즈 경계들에서 시간-정렬될 것이다. 2개의 비디오들 중 하나가 교육용/훈련용 비디오이고 다른 비디오가 피훈련자 비디오인 경우, 교육용/훈련용 비디오 내의 모든 비디오 세그먼트들은 오리지널 재생 속도를 할당받을 수 있는 반면(즉, 비교 재생 동안 기준 비디오 세그먼트들로서 사용됨), 피훈련자 비디오 내의 각각의 비디오 세그먼트는, 예컨대 2개의 비디오들 내의 2개의 대응하는 비디오 세그먼트들 내의 프레임들의 수에 기초하여, 계산되는 조정된 재생 속도를 할당받는다는 것에 유의한다. 마지막으로, 프로세스(300)는 2개의 수술 비디오들의 2개 세트들의 개별적으로 시간-정렬된 비디오 세그먼트들을 비교 학습을 수행하기 위한 비교 디스플레이 시스템으로 출력한다(단계(308)). 예를 들어, 비교 학습 세션은 2개의 나란히 있는 모니터들 상에 2개의 세트들의 개별적으로 시간-정렬된 비디오 세그먼트들을 별개로 디스플레이하는 것을 포함한다.
기록된 비디오와 라이브 비디오 피드 사이의 비교 학습
본 특허 개시물의 일부 실시예들은 또한, 기록된 비디오의 재생을 라이브 비디오 피드(또는 "라이브 비디오")에 동기화/종속시키기 위한 "텔레프롬프터(teleprompter)"스타일 비교 학습 기술을 제공한다. 예를 들어, 예시적인 로봇 수술 훈련 시스템에서, 훈련 셋업은 피훈련자에게 몰입형 디스플레이를 제공하는, 피훈련자에 의해 착용된 VR 헤드셋과 같은 가상 현실(virtual reality, VR) 환경을 포함할 수 있다. 보다 구체적으로, 피훈련자가 헤드셋으로 들여다 볼 때, VR 디스플레이 스크린은 2개의 반부들로(즉, 2개의 나란히 있는 비디오들의 형태로) 분할될 수 있다: 디스플레이의 하나의 반부(예컨대, 좌측 반부)는 외과적 봉합술과 같은 외과적 태스크를 어떻게 수행할지에 대한 기록된 훈련용/교육용 비디오를 보여주고 있을 수 있는 한편; 디스플레이의 다른 반부(예컨대, 우측 반부)는 훈련용/교육용 비디오에서 디스플레이된 액션들을 추종/반복함으로써 피훈련자가 동일한 외과적 태스크를 수행하는 라이브 비디오 피드를 보여주고 있을 수 있다.
그러나, 그러한 2-비디오 비교 학습 VR 환경에서는 문제가 발생할 수 있다. 디스플레이의 좌측 반부 상에서 재생되는 교육용 비디오가 봉합 기술들을 입증하고 있다고 가정하는데, 여기서 비디오 내의 강사는 제1 세트의 겸자(forceps)로 조직을 들어올리고, 제2 세트의 겸자로 바늘을 파지하고, 제1 매듭을 완료한다. 한편, 디스플레이의 우측 반부 상에서, 라이브 피드는 피훈련자가 제1 매듭을 묶기 위해 동일한 액션들을 모사하려고 시도하고 있지만, 제1 매듭을 아직 완료할 수 없었음을 보여준다. 이러한 상황은 이어서, 피훈련자가 교육용 비디오를 수동으로 일시정지하여 대기시키고, 이어서, 제1 매듭이 완료된 후에 교육용 비디오를 다시 수동으로 재시작시킬 것을 요구할 것이다. 피훈련자의 수동 개입 없이, 교육용 비디오는 계속해서 재생하고 다음 태스크를 보여줄 것이다. 그러나, 피훈련자가 교육용 비디오를 수동으로 일시정지하고 재시작시키게 하는 것은 피훈련자의 연습을 매우 방해하는 것일 수 있는데, 그 이유는 피훈련자가 초점을 잃게 하고, 따라서, 연습의 효율성을 손상시키기 때문이다.
기록된 교육용 비디오와 라이브 비디오 피드 사이의 제안된 비교 학습 기술은, 라이브 비디오에서 피훈련자가 라이브 태스크(예컨대, 피훈련자에 의해 제1 매듭을 시도함)를 완료하지 않았음을 검출함으로써 교육용 비디오를 자동으로 일시정지시켜 교육용 비디오의 피훈련자/추종자를 기다릴 수 있게 한다. 제안된 비교 학습 기술은 또한, 피훈련자가 라이브 태스크를 완료했음을 검출한 후에, 일시정지된 교육용 비디오를 자동으로 재시작시키는 것을 가능하게 한다. 제안된 비교 학습 기술을 사용하면, 피훈련자/추종자는, 교육용 비디오를 수동으로 일시정지 및 재시작시키지 않고서, 교육용 비디오에서 묘사된 전체 시술을 추종할 수 있다.
일부 실시예들에서, 기록된 비디오들 상에서 전형적으로 오프라인으로 동작하는 전술된 페이즈 세그먼트화 엔진은 피훈련자의 라이브 비디오 피드에 실시간으로 적용될 수 있다. 이들 실시예들에서, 페이즈 세그먼트화 엔진이 피훈련자가 수행하고 있는 정확한 태스크를 실시간으로 결정할 수 있는 경우, 페이즈 세그먼트화 엔진은 교육용 비디오를 자동으로 일시정지 또는 재생하여, 피훈련자가 어떤 속도로 현재/라이브 태스크를 수행하고 있든, 피훈련자가 교육용 비디오를 추종할 수 있게 할 수 있다. 보다 구체적으로, 페이즈 세그먼트화 엔진은, 라이브 비디오에서 묘사된 액션들을 실시간으로 세그먼트화하도록, 그리고 특정 태스크가 여전히 수행되고 있는지 또는 막 완료되었는지를 결정하도록 구성될 수 있다. 게다가, 상기에서 논의된 바와 같이, 페이즈 세그먼트화 엔진은 또한, 기록된 교육용 비디오를 오프라인으로 세그먼트화하여, 페이즈 세그먼트화 엔진이, 교육용 비디오에서 묘사된 주어진 태스크가 정확히 언제 시작되고 종료되는지(즉, 페이즈 경계들)에 대한 지식을 갖도록 구성될 수 있다. 교육용 비디오 및 라이브 비디오 피드로부터의 세그먼트화 정보에 기초하여, 페이즈 세그먼트화 엔진은 이어서, 교육용 비디오에서 묘사된 태스크가 종료되었지만 라이브 비디오에서 묘사된 태스크가 여전히 진행 중인지 여부를 실시간으로 결정할 수 있다. 그러한 경우, 페이즈 세그먼트화 엔진은 교육용 비디오를 일시정지하여 피훈련자의 프로세스를 기다리게 하도록 구성된다. 다음으로, 페이즈 세그먼트화 엔진이 후속적으로, 라이브 비디오 피드에서 현재 태스크가 막 완료되었음을 검출하는 경우, 페이즈 세그먼트화는 교육용 비디오를 재시작하여 다음 태스크/단계로 계속되도록 추가로 구성된다.
일부 실시예들에서, 주어진 외과적 시술에서 각각의 태스크의 시작 및 종료를 검출하는 것을 용이하게 하기 위해, 일정 세트의 랜드마크 이벤트들이 미리정의될 수 있다. 예를 들어, 교육용 비디오가 조직 상에서의 5개의 외과적 매듭들을 묶는 연습을 묘사하는 경우, 5개의 랜드마크 이벤트들이 미리정의될 수 있고, 이들 각각은 5개의 외과적 매듭들 각각의 완료에 대응한다. 이들 미리정의된 랜드마크들은 교육용 비디오가 나중에 재생될 때 검출될 수 있도록 교육용 비디오를 라벨링하거나 태깅하는 데 사용될 수 있다는 것에 유의한다. 다시 말하면, 페이즈 세그먼트화 엔진은 교육용 비디오 재생 동안 이들 미리정의된 랜드마크들을 검출하도록 구성될 수 있다. 따라서, 연습 동안, 랜크마크 이벤트가 교육용 비디오에서 검출될 때마다, 페이즈 세그먼트화 엔진은 라이브 비디오 내의 대응하는 랜드마크 이벤트에 도달되지 않은 경우에 교육용 비디오를 일시정지하고 라이브 비디오 피드를 기다릴 수 있다. 다음으로, 대응하는 랜드마크 이벤트가 또한 라이브 비디오 피드에서 검출될 때, 페이즈 세그먼트화 엔진은 다음 태스크를 입증하기 위해 교육용 비디오를 재시작할 수 있다.
기록된 비디오 및 라이브 비디오 피드를 동기화시키기 위한 비교 학습 기술이 일부 간단한 태스크들을 포함하는 간단한 봉합 시술을 사용하여 전술되어 있지만, 동일한 기술은 다른 기록된 비디오, 및 상당히 더 복잡한 시술들을 포함하는 대응하는 라이브 비디오 피드 시나리오들에 적용될 수 있다는 것에 유의한다. 일부 실시예들에서, 더 복잡한 외과적 시술이 연습되고 있을 때, 페이즈 세그먼트화 엔진은 기록된 비디오 및 라이브 비디오를 상이한 복잡도들 및 입도들의 다수의 레벨들의 태스크들로 세그먼트화하도록 구성될 수 있다. 구체적으로, 더 복잡한 시술은 시술의 일정 세트의 하이-레벨 페이즈들로 세그먼트화될 수 있고, 이어서, 하이-레벨 페이즈들 각각은 하나 이상의 서브페이즈들로 추가로 세그먼트화될 수 있고, 하이-레벨 페이즈들 및 서브페이즈들 각각은 하나 이상의 단순한 태스크들로 추가로 세그먼트화될 수 있다. 예를 들어, 더 복잡한 시술은 봉합 페이즈 뒤에 스테이플링 페이즈를 포함할 수 있으며, 여기서 봉합 페이즈는 다수의 매듭 태스크들을 추가로 포함할 수 있는 반면, 스테이플링 페이즈는 다수의 스테이플링 태스크들을 포함할 수 있다. 외과적 매듭을 묶는 간단한 봉합 태스크조차 더 미세한 입도로 추가로 분류될 수 있는데, 예컨대, 봉합 태스크에서 실(thread)을 들어올리는 액션은 이벤트 검출을 위한 봉합 태스크의 서브태스크로서 세그먼트화될 수 있다는 것에 유의한다.
일부 실시예들에서, 페이즈들, 서브페이즈들 및 태스크들의 각각의 레벨에 대해, 대응하는 세트의 랜드마크 이벤트들은 이벤트 검출 목적들을 위해 미리정의될 수 있다. 따라서, 복잡한 시술의 경우, 시술의 일정 세트의 하이-레벨 페이즈들에 대한 일정 세트의 미리정의된 랜드마크 이벤트들이 있을 수 있다. 주어진 하이-레벨 페이즈 내에서, 일정 세트의 서브페이즈들에 대한 일정 세트의 미리정의된 랜드마크 이벤트들이 있을 수 있고, 하이-레벨 페이즈들 또는 서브페이즈들 각각에 대해, 일정 세트의 간단한 태스크들에 대한 일정 세트의 미리정의된 랜드마크 이벤트들이 있을 수 있다. 모든 이들 상이한 레벨들의 미리정의된 랜드마크 이벤트들은, 임의의 주어진 랜드마크 이벤트에서 교육용 비디오를 일시정지하기 위해 그리고 라이브 비디오가 교육용 비디오에서 막 완료된 동일한 페이즈/서브페이즈/태스크를 완료하기를 기다리기 위해 페이즈 세그먼트화 엔진에 의해 사용될 수 있다는 것에 유의한다. 일정 시퀀스의 미리정의된 페이즈들에 대해, 이들 랜드마크 이벤트들은 전술된 페이즈 경계들과 유사하다는 것에 유의한다.
일부 실시예들에서, 교육용 비디오를 일시정지하고 재시작하는 대신에, 개시된 비교 학습 기술은 또한, 라이브 비디오 내의 액션의 속도에 기초하여 교육용 비디오의 재생 속도 및/또는 프레임 레이트를 제어함으로써 교육용 비디오를 라이브 비디오에 종속시킬 수 있다. 보다 구체적으로, 피훈련자가 현재 어느 페이즈 또는 단계에 있는지에 따라, 페이즈 세그먼트화 엔진은 비디오 플레이어의 프레임 레이트를 조정하여 교육용 비디오가 피훈련자의 속도에 종속되는 다양한 속도로 재생될 수 있게 할 수 있다. 이러한 방식으로, 시술 전체에 걸쳐, 교육용 비디오의 재생 속도는 피훈련자가 수행하고 있는 각각의 태스크에 대한 피훈련자의 속도를 계속해서 추종한다. 이러한 재생 종속 기술은 전술된 일시정지 및 재시작 기술과 조합될 수 있다는 것에 유의한다. 다시 말하면, 페이즈 세그먼트화 엔진이, 동일한 태스크가 라이브 비디오에서 여전히 진행 중인 동안에 교육용 비디오가 태스크를 완료했음을 검출할 때는 언제든지, 교육용 비디오는 라이브 비디오가 동일한 태스크를 완료하기를 기다리기 위해 자동으로 일시정지될 수 있다.
도 4는 본 명세서에 기술된 일부 실시예들에 따른, 외과적 시술의 기록된 교육용 비디오의 재생을 사람이 동일한 외과적 시술을 모사하는 것의 라이브 비디오 피드에 동기화시키기 위한 예시적인 프로세스(400)를 도시하는 흐름도를 나타낸다. 하나 이상의 실시예들에서, 도 4의 단계들 중 하나 이상은 생략되고/되거나, 반복되고/되거나, 상이한 순서로 수행될 수 있다. 따라서, 도 4에 도시된 단계들의 특정 배열은 본 기술의 범주를 제한하는 것으로 해석되어서는 안 된다.
도 4에서 알 수 있는 바와 같이, 프로세스(400)는 외과적 시술의 기록된 비디오를 수신함으로써 시작되며, 여기서 외과적 시술은 일정 세트의 태스크들을 포함한다(단계(402)). 일부 실시예들에서, 기록된 비디오는 외과적 시술의 전문가에 의해 수행된 교육용/훈련용 비디오이다. 게다가, 프로세스(400)는 일정 세트의 랜드마크 이벤트들을 수신할 수 있으며, 여기서 각각의 랜드마크 이벤트는 일정 세트의 외과적 태스크들 중의 대응하는 외과적 태스크의 완료를 나타낸다(단계(404)). 전술된 바와 같이, 비교 학습을 수행하기 전에, 페이즈 세그먼트화 엔진은 기록된 비디오를 일정 세트의 외과적 태스크들에 대응하는 일정 세트의 비디오 세그먼트들로 세그먼트화하기 위해, 그리고 후속적으로, 일정 세트의 랜드마크 이벤트들을 추출하기 위해 오프라인으로 사용될 수 있다. 일부 실시예들에서, 각각의 랜드마크 이벤트는 대응하는 외과적 태스크의 종료/완료를 나타내는 타임스탬프에 의해 표현될 수 있다.
다음으로, 외과적 시술을 수행하기 위한 라이브 훈련 세션 동안, 프로세스(400)는, 디스플레이 환경의 하나의 부분 상에서 재생되는 기록된 비디오, 및 외과적 시술을 수행하는 사람(또는 "추종자" 또는 "피훈련자"로도 지칭됨)을 캡처하고 디스플레이 환경의 다른 부분 상에서 디스플레이되는 라이브 비디오 피드를 동시에 모니터링한다(단계(406)). 일부 실시예들에서, 기록된 비디오 및 라이브 비디오는 나란히 디스플레이된다. 게다가, 디스플레이 환경은 분할 스크린 디스플레이를 포함하는 VR 헤드셋과 같은 VR 디스플레이 환경을 포함할 수 있다. 일부 실시예들에서, 라이브 비디오 내의 피훈련자는 기록된 비디오에서 입증된 정확한 시퀀스의 외과적 태스크들을 모사하려고 시도하고 있다.
다음으로, 프로세스(400)는 외과적 태스크의 종료를 나타내는 기록된 비디오 내의 랜드마크 이벤트를 검출한다(단계(408)). 예를 들어, 봉합 태스크에 대해, 랜드마크 이벤트는 새롭게 형성된 매듭으로부터 바늘을 제거하기 위해 실을 절단하는 액션을 포함할 수 있다. 일부 실시예들에서, 랜드마크 이벤트가 미리결정된 타임스탬프에 의해 표현되는 경우, 랜드마크 이벤트를 검출하는 것은 간단히, 타임스탬프를 검출하는 것을 수반한다. 프로세스(400)는 이어서, 대응하는 랜드마크 이벤트가 라이브 비디오 피드에서 발생했는지 여부, 즉, 피훈련자가 동일한 외과적 태스크를 완료했는지 여부를 결정한다(단계(410)). 현재 외과적 태스크에 대해, 피훈련자는 기록된 비디오 내의 태스크의 입증보다 더 빨리 태스크를 완료할 수 있다는 것에 유의한다. 그러한 경우, 프로세스(400)는 피훈련자가 현재 태스크를 완료했다고 결정하고, 후속적으로, 단계(406)로 복귀하여, 기록된 비디오 및 라이브 비디오 피드를 계속해서 모니터링한다. 그러나, 프로세스(400)가, 단계(410)에서 피훈련자가 현재 태스크를 아직 완료하지 않았다고 결정하는 경우, 프로세스(400)는 기록된 비디오의 재생을 즉시 일시정지하고(단계(412)), 대응하는 랜드마크 이벤트에 대한 라이브 비디오 피드를 계속해서 모니터링한다(단계(414)). 궁극적으로, 피훈련자가 현재 태스크를 완료했음을 검출한 후에, 프로세스(400)는 기록된 비디오의 재생을 재시작하고(단계(416)), 단계(406)로 복귀하여, 기록된 비디오 및 라이브 비디오 피드의 나머지 부분의 재생을 계속해서 모니터링한다. 도 4에 명시적으로 도시되어 있지 않지만, 프로세스(400)는, 검출된 랜드마크 이벤트가, 마지막 외과적 태스크가 완료되었음을 나타내는 일정 세트의 랜드마크 이벤트들 중의 마지막 랜드마크 이벤트인 경우에 단계(408)에서 종료될 수 있다는 것에 유의한다.
각각의 외과적 태스크를 실행하는 데 있어서 피훈련자의 진행에 기초하여 기록된 비디오를 자동으로 일시정지하고 재시작함으로써, 프로세스(400)는 기록된 비디오가 피훈련자 액션/움직임의 속도를 추종함으로써/그에 동기화시킴으로써 라이브 비디오 피드에 종속될 수 있게 한다는 것에 유의한다. 일부 실시예들에서, 하나 이상의 외과적 태스크들을 모니터링한 후에, 피훈련자가 외과적 태스크들을 기록된 비디오 내의 하나 이상의 외과적 태스크들의 재생보다 지속적으로 더 느리게 실행한다고 결정되는 경우, 프로세스(400)는 기록된 비디오의 재생 속도/프레임 레이트를 피훈련자의 평균 속도와 매칭되는 양으로 감속/감소시켜서, 기록된 비디오에서의 시각적 입증들이 라이브 비디오 피드 내의 피훈련자의 액션/움직임에 더 동기화되게 하도록 구성될 수 있다. 그러나, 하나 이상의 외과적 태스크들을 재생한 후에, 피훈련자가 외과적 태스크들을 기록된 비디오 내의 하나 이상의 외과적 태스크들의 재생보다 지속적으로 더 빠르게 실행한다고 결정되는 경우, 프로세스(400)는 기록된 비디오의 재생 속도/프레임 레이트를 피훈련자의 평균 속도와 매칭되는 양으로 가속/증가시켜서, 기록된 비디오에서의 시각적 입증들이 다시 라이브 비디오 피드 내의 피훈련자의 액션/움직임에 더 동기화되게 하도록 구성될 수 있다.
본 기술들의 다양한 실시예들이 외과적 시술 비디오들의 범주에서 설명되지만, 개시된 비교 학습 기술들은 또한, 비교 학습을 수행하기 위해 외과적 시술 비디오들 이외의 다른 유형들의 시술 비디오들에 적용될 수 있다는 것에 유의한다. 보다 구체적으로, 일정 시퀀스의 미리정의되고 고정된 수의 페이즈/단계들로 분류될 수 있는 임의의 유형의 시술 비디오들에 대해, 개시된 페이즈 세그먼트화 엔진 및 페이즈 동기화 엔진을 포함하는 개시된 비교 학습 기술들은 일정 시퀀스의 페이즈들/단계들 중의 각각의 세그먼트화된 페이즈/단계에서 하나의 그러한 시술 비디오를 동일한 유형의 다른 시술 비디오에 동기화/종속시키는 데 사용될 수 있다. 예를 들어, 적용가능한 시술 비디오들은 비-외과적 의료 시술 비디오들 및 많은 유형들의 노하우 비디오들을 포함할 수 있다.
도 5는 본 기술의 일부 실시예들이 구현될 수 있는 컴퓨터 시스템을 개념적으로 도시한다. 컴퓨터 시스템(500)은 하나 이상의 프로세서들이 내부에 내장되거나 그에 커플링된 클라이언트, 서버, 컴퓨터, 스마트폰, PDA, 랩톱, 또는 태블릿 컴퓨터, 또는 임의의 다른 종류의 컴퓨팅 디바이스일 수 있다. 그러한 컴퓨터 시스템은 다양한 유형들의 컴퓨터 판독가능 매체 및 다양한 다른 유형들의 컴퓨터 판독가능 매체를 위한 인터페이스들을 포함한다. 컴퓨터 시스템(500)은 버스(502), 프로세싱 유닛(들)(512), 시스템 메모리(504), ROM(read-only memory)(510), 영구 저장 디바이스(508), 입력 디바이스 인터페이스(514), 출력 디바이스 인터페이스(506), 및 네트워크 인터페이스(516)를 포함한다. 일부 실시예들에서, 컴퓨터 시스템(500)은 로봇 수술 시스템의 일부이다.
버스(502)는 컴퓨터 시스템(500)의 다수의 내부 디바이스들을 통신가능하게 접속시키는 모든 시스템, 주변기기, 및 칩셋 버스들을 총괄적으로 표현한다. 예를 들어, 버스(502)는 프로세싱 유닛(들)(512)을 ROM(510), 시스템 메모리(504), 및 영구 저장 디바이스(508)와 통신가능하게 접속시킨다.
이들 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(512)은 도 1a, 도 1b, 및 도 2 내지 도 4와 관련한, 비교 학습을 위한 2개의 수술 비디오들을 시간-동기화시키는 개시된 프로세스 및 기록된 교육용 비디오의 재생을 라이브 비디오 피드에 동기화시키는 프로세스를 포함한, 본 특허 개시물에 기술된 다양한 프로세스들을 실행하기 위해 프로세싱할 데이터 및 실행할 명령어들을 취출한다. 프로세싱 유닛(들)(512)은 마이크로프로세서, 그래픽 프로세싱 유닛(graphics processing unit, GPU), 텐서 프로세싱 유닛(tensor processing unit, TPU), 지능형 프로세서 유닛(intelligent processor unit, IPU), 디지털 신호 프로세서(digital signal processor, DSP), 필드 프로그래머블 게이트 어레이(field-programmable gate array, FPGA), 및 주문형 집적 회로(application-specific integrated circuit, ASIC)를 포함하지만 이로 한정되지 않는 임의의 유형의 프로세서를 포함할 수 있다. 프로세싱 유닛(들)(512)은 상이한 구현예들에서 단일 프로세서 또는 멀티-코어 프로세서일 수 있다.
ROM(510)은 프로세싱 유닛(들)(512) 및 컴퓨터 시스템의 다른 모듈들이 필요로 하는 정적 데이터 및 명령어들을 저장한다. 다른 한편으로, 영구 저장 디바이스(508)는 판독-기록 메모리 디바이스(read-and-write memory device)이다. 이러한 디바이스는 컴퓨터 시스템(500)이 꺼질 때에도 명령어들 및 데이터를 저장하는 비휘발성 메모리 유닛이다. 본 발명의 일부 구현예들은 영구 저장 디바이스(508)로서 대용량 저장 디바이스(예컨대, 자기 또는 광 디스크, 및 그의 대응하는 디스크 드라이브)를 사용한다.
다른 구현예들은 영구 저장 디바이스(508)로서 착탈식 저장 디바이스(예컨대, 플로피 디스크, 플래시 드라이브, 및 그의 대응하는 디스크 드라이브)를 사용한다. 영구 저장 디바이스(508)와 마찬가지로, 시스템 메모리(504)는 판독-기록 메모리 디바이스이다. 그러나, 저장 디바이스(508)와 달리, 시스템 메모리(504)는 랜덤 액세스 메모리와 같은 휘발성 판독-기록 메모리이다. 시스템 메모리(504)는 프로세서가 런타임 시에 필요로 하는 명령어들 및 데이터의 일부를 저장한다. 일부 구현예들에서, 도 1a, 도 1b, 및 도 2 내지 도 4와 관련한, 비교 학습을 위한 2개의 수술 비디오들을 시간-동기화시키는 개시된 프로세스 및 기록된 교육용 비디오의 재생을 라이브 비디오 피드에 동기화시키는 프로세스를 포함한, 본 특허 개시물에 기술된 다양한 프로세스들이 시스템 메모리(504), 영구 저장 디바이스(508), 및/또는 ROM(510)에 저장된다. 이들 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(512)은 일부 구현예들의 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 취출한다.
버스(502)는 또한 입력 디바이스들(514) 및 출력 디바이스들(506)에 접속된다. 입력 디바이스들(514)은 사용자가 컴퓨터 시스템으로 정보를 통신하고 컴퓨터 시스템에 대한 명령들을 선택할 수 있게 한다. 입력 디바이스들(514)은, 예를 들어, 영숫자 키보드들 및 포인팅 디바이스들("커서 제어 디바이스들"로도 불림)을 포함할 수 있다. 출력 디바이스들(506)은, 예를 들어, 컴퓨터 시스템(500)에 의해 생성된 이미지들의 디스플레이를 가능하게 한다. 출력 디바이스들(506)은, 예를 들어, 프린터들 및 디스플레이 디바이스들, 예컨대 CRT(cathode ray tube)들 또는 LCD(liquid crystal display)들을 포함할 수 있다. 일부 구현예들은 입력 및 출력 디바이스들 둘 모두로서 기능하는 터치스크린과 같은 디바이스들을 포함한다. 특히, 출력 디바이스들(506)은 비교 학습을 위한 2개의 시술 비디오들을 동시에 디스플레이하기 위한 2개의 나란히 있는 모니터들을 포함할 수 있다.
마지막으로, 도 5에 도시된 바와 같이, 버스(502)는 또한 컴퓨터 시스템(500)을 네트워크 인터페이스(516)를 통해 네트워크(도시되지 않음)에 커플링시킨다. 이러한 방식으로, 컴퓨터는 컴퓨터들의 네트워크(예컨대, 근거리 네트워크("LAN"), 광역 네트워크("WAN"), 인트라넷, 또는 인터넷과 같은 네트워크들의 네트워크)의 일부일 수 있다. 컴퓨터 시스템(500)의 임의의 또는 모든 구성요소들은 본 발명과 함께 사용될 수 있다.
본 발명에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 로직 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 둘 모두의 조합으로서 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 교환가능성을 명확하게 예시하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 대체적으로 그들의 기능성의 관점에서 전술되었다. 그러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과되는 특정 응용예 및 설계 제약들에 의존한다. 숙련자들은 설명된 기능성을 각각의 특정 응용예에 대해 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들은 본 발명의 범주로부터 벗어나는 것으로 해석되지 않아야 한다.
본 명세서에 개시된 태양들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들, 및 회로들을 구현하는 데 사용되는 하드웨어는 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안예에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한 수신기 디바이스들의 조합, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 관련한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 대안적으로, 일부 단계들 또는 방법들은 주어진 기능에 특징적인 회로부에 의해 수행될 수 있다.
하나 이상의 예시적인 태양들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 하나 이상의 명령어들 또는 코드로서 비일시적 컴퓨터 판독가능 저장 매체 또는 비일시적 프로세서 판독가능 저장 매체 상에 저장될 수 있다. 본 명세서에 개시된 방법 또는 알고리즘의 단계들은 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체 상에 존재할 수 있는 프로세서 실행가능 명령어들로 구현될 수 있다. 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 저장 매체일 수 있다. 제한이 아닌 예로서, 그러한 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본 명세서에 사용되는 바와 같은 디스크(Disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크, 및 블루-레이 디스크를 포함하며, 여기서 디스크(Disk)들은 보통 데이터를 자기적으로 재생하는 반면 디스크(disc)들은 레이저들을 사용하여 데이터를 광학적으로 재생한다. 상기의 조합들은 또한 비일시적 컴퓨터 판독가능 및 프로세서 판독가능 매체의 범주 내에 포함된다. 추가적으로, 방법 또는 알고리즘의 동작들은 컴퓨터 프로그램 제품에 통합될 수 있는 비일시적 프로세서 판독가능 저장 매체 및/또는 컴퓨터 판독가능 저장 매체 상에 하나 또는 임의의 조합 또는 세트의 코드 및/또는 명령어들로서 존재할 수 있다.
본 특허 문헌이 많은 구체적인 사항들을 포함하지만, 이들은 임의의 개시된 기술 또는 청구될 수 있는 것의 범주에 대한 제한들로서 해석되어서는 안 되며, 오히려 특정 기법들의 특정 실시예들에 특정적일 수 있는 특징부들의 설명으로서 해석되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문헌에 설명된 소정의 특징부들은 또한 단일 실시예에서 조합되어 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 설명된 다양한 특징부들이 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위조합으로 구현될 수 있다. 게다가, 특징부들이 소정의 조합으로 작용하는 것으로 전술되었고 그리고 심지어 초기에 그와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징부들이 일부 경우들에서 조합으로부터 삭제될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변형으로 지향될 수 있다.
유사하게, 동작들이 도면에 특정 순서로 묘사되어 있지만, 이는, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되거나, 또는 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 게다가, 본 특허 문헌에 설명된 실시예들에서의 다양한 시스템 구성요소들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 소수의 구현예들 및 예들이 설명되며, 본 특허 문헌에 설명되고 예시된 것에 기초하여 다른 구현예들, 향상들 및 변형들이 이루어질 수 있다.

Claims (20)

  1. 2개의 외과적 시술 비디오들을 동기화시키기 위한 컴퓨터 구현 방법으로서,
    외과적 시술의 제1 수술 비디오 및 동일한 외과적 시술의 제2 수술 비디오를 수신하는 단계로서, 상기 외과적 시술은 일정 시퀀스의 미리정의된 페이즈들을 포함하는, 상기 단계;
    상기 제1 및 제2 수술 비디오들 각각에 대해 페이즈 세그먼트화를 수행하여, 상기 제1 및 제2 수술 비디오들을 상기 일정 시퀀스의 미리정의된 페이즈들에 대응하는 제1 세트의 비디오 세그먼트들 및 제2 세트의 비디오 세그먼트들로 세그먼트화하는 단계;
    상기 일정 시퀀스의 미리정의된 페이즈들 중의 하나의 미리정의된 페이즈에 대응하는 상기 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트를 동일한 미리정의된 페이즈에 대응하는 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키는 단계; 및
    비교 관찰을 위해, 상기 제1 및 제2 세트들의 동기화된 비디오 세그먼트들을 포함하는 상기 제1 및 제2 수술 비디오들을 디스플레이 시스템으로 출력하는 단계를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 제1 또는 제2 수술 비디오를 상기 제1 또는 제2 세트의 비디오 세그먼트들로 세그먼트화하는 단계는,
    상기 일정 시퀀스의 미리정의된 페이즈들 중의 각각의 페이즈에 대해,
    상기 제1 또는 제2 수술 비디오 내의 페이즈의 시작을 표현하는, 상기 제1 또는 제2 수술 비디오 내의 제1 페이즈 경계를 식별하는 단계;
    상기 제1 또는 제2 수술 비디오 내의 페이즈의 종료를 표현하는, 상기 제1 또는 제2 수술 비디오 내의 제2 페이즈 경계를 식별하는 단계; 및
    상기 제1 또는 제2 수술 비디오의 제1 페이즈 경계와 제2 페이즈 경계 사이의 비디오 세그먼트를 상기 페이즈에 대응하는 비디오 세그먼트로서 출력하는 단계를 포함하며,
    상기 제1 또는 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트는 대응하는 세트의 비디오 프레임들을 포함하는, 컴퓨터 구현 방법.
  3. 제2항에 있어서, 상기 제1 또는 제2 수술 비디오 내의 상기 제1 또는 제2 페이즈 경계를 식별하는 단계는, 기계 학습 엔진을 사용하여, 상기 외과적 시술 내의 대응하는 페이즈의 시작 또는 종료를 나타내는, 상기 제1 또는 제2 수술 비디오에서의 외과적 이벤트를 검출하는 단계를 포함하는, 컴퓨터 구현 방법.
  4. 제3항에 있어서, 상기 제1 수술 비디오의 상기 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트를 상기 제2 수술 비디오의 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키는 단계는,
    상기 제1 수술 비디오의 비디오 세그먼트의 제1 페이즈 경계를 상기 제2 수술 비디오의 대응하는 비디오 세그먼트의 제1 페이즈 경계에 시간-정렬시키는 단계; 및
    제1 재생 속도를 사용한 비디오 세그먼트의 제1 재생 시간이 제2 재생 속도를 사용한 대응하는 비디오 세그먼트의 제2 재생 시간과 동일하거나 실질적으로 동일하게 하여, 이에 의해, 상기 제1 수술 비디오의 비디오 세그먼트의 제2 페이즈 경계가 상기 제2 수술 비디오의 대응하는 비디오 세그먼트의 제2 페이즈 경계에 시간-정렬되게 하도록 상기 비디오 세그먼트에 대한 상기 제1 재생 속도 및 상기 대응하는 비디오 세그먼트에 대한 상기 제2 재생 속도를 결정하는 단계를 포함하는, 컴퓨터 구현 방법.
  5. 제1항에 있어서, 상기 제1 수술 비디오의 상기 제1 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트를 상기 제2 수술 비디오의 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키는 단계는,
    상기 주어진 비디오 세그먼트에 포함된 비디오 프레임들의 제1 개수를 결정하는 단계;
    상기 대응하는 비디오 세그먼트에 포함된 비디오 프레임들의 제2 개수를 결정하는 단계; 및
    비디오 프레임들의 상기 제1 개수 및 상기 제2 개수에 기초하여 상기 주어진 비디오 세그먼트를 재생하기 위한 제1 프레임 레이트 및 상기 대응하는 비디오 세그먼트를 재생하기 위한 제2 프레임 레이트를 결정하여, 상기 제1 프레임 레이트를 사용한 상기 주어진 비디오 세그먼트의 제1 재생 시간이 상기 제2 프레임 레이트를 사용한 상기 대응하는 비디오 세그먼트의 제2 재생 시간과 같거나 실질적으로 같게 하는 단계를 포함하는, 컴퓨터 구현 방법.
  6. 제5항에 있어서, 상기 제1 프레임 레이트는 상기 제1 수술 비디오의 모든 비디오 세그먼트들에 대한 일정한 프레임 레이트이고, 상기 제2 프레임 레이트는 상기 일정한 프레임 레이트, 및 비디오 프레임들의 상기 제1 개수 및 상기 제2 개수에 기초하여 계산되는, 컴퓨터 구현 방법.
  7. 제1항에 있어서, 상기 제1 수술 비디오는 기준 비디오이고, 상기 제1 수술 비디오의 상기 제1 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트를 상기 제2 수술 비디오의 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키는 단계는,
    상기 제1 세트의 비디오 세그먼트들 중의 모든 비디오 세그먼트들에 대해 일정한 재생 속도를 할당하는 단계; 및
    상기 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트에 대해, 상기 일정한 재생 속도를 사용할 때의 상기 제1 세트의 비디오 세그먼트들 중의 상기 대응하는 비디오 세그먼트의 재생 시간에 기초하여, 조정가능한 재생 속도를 할당하는 단계를 포함하고,
    상기 조정가능한 재생 속도는, 상기 일정한 재생 속도를 사용할 때의 상기 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간이 상기 조정가능한 재생 속도를 사용한 상기 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간과 같거나 실질적으로 같게 하기 위해 상기 제2 세트의 비디오 세그먼트들 중의 비디오 세그먼트의 재생을 가속하거나 감속하도록 구성되는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 제1 및 제2 수술 비디오들의 비교 관찰을 수행하는 단계는,
    상기 제1 수술 비디오를 제1 모니터로, 그리고 상기 제2 수술 비디오를 상기 제1 모니터 옆에 위치된 제2 모니터로 출력하는 단계; 및
    상기 제1 모니터 상에서의 상기 제1 수술 비디오의 재생 및 상기 제2 모니터 상에서의 상기 제2 수술 비디오의 재생을 동시에 시작하는 단계를 포함하고,
    상기 2개의 세트들의 동기화된 비디오 세그먼트들에 기초하여 상기 제1 수술 비디오 및 상기 제2 수술 비디오를 재생하는 단계는, 상기 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생을 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트의 재생에 자동으로 동기화시키는, 컴퓨터 구현 방법.
  9. 제8항에 있어서, 상기 제1 모니터 상에서의 상기 제1 수술 비디오의 재생은 상기 제2 모니터 상에서의 상기 제2 수술 비디오의 재생이 종료됨과 동시에 또는 실질적으로 동시에 종료되는, 컴퓨터 구현 방법.
  10. 제1항에 있어서, 상기 제1 및 제2 수술 비디오들의 비교 관찰을 수행하는 단계는,
    상기 제1 및 제2 수술 비디오들을 조합함으로써 분할 스크린 비디오를 생성하는 단계로서, 상기 제1 및 제2 수술 비디오들 내의 대응하는 비디오 세그먼트들은 상기 분할 스크린 비디오 내의 대응하는 페이즈 경계들에서 시간-정렬되는, 상기 단계; 및
    모니터 상에서 상기 분할 스크린 비디오를 재생하여, 상기 제1 및 제2 수술 비디오들이 나란히 재생되고 상기 일정 시퀀스의 미리정의된 페이즈들 각각에서 서로 시간-정렬되게 하는 단계를 포함하는, 컴퓨터 구현 방법.
  11. 2개의 외과적 시술 비디오들을 동기화시키기 위한 시스템으로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 커플링된 메모리;
    외과적 시술에 대한 일정 시퀀스의 미리정의된 페이즈들에 기초하여 동일한 외과적 시술의 제1 수술 비디오 및 제2 수술 비디오를 각각 제1 세트의 비디오 세그먼트들 및 제2 세트의 비디오 세그먼트들로 세그먼트화하도록 구성된 세그먼트화 모듈;
    상기 일정 시퀀스의 미리정의된 페이즈들 중의 하나의 미리정의된 페이즈에 대응하는 상기 제1 세트의 비디오 세그먼트들 중의 비디오 세그먼트를 동일한 미리정의된 페이즈에 대응하는 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 구성된 동기화 모듈; 및
    비교 관찰을 위해, 상기 동기화된 비디오 세그먼트들을 디스플레이 시스템에 출력하도록 구성된 출력 모듈을 포함하는, 시스템.
  12. 제11항에 있어서, 상기 세그먼트화 모듈은,
    상기 일정 시퀀스의 미리정의된 페이즈들 중의 각각의 페이즈에 대해,
    상기 제1 또는 제2 수술 비디오 내의 페이즈의 시작을 표현하는, 상기 제1 또는 제2 수술 비디오 내의 제1 페이즈 경계를 식별하는 것;
    상기 제1 또는 제2 수술 비디오 내의 페이즈의 종료를 표현하는, 상기 제1 또는 제2 수술 비디오 내의 제2 페이즈 경계를 식별하는 것; 및
    상기 제1 또는 제2 수술 비디오의 제1 페이즈 경계와 제2 페이즈 경계 사이의 비디오 세그먼트를 상기 페이즈에 대응하는 비디오 세그먼트로서 출력하는 것에 의해, 상기 제1 수술 비디오 또는 상기 제2 수술 비디오를 세그먼트화하도록 구성되며,
    상기 제1 또는 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트는 대응하는 세트의 비디오 프레임들을 포함하는, 시스템.
  13. 제12항에 있어서, 상기 세그먼트화 모듈은, 기계 학습 엔진을 사용하여, 상기 외과적 시술 내의 대응하는 페이즈의 시작 또는 종료를 나타내는, 상기 제1 또는 제2 수술 비디오에서의 외과적 이벤트를 검출함으로써 상기 제1 또는 제2 수술 비디오 내의 상기 제1 또는 제2 페이즈 경계를 식별하도록 추가로 구성되는, 시스템.
  14. 제13항에 있어서, 상기 동기화 모듈은,
    상기 제1 수술 비디오의 비디오 세그먼트의 제1 페이즈 경계를 상기 제2 수술 비디오의 대응하는 비디오 세그먼트의 제1 페이즈 경계에 시간-정렬시키는 것; 및
    제1 재생 속도를 사용한 비디오 세그먼트의 제1 재생 시간이 제2 재생 속도를 사용한 대응하는 비디오 세그먼트의 제2 재생 시간과 동일하거나 실질적으로 동일하게 하여, 이에 의해, 상기 제1 수술 비디오의 비디오 세그먼트의 제2 페이즈 경계가 상기 제2 수술 비디오의 대응하는 비디오 세그먼트의 제2 페이즈 경계에 시간-정렬되게 하도록 상기 비디오 세그먼트에 대한 상기 제1 재생 속도 및 상기 대응하는 비디오 세그먼트에 대한 상기 제2 재생 속도를 결정하는 것에 의해, 상기 제1 세트의 비디오 세그먼트들 중의 비디오 세그먼트를 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 구성되는, 시스템.
  15. 제11항에 있어서, 상기 동기화 모듈은,
    상기 비디오 세그먼트에 포함된 비디오 프레임들의 제1 개수를 결정하는 것;
    상기 대응하는 비디오 세그먼트에 포함된 비디오 프레임들의 제2 개수를 결정하는 것; 및
    비디오 프레임들의 상기 제1 개수 및 상기 제2 개수에 기초하여 상기 비디오 세그먼트를 재생하기 위한 제1 프레임 레이트 및 상기 대응하는 비디오 세그먼트를 재생하기 위한 제2 프레임 레이트를 결정하여, 상기 제1 프레임 레이트를 사용한 상기 비디오 세그먼트의 제1 재생 시간이 상기 제2 프레임 레이트를 사용한 상기 대응하는 비디오 세그먼트의 제2 재생 시간과 같거나 실질적으로 같게 하는 것에 의해, 상기 제1 세트의 비디오 세그먼트들 중의 상기 비디오 세그먼트를 상기 제2 세트의 비디오 세그먼트들 중의 상기 대응하는 비디오 세그먼트에 동기화시키도록 추가로 구성되는, 시스템.
  16. 제15항에 있어서, 상기 제1 프레임 레이트는 상기 제1 수술 비디오의 모든 비디오 세그먼트들에 대해 일정한 프레임 레이트이고, 상기 제2 프레임 레이트는 상기 일정한 프레임 레이트, 및 비디오 프레임들의 상기 제1 개수 및 상기 제2 개수에 기초하여 계산되는, 시스템.
  17. 제11항에 있어서, 상기 제1 수술 비디오는 기준 비디오이고, 상기 동기화 모듈은,
    상기 제1 세트의 비디오 세그먼트들 중의 모든 비디오 세그먼트들에 대해 일정한 재생 속도를 할당하는 것; 및
    상기 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트에 대해, 상기 일정한 재생 속도를 사용할 때의 상기 제1 세트의 비디오 세그먼트들 중의 상기 대응하는 비디오 세그먼트의 재생 시간에 기초하여, 조정가능한 재생 속도를 할당하는 것에 의해, 상기 제1 수술 비디오의 상기 제1 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트를 상기 제2 수술 비디오의 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 추가로 구성되고,
    상기 조정가능한 재생 속도는, 상기 일정한 재생 속도를 사용할 때의 상기 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간이 상기 조정가능한 재생 속도를 사용한 상기 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간과 같거나 실질적으로 같게 하기 위해 상기 제2 세트의 비디오 세그먼트들 중의 비디오 세그먼트의 재생을 가속하거나 감속하도록 구성되는, 시스템.
  18. 제11항에 있어서, 상기 출력 모듈은,
    상기 제1 세트의 비디오 세그먼트들 중의 상기 비디오 세그먼트를 제1 모니터로, 그리고 상기 제2 세트의 비디오 세그먼트들 중의 상기 대응하는 비디오 세그먼트를 상기 제1 모니터 옆에 위치된 제2 모니터로 출력하도록; 그리고
    상기 제1 모니터 상에서의 상기 제1 수술 비디오의 비디오 세그먼트의 재생 및 상기 제2 모니터 상에서의 상기 제2 수술 비디오의 대응하는 비디오 세그먼트의 재생을 동시에 시작하도록 추가로 구성되고,
    상기 2개의 동기화된 비디오 세그먼트들에 기초하여 상기 제1 수술 비디오 및 상기 제2 수술 비디오를 재생하는 것은, 상기 제1 수술 비디오의 비디오 세그먼트의 재생을 상기 제2 수술 비디오의 대응하는 비디오 세그먼트의 재생에 자동으로 동기화시키는, 시스템.
  19. 2개의 외과적 시술 비디오들을 동기화시키기 위한 장치로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 커플링된 메모리;
    외과적 시술에 대한 일정 시퀀스의 미리정의된 페이즈들에 기초하여 동일한 외과적 시술의 제1 수술 비디오 및 제2 수술 비디오를 각각 제1 세트의 비디오 세그먼트들 및 제2 세트의 비디오 세그먼트들로 세그먼트화하도록 구성된 세그먼트화 모듈;
    상기 일정 시퀀스의 미리정의된 페이즈들 중의 하나의 미리정의된 페이즈에 대응하는 상기 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트를 동일한 미리정의된 페이즈에 대응하는 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 구성된 동기화 모듈; 및
    비교 관찰을 위해, 상기 제1 및 제2 세트들의 동기화된 비디오 세그먼트들을 디스플레이 시스템에 출력하도록 구성된 출력 모듈을 포함하는, 장치.
  20. 제19항에 있어서, 상기 제1 수술 비디오는 기준 비디오이고, 상기 동기화 모듈은,
    상기 제1 세트의 비디오 세그먼트들 중의 모든 비디오 세그먼트들에 대해 일정한 재생 속도를 할당하는 것; 및
    상기 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트에 대해, 상기 일정한 재생 속도를 사용할 때의 상기 제1 세트의 비디오 세그먼트들 중의 상기 대응하는 비디오 세그먼트의 재생 시간에 기초하여, 조정가능한 재생 속도를 할당하는 것에 의해, 상기 제1 세트의 비디오 세그먼트들 중의 주어진 비디오 세그먼트를 상기 제2 세트의 비디오 세그먼트들 중의 대응하는 비디오 세그먼트에 동기화시키도록 추가로 구성되고,
    상기 조정가능한 재생 속도는, 상기 일정한 재생 속도를 사용할 때의 상기 제1 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간이 상기 조정가능한 재생 속도를 사용한 상기 제2 세트의 비디오 세그먼트들 중의 각각의 비디오 세그먼트의 재생 시간과 같거나 실질적으로 같게 하기 위해 상기 제2 세트의 비디오 세그먼트들 중의 비디오 세그먼트의 재생을 가속하거나 감속하도록 구성되는, 장치.
KR1020227000841A 2019-06-13 2019-06-21 비교 학습을 위한 시술 비디오들을 동기화하기 위한 방법 및 시스템 KR20220020896A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/440,647 2019-06-13
US16/440,647 US10791301B1 (en) 2019-06-13 2019-06-13 Method and system for synchronizing procedure videos for comparative learning
PCT/US2019/038603 WO2020251595A1 (en) 2019-06-13 2019-06-21 Method and system for synchronizing procedure videos for comparative learning

Publications (1)

Publication Number Publication Date
KR20220020896A true KR20220020896A (ko) 2022-02-21

Family

ID=72615187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000841A KR20220020896A (ko) 2019-06-13 2019-06-21 비교 학습을 위한 시술 비디오들을 동기화하기 위한 방법 및 시스템

Country Status (5)

Country Link
US (4) US10791301B1 (ko)
EP (1) EP3984244A4 (ko)
KR (1) KR20220020896A (ko)
CN (1) CN114128304B (ko)
WO (1) WO2020251595A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847936B2 (en) * 2018-11-15 2023-12-19 Intuitive Surgical Operations, Inc. Training users using indexed to motion pictures
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
KR102572006B1 (ko) 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
US11348682B2 (en) 2020-04-05 2022-05-31 Theator, Inc. Automated assessment of surgical competency from video analyses
CN112380378B (zh) * 2020-11-17 2022-09-02 北京字跳网络技术有限公司 歌词特效展示方法、装置、电子设备及计算机可读介质
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
US11631433B2 (en) 2021-08-10 2023-04-18 International Business Machines Corporation Optimized video segmentation for completing tasks
US20230153344A1 (en) * 2021-11-16 2023-05-18 Samsung Electronics Co., Ltd. Probabilistic procedure planning for instructional videos

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1450555A1 (en) * 2003-02-18 2004-08-25 Thomson Licensing S.A. Video device and method for synchronising time bases of video devices
JP4585997B2 (ja) 2006-08-29 2010-11-24 独立行政法人産業技術総合研究所 手術用トレーニング装置
JP2009044213A (ja) * 2007-08-06 2009-02-26 Sony Corp ビデオ再生方法およびビデオ再生装置
US20100167250A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator having multiple tracking systems
US20130218137A1 (en) 2011-12-30 2013-08-22 Mako Surgical Corp. Integrated surgery system
US8994828B2 (en) * 2013-02-28 2015-03-31 Apple Inc. Aligned video comparison tool
US10134296B2 (en) * 2013-10-03 2018-11-20 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
US10521671B2 (en) * 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
JP6419441B2 (ja) 2014-03-11 2018-11-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
EP3245792A1 (en) * 2014-12-25 2017-11-22 Echostar Ukraine, L.L.C. Simultaneously viewing multiple camera angles
JP6912393B2 (ja) * 2015-06-09 2021-08-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療環境におけるビデオの内容検索
KR101758740B1 (ko) 2015-09-09 2017-08-11 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
WO2017083768A1 (en) * 2015-11-12 2017-05-18 Jarc Anthony Michael Surgical system with training or assist functions
EP3171599A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Method for generating a user interface presenting a plurality of videos
CN106792080A (zh) * 2016-12-07 2017-05-31 北京小米移动软件有限公司 视频播放方法及装置
CN110089110B (zh) * 2017-07-24 2020-07-07 三菱电机株式会社 显示器及显示方法
CN107818706A (zh) * 2017-10-30 2018-03-20 中科汉华医学科技（北京）有限公司 一种医院远程直播式教学培训系统
KR101864380B1 (ko) 2017-12-28 2018-06-04 (주)휴톰 수술영상데이터 학습시스템
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
CN108833816B (zh) * 2018-06-14 2020-10-02 成都依能科技股份有限公司 一种多通道音视频同步录制与多轨道同步编辑的方法
CN109168066A (zh) * 2018-10-29 2019-01-08 四川长虹电器股份有限公司 一种屏幕墙同步播放系统及方法
US11348235B2 (en) * 2019-03-22 2022-05-31 Verily Life Sciences Llc Improving surgical video consumption by identifying useful segments in surgical videos

Also Published As

Publication number Publication date
US20220217305A1 (en) 2022-07-07
US11677909B2 (en) 2023-06-13
CN114128304B (zh) 2024-03-08
US10791301B1 (en) 2020-09-29
EP3984244A4 (en) 2023-07-12
US20230276027A1 (en) 2023-08-31
WO2020251595A1 (en) 2020-12-17
EP3984244A1 (en) 2022-04-20
US20210006752A1 (en) 2021-01-07
CN114128304A (zh) 2022-03-01
US11290689B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
KR20220020896A (ko) 비교 학습을 위한 시술 비디오들을 동기화하기 위한 방법 및 시스템
Yoganathan et al. 360 virtual reality video for the acquisition of knot tying skills: A randomised controlled trial
US20080145830A1 (en) Synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
Smith et al. Edit Blindness: The relationship between attention and global change blindness in dynamic scenes.
US10360814B2 (en) Motion learning support apparatus
US20040152058A1 (en) Video instructional system and method for teaching motor skills
US20080145829A1 (en) Synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
JP2005525598A (ja) 手術トレーニングシミュレータ
JP2004007539A (ja) ビジュアル情報の記録／再生方法、その装置及び通信システム
US20130157239A1 (en) Augmented reality tele-mentoring (art) platform for laparoscopic training
JP2011227365A (ja) 医療看護技術学習支援装置および医療看護技術学習方法
Heinemann et al. The virtual accomplishment of knitting: How novice knitters follow instructions when using a video tutorial
CN114842704B (zh) 培训系统及培训方法
JP4585997B2 (ja) 手術用トレーニング装置
Lee et al. Wearable recording video technology for surgical training in living donor liver transplantation
Pelz et al. Visual gaze as a marker of deaf students’ attention during mediated instruction
JP2021137425A (ja) 視点確認システム
Szarkowska et al. Visual attention distribution in intralingual respeaking
JP2021090118A5 (ko)
JP7406761B1 (ja) 人材育成を支援するためのプログラムおよび装置
US20240105071A1 (en) Learning analysis device, learning analysis method, and program
TWI789083B (zh) 擴增實境內容播放之控制方法、系統及其電腦可讀媒介
Smirnova The specificity of forming strategies of the dyad adult-child with hearing impairment in the process of learning: eye tracking of double eye tracking technologies (duet)
JP3834974B2 (ja) マルチメディアデータ記録及び再生方法
JP7379918B2 (ja) 記録再生制御装置および記録再生制御方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal