KR102265104B1 - 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템 - Google Patents

해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102265104B1
KR102265104B1 KR1020197025761A KR20197025761A KR102265104B1 KR 102265104 B1 KR102265104 B1 KR 102265104B1 KR 1020197025761 A KR1020197025761 A KR 1020197025761A KR 20197025761 A KR20197025761 A KR 20197025761A KR 102265104 B1 KR102265104 B1 KR 102265104B1
Authority
KR
South Korea
Prior art keywords
video image
content
region
organized
content identifier
Prior art date
Application number
KR1020197025761A
Other languages
English (en)
Other versions
KR20190104463A (ko
Inventor
밍-창 리우
천-루이 처우
고-카이 알버트 황
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20190104463A publication Critical patent/KR20190104463A/ko
Application granted granted Critical
Publication of KR102265104B1 publication Critical patent/KR102265104B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템의 다양한 양태들이 본원에 개시되어 있다. 본 개시내용의 일 실시예에 따르면, 본 방법은 영상 포착 디바이스에 통신가능하게 결합되는 콘텐츠 처리 디바이스에서 구현가능하다. 본 방법은 해부학적 영역의 비디오 영상에서 하나 이상의 비-조직 영역들을 식별하는 것을 포함한다. 비디오 영상은 영상 포착 디바이스에 의해 생성된다. 그 후에, 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들이 결정된다. 게다가, 결정된 하나 이상의 콘텐츠 식별자들 각각은, 식별된 하나 이상의 비-조직 영역들에 대응하는, 대응하는 비-조직 영역과 연관된다.

Description

해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템{METHOD AND SYSTEM FOR CONTENT MANAGEMENT OF VIDEO IMAGES OF ANATOMICAL REGIONS}
관련 출원의 상호 참조/참조에 의한 원용
본 출원은 2015년 3월 2일에 출원된 미국 특허 가출원 제62/126,758호 - 그 전체 내용이 이로써 참조에 의해 원용됨 - 를 우선권 주장한다.
본 개시내용의 다양한 실시예들은 콘텐츠 관리에 관한 것이다. 보다 구체적으로는, 본 개시내용의 다양한 실시예들은 해부학적 영역들의 비디오 영상들의 콘텐츠 관리에 관한 것이다.
의학 분야의 최근의 진보에 따라, 다양한 수술 및 진단 절차들이 이제는 최소 침습 기법(minimally invasive technique)들을 사용하여 수행될 수 있다. 이러한 최소 침습 기법들은 환자의 피부에 작은 절개부들이 만들어지는 것을 필요로 한다. 이러한 작은 절개부들을 통해, 내시경 및/또는 복강경 수술 도구들이 환자의 피부를 통해 체강(body cavity) 내로 삽입될 수 있다. 내시경 및/또는 복강경 도구들 중 적어도 하나는 체강의 비디오 영상들을 포착하기 위한 내장 카메라(in-built camera)를 포함한다. 카메라는 의사가 수술 또는 진단 절차가 수행되어야 하는 해부학적 영역에 도달하기 위해 내시경 및/또는 복강경 수술 도구들을 체강을 통해 조종(navigate)할 수 있게 할 것이다. 다른 내시경 도구 및/또는 복강경 도구들은 해부학적 영역의 조직들에 대해 수술을 수행할 수 있다.
일반적으로, 이러한 수술 또는 진단 절차들이 수행될 때 수술 영상이 기록된다. 수술 영상은, 시야 내에 있는 그리고 시야를 벗어나 있는 수술 기구들의 움직임 및/또는 거즈의 움직임과 같은, 다양한 진행 중인 활동들을 갖는 복잡한 수술 장면들을 포함할 수 있다. 특정 시나리오들에서, 복잡한 수술 장면 구성들에서의 그리고 진행 중인 활동들 동안의 (조직 모습(tissue appearance), 조직 운동(tissue motion), 조직 변형(tissue deformation), 갑작스런 출혈, 및/또는 연기 출현과 같은) 예측할 수 없는 상황들은 센서 영상 품질뿐만 아니라 수술 또는 진단 절차 효율성에 영향을 미칠 수 있다. 따라서, 수술 또는 진단 절차 동안의 수술 내비게이션 지원(surgical navigation assistance) 및 수술 영상의 콘텐츠 관리를 위해 수술 또는 진단 절차 동안 포착된 수술 영상을 이해할 필요가 있다.
종래의 전통적인 접근법들의 추가의 한계들 및 단점들이, 기술된 시스템들을, 본 출원의 나머지에서 도면들을 참조하여 기재되는 바와 같은, 본 개시내용의 일부 양태들과 비교하는 것을 통해, 본 기술분야의 통상의 기술자에게는 명백하게 될 것이다.
해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템이, 청구항들에 보다 완전히 기재되는 바와 같이, 실질적으로 도면들 중 적어도 하나에 도시되고 그리고/또는 그와 관련하여 기술된다.
본 개시내용의 이들 및 다른 특징들 및 장점들은, 도면 전체에 걸쳐 유사한 도면 부호들이 유사한 부분들을 가리키는 첨부 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있다.
도 1은 본 개시내용의 일 실시예에 따른, 네트워크 환경을 나타낸 블록도.
도 2는 본 개시내용의 일 실시예에 따른, 예시적인 콘텐츠 관리 서버를 나타낸 블록도.
도 3은 본 개시내용의 일 실시예에 따른, 예시적인 사용자 단말을 나타낸 블록도.
도 4는 본 개시내용의 일 실시예에 따른, 사용자 단말 상에 제시될 수 있는 사용자 인터페이스(UI)의 예시적인 시나리오를 나타낸 도면.
도 5는 본 개시내용의 일 실시예에 따른, 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 예시적인 방법을 나타낸 플로차트.
도 6은 본 개시내용의 일 실시예에 따른, 콘텐츠 검색을 위한 제1 예시적인 방법을 나타낸 제1 예시적인 플로차트.
도 7은 본 개시내용의 일 실시예에 따른, 콘텐츠 검색을 위한 제2 예시적인 방법을 나타낸 제2 예시적인 플로차트.
이하의 기술된 구현들은 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 개시된 방법 및 시스템에서 찾아볼 수 있다. 본 개시내용의 예시적인 양태들은 영상 포착 디바이스에 통신가능하게 결합된 콘텐츠 처리 장치에서 구현가능한 방법을 포함할 수 있다. 본 방법은 해부학적 영역의 비디오 영상에서 하나 이상의 비-조직 영역(non-tissue region)들을 식별하는 것을 포함할 수 있다. 비디오 영상은 영상 포착 디바이스에 의해 생성될 수 있다. 그 후에, 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들이 결정될 수 있다. 게다가, 결정된 하나 이상의 콘텐츠 식별자들 각각은 식별된 하나 이상의 비-조직 영역들 중의 대응하는 비-조직 영역과 연관될 수 있다.
일 실시예에 따르면, 하나 이상의 비-조직 영역들은 연기/미스트 영역(smoke/mist region), 수술 기구 영역, 수술 거즈 영역, 또는 혈액 영역을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 대응하는 비-조직 영역과 연관된 각각의 결정된 콘텐츠 식별자에 기초하여, 비디오 영상에서의 각각의 식별된 비-조직 영역에 대해 인덱스가 생성된다.
일 실시예에 따르면, 하나 이상의 검색어(search term)들을 포함하는 질의가 수신될 수 있다. 하나 이상의 검색어들이 제1 콘텐츠 식별자와 연관될 수 있다. 일 실시예에 따르면, 제1 콘텐츠 식별자는 자연어 처리 기법 또는 텍스트 처리 기법을 사용하여 하나 이상의 검색어들에 기초하여 결정될 수 있다. 그 후에, 하나 이상의 비디오 영상 부분들이 제1 콘텐츠 식별자에 기초하여 비디오 영상으로부터 검색될 수 있다. 검색된 하나 이상의 비디오 영상 부분들은 식별된 비-조직 영역들 중의 적어도 제1 비-조직 영역을 포함할 수 있다. 제1 비-조직 영역은 제1 콘텐츠 식별자에 대응할 수 있다. 일 실시예에 따르면, 검색된 하나 이상의 비디오 부분들이 디스플레이될 수 있다. 일 실시예에 따르면, 디스플레이된 하나 이상의 비디오 영상 부분들 내에서 제1 비-조직 영역이 마스킹되거나 하이라이트될 수 있다. 일 실시예에 따르면, 검색된 하나 이상의 비디오 영상 부분들은 픽처 인 픽처 인터페이스(picture-in-picture interface) 또는 픽처 온 픽처 인터페이스(picture-on-picture interface)를 통해 디스플레이될 수 있다.
일 실시예에 따르면, 검색된 하나 이상의 비디오 영상 부분들 중의 제1 비디오 영상 부분을 포함하는 비디오 영상에 대응하는 타임스탬프(timestamp)가 디스플레이된다. 제1 비디오 영상 부분은 비디오 영상에서의 이벤트의 발생에 대응할 수 있다. 이벤트의 예들은 비디오 영상들 내에서의 제1 비-조직 영역의 최초 출현, 비디오 영상들 내에서의 제1 비-조직 영역의 마지막 출현, 제1 비-조직 영역과 조직 영역 간의 근접성, 제1 비-조직 영역과 하나 이상의 비-조직 영역들 중의 다른 비-조직 영역 간의 다른 근접성을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 제1 콘텐츠 식별자와의 연관에 부가하여, 하나 이상의 검색어들이 발생된 이벤트와 추가로 연관될 수 있다.
일 실시예에 따르면, 식별된 하나 이상의 비-조직 영역들, 결정된 하나 이상의 콘텐츠 식별자들, 및 비-조직 영역에 대응하는 결정된 하나 이상의 콘텐츠 식별자들 각각의 연관에 기초하여, 머신 학습(machine learning)이 수행될 수 있다.
도 1은 본 개시내용의 일 실시예에 따른, 네트워크 환경을 나타낸 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 수술 디바이스(102), 콘텐츠 관리 서버(104), 비디오 데이터베이스(106), 사용자 단말(108), 및 통신 네트워크(110)를 포함할 수 있다. 수술 디바이스(102)는, 통신 네트워크(110)를 통해, 콘텐츠 관리 서버(104), 비디오 데이터베이스(106), 및 사용자 단말(108)과 통신가능하게 결합될 수 있다.
수술 디바이스(102)는 환자의 하나 이상의 해부학적 영역들과 연관된 하나 이상의 수술 절차들 및/또는 진단 분석을 수행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 수술 디바이스(102)의 예들은 최소 침습 수술/진단 디바이스, 최소 절개 수술/진단 디바이스, 및/또는 내시경/복강경 수술/진단 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 수술 디바이스(102)는 환자의 해부학적 영역의 비디오 영상들을 포착하는 영상 포착 디바이스(도 1에 도시되지 않음)를 추가로 포함할 수 있다. 대안적으로, 수술 디바이스(102)는, 통신 네트워크(110)를 통해, 영상 포착 디바이스에 통신가능하게 결합될 수 있다. 영상 포착 디바이스의 예들은 내시경/복강경 카메라, MRI(medical resonance imaging) 디바이스, CT(computer tomography) 스캐닝 디바이스, 최소 침습 의료 영상 디바이스, 및/또는 최소 절개 의료 영상 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
콘텐츠 관리 서버(104)는, 사용자 단말(108) 및/또는 수술 디바이스(102)와 같은, 하나 이상의 가입된 전자 디바이스들에 해부학적 콘텐츠 관리 서비스를 제공할 수 있는 하나 이상의 서버들을 포함할 수 있다. 일 실시예에 따르면, 하나 이상의 서버들은 본 기술분야의 통상의 기술자에게 널리 공지되어 있는 몇 가지 기술들을 사용하여 복수의 클라우드 기반 자원들로서 구현될 수 있다. 게다가, 하나 이상의 서버들은 단일의 또는 다수의 서비스 제공자들과 연관될 수 있다. 하나 이상의 서버들의 예들은 Apache™ HTTP Server, Microsoft®　IIS(Internet Information Services), IBM®　Application Server, Sun Java™ System Web Server, 및/또는 파일 서버를 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 콘텐츠 관리 서버(104) 및 수술 디바이스(102)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)의 기능들이, 본 개시내용의 범주를 벗어나지 않고, 수술 디바이스(102)에 의해 구현될 수 있다.
비디오 데이터베이스(106)는 한 명 이상의 환자들의 하나 이상의 해부학적 영역들에 대해 수행되는 수술 또는 진단 절차들의 비디오 영상들의 리포지토리를 저장할 수 있다. 일 실시예에 따르면, 비디오 데이터베이스(106)는 콘텐츠 관리 서버(104)에 통신가능하게 결합될 수 있다. 비디오 데이터베이스(106)는, 콘텐츠 관리 서버(104)를 통해, 영상 포착 디바이스에 의해 포착될 수 있는 비디오 영상들을 수신할 수 있다. 일 실시예에 따르면, 비디오 데이터베이스(106)는 본 기술분야에 공지된 다양한 데이터베이스 기술들을 사용하여 구현될 수 있다. 비디오 데이터베이스(106)의 예들은 Microsoft®　SQL Server, Oracle®, IBM DB2®, Microsoft Access®, PostgreSQL®, MySQL®, SQLite®, 및/또는 기타를 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)는, 하나 이상의 프로토콜들에 기초하여, 비디오 데이터베이스(106)에 연결할 수 있다. 이러한 하나 이상의 프로토콜들의 예들은 ODBC(Open Database Connectivity)® 프로토콜 및 JDBC(Java Database Connectivity)® 프로토콜을 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 콘텐츠 관리 서버(104) 및 비디오 데이터베이스(106)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 것이다. 일 실시예에 따르면, 비디오 데이터베이스(106)의 기능들은, 본 개시내용의 범주를 벗어나지 않고, 콘텐츠 관리 서버(104)에 의해 구현될 수 있다.
사용자 단말(108)은, 의사와 같은, 사용자에게 콘텐츠 관리를 위한 사용자 인터페이스(UI)를 제시하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 사용자 단말(108)의 예들은, 스마트폰, 카메라, 태블릿 컴퓨터, 랩톱, 웨어러블 전자 디바이스, 텔레비전, IPTV(Internet Protocol Television), 및/또는 PDA(Personal Digital Assistant) 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 사용자 단말(108) 및 콘텐츠 관리 서버(104)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)의 기능들이, 본 개시내용의 사상을 벗어나지 않고, 사용자 단말(108)에 의해 구현될 수 있다. 예를 들어, 콘텐츠 관리 서버(104)는 사용자 단말(108) 상에서 실행되고 그리고/또는 그 상에 설치되는 애플리케이션 프로그램으로서 구현될 수 있다.
본 기술분야의 통상의 기술자는, 일 실시예에 따르면, 사용자 단말(108)이 수술 디바이스(102)와 통합될 수 있다는 것을 추가로 이해할 수 있다. 대안적으로, 사용자 단말(108)은 수술 디바이스(102)에 통신가능하게 결합될 수 있고, 의사와 같은, 사용자 단말(108)의 사용자는 사용자 단말(108)의 UI를 통해 수술 디바이스(102)를 제어할 수 있다.
통신 네트워크(110)는 수술 디바이스(102) 및/또는 사용자 단말(108)이, 콘텐츠 관리 서버(104)와 같은, 하나 이상의 서버들과 통신하는 데 사용할 수 있는 매체를 포함할 수 있다. 통신 네트워크(110)의 예들은 인터넷, 클라우드 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WLAN(Wireless Local Area Network), LAN(Local Area Network), POTS(plain old telephone service), 및/또는 MAN(Metropolitan Area Network)을 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은, 다양한 유선 및 무선 통신 프로토콜들에 따라, 통신 네트워크(110)에 연결하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), ZigBee, EDGE, 적외선(IR), IEEE 802.11, 802.16, 셀룰러 통신 프로토콜들, 및/또는 블루투스(BT) 통신 프로토콜들을 포함할 수 있지만, 이들로 제한되지 않는다.
동작 중에, 콘텐츠 관리 서버(104)는 해부학적 영역의 각각의 비디오 영상에서 하나 이상의 비-조직 영역들을 식별하도록 구성될 수 있다. 각각의 비디오 영상에서 하나 이상의 비-조직 영역들을 식별하는 것은 본 기술분야에 공지된 하나 이상의 객체 인식 알고리즘(object recognition algorithm)들에 기초하여 수행될 수 있다.
콘텐츠 관리 서버(104)는 비디오 영상에서의 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들을 결정하도록 추가로 구성될 수 있다. 그 후에, 콘텐츠 관리 서버(104)는 결정된 하나 이상의 콘텐츠 식별자들 각각을 식별된 하나 이상의 비-조직 영역들 중의 대응하는 비-조직 영역과 연관시킬 수 있다. 일 실시예에 따르면, 하나 이상의 비-조직 영역들은 연기/미스트 영역, 수술 기구 영역, 수술 거즈 영역, 또는 혈액 영역을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)는, 대응하는 비-조직 영역과 연관된 각각의 결정된 콘텐츠 식별자에 기초하여, 비디오 영상에서의 각각의 식별된 비-조직 영역에 대한 인덱스를 생성하도록 구성될 수 있다. 비디오 영상들에서의 인덱싱된 하나 이상의 비-조직 영역들은, 추후 검색을 위해, 비디오 데이터베이스(106)에 저장될 수 있다.
일 실시예에 따르면, 콘텐츠 관리 서버(104)는 사용자 단말(108)로부터 질의를 수신하도록 구성될 수 있다. 질의는 하나 이상의 검색어들을 포함할 수 있다. 하나 이상의 검색어들이 제1 콘텐츠 식별자와 연관될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)는 자연어 처리 기법 또는 텍스트 처리 기법을 사용하여, 하나 이상의 검색어들에 기초하여, 제1 콘텐츠 식별자를 결정하도록 구성될 수 있다.
그 후에, 콘텐츠 관리 서버(104)는, 제1 콘텐츠 식별자에 기초하여, 비디오 영상으로부터 하나 이상의 비디오 영상 부분들을 검색할 수 있다. 검색된 하나 이상의 비디오 영상 부분들은 제1 콘텐츠 식별자에 대응하는 적어도 제1 비-조직 영역을 포함할 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)는 검색된 하나 이상의 비디오 부분들을, 사용자 단말(108)의 UI를 통해, 의사를 위한 사용자 단말에 디스플레이하도록 구성될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)는 디스플레이된 하나 이상의 비디오 영상 부분들 내의 제1 비-조직 영역을 마스킹하거나 하이라이트할 수 있다. 일 실시예에 따르면, 검색된 하나 이상의 비디오 영상 부분들은 픽처 인 픽처 인터페이스 또는 픽처 온 픽처 인터페이스를 통해 디스플레이될 수 있다.
일 실시예에 따르면, 콘텐츠 관리 서버(104)는 하나 이상의 비디오 영상들 중의 원하는 비디오 영상에 대응하는 타임스탬프를 디스플레이하도록 구성될 수 있다. 이러한 비디오 영상은 검색된 하나 이상의 비디오 영상 부분들 중의 제1 비디오 영상 부분을 포함할 수 있다. 제1 비디오 영상 부분은 비디오 영상에서의 이벤트의 발생에 대응할 수 있다. 이벤트의 예들은 비디오 영상들 내에서의 제1 비-조직 영역의 최초 출현, 비디오 영상들 내에서의 제1 비-조직 영역의 마지막 출현, 제1 비-조직 영역과 조직 영역 간의 근접성, 제1 비-조직 영역과 하나 이상의 비-조직 영역들 중의 다른 비-조직 영역 간의 다른 근접성을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 제1 콘텐츠 식별자와의 연관에 부가하여, 하나 이상의 검색어들이 발생된 이벤트와 추가로 연관될 수 있다. 제1 콘텐츠 식별자 및 하나 이상의 검색어들과 발생된 이벤트 간의 이러한 연관은, 출혈 위치확인(혈액 얼룩(blood stain)들의 위치 및 출처를 식별하기 위해), 연기 배출 및 렌즈 청소 트리거(수술 영역에 연기 및/또는 미스트가 나타나는 경우에 시야를 개선시키기 위해), 수술 도구 경고(수술 도구들과 조직 영역들 사이의 근접성 거리(proximity distance)를 결정하기 위해), 그리고/또는 거즈 및/또는 수술 도구 추적(거즈들 및/또는 수술 도구들과 해부학적 영역들 사이의 간격(clearance)에 대한 자동 검사를 위해)과 같은, 하나 이상의 수술 내비게이션 지원을 제공할 수 있다.
일 실시예에 따르면, 콘텐츠 관리 서버(104)는, 식별된 하나 이상의 비-조직 영역들, 결정된 하나 이상의 콘텐츠 식별자들, 및 결정된 하나 이상의 콘텐츠 식별자들 각각과 대응하는 비-조직 영역 간의 연관에 기초하여, 머신 학습을 수행하도록 추가로 구성될 수 있다. 콘텐츠 관리 서버(104)에 의해 수행되는 머신 학습에 기초하여, 콘텐츠 관리 서버(104)는 하나 이상의 콘텐츠 식별자들 각각을 하나 이상의 해부학적 영역들의 새로운 비디오 영상들에서의 대응하는 비-조직 영역과 연관시키도록 구성될 수 있다.
도 2는 본 개시내용의 일 실시예에 따른, 예시적인 콘텐츠 관리 서버를 나타낸 블록도이다. 도 2는 도 1로부터의 요소들과 관련하여 설명된다. 도 2를 참조하면, 콘텐츠 관리 서버(104)가 도시되어 있다. 콘텐츠 관리 서버(104)는 프로세서(202)와 같은 하나 이상의 프로세서들, 송수신기(204)와 같은 하나 이상의 송수신기들, 메모리(206), 및 콘텐츠 관리 유닛(208)을 포함할 수 있다. 콘텐츠 관리 유닛(208)은 수술 장면 분석기(210), 데이터베이스 커넥터(212), UI 관리자(214), 자연어 파서(216), 및 머신 학습 엔진(218)을 포함할 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)는 송수신기(204)를 거쳐, 통신 네트워크(110)를 통해, 비디오 데이터베이스(106)에 통신가능하게 결합될 수 있다. 대안적으로, 콘텐츠 관리 서버(104)는 비디오 데이터베이스(106)를 포함할 수 있다. 예를 들어, 비디오 데이터베이스(106)는 메모리(206) 내에 구현될 수 있다.
프로세서(202)는 송수신기(204), 메모리(206), 및 콘텐츠 관리 유닛(208)에 통신가능하게 결합될 수 있다. 송수신기(204)는, 통신 네트워크(110)를 통해, 수술 디바이스(102) 및 사용자 단말(108)과 통신하도록 구성될 수 있다.
프로세서(202)는 메모리(206)에 저장된 명령어 세트를 실행하도록 구성될 수 있는, 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(202)는 본 기술 분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(202)의 예들은 X86 기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 및/또는 다른 프로세서들일 수 있다.
송수신기(204)는 (도 1에 도시된 바와 같이) 통신 네트워크(110)를 통해 사용자 단말(108) 및/또는 수술 디바이스(102)와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 송수신기(204)는 통신 네트워크(110)를 사용하여 콘텐츠 관리 서버(104)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 송수신기(204)는 안테나, RF(radio frequency) 송수신기, 하나 이상의 증폭기들, 하나 이상의 발진기들, 디지털 신호 프로세서, 코덱(CODEC: coder-decoder(코더-디코더)) 칩셋, SIM(subscriber identity module) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다.
송수신기(204)는 무선 통신을 통해 인터넷, 인트라넷 및/또는, 셀룰러 전화 네트워크와 같은, 무선 네트워크, 무선 LAN(wireless local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들과 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징, 및/또는 SMS(Short Message Service)를 위한 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수 있다.
메모리(206)는 프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 일 실시예에 따르면, 메모리(206)는 영상 포착 디바이스에 의해 포착되는 비디오 이미지들을 저장하도록 추가로 구성될 수 있다. 메모리(206)는 비디오 영상들에서의 하나 이상의 비-조직 영역들과 연관된 하나 이상의 콘텐츠 식별자들을 저장할 수 있다. 하나 이상의 콘텐츠 식별자들은 하나 이상의 비디오 영상들의 분석에 기초하여 결정될 수 있다. 대안적으로, 하나 이상의 콘텐츠 식별자들은 미리 결정되어 메모리(206)에 미리 저장될 수 있다. 메모리(206)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), HDD(Hard Disk Drive), 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
콘텐츠 관리 유닛(208)은 해부학적 콘텐츠 관리를 수행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 해부학적 콘텐츠는 영상 포착 디바이스에 의해 포착되는 비디오 영상들을 포함할 수 있다. 일 실시예에 따르면, 콘텐츠 관리 유닛(208)은 프로세서(202)의 일부일 수 있다. 대안적으로, 콘텐츠 관리 유닛(208)은 콘텐츠 관리 서버(104)에서 별도의 프로세서 또는 회로부로서 구현될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 유닛(208) 및 프로세서(202)는 콘텐츠 관리 유닛(208) 및 프로세서(202)의 기능들을 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 유닛(208)은 프로세서(202)에 의해 실행될 때 콘텐츠 관리 유닛(208)의 기능들을 수행할 수 있는, 메모리(206)에 저장된, 컴퓨터 프로그램 코드로서 구현될 수 있다.
수술 장면 분석기(210)는 영상 포착 디바이스에 의해 포착되는 비디오 영상들을 분석하기 위해 하나 이상의 영상 처리 동작들을 수행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 비디오 영상들은 수술 디바이스(102)를 사용하여 수술 또는 진단 절차가 수행되는 환자의 해부학적 영역을 포함할 수 있다. 비디오 영상들의 분석에 기초하여, 수술 장면 분석기(210)는 각각의 비디오 영상에서 하나 이상의 비-조직 영역들을 식별할 수 있다. 일 실시예에 따르면, 하나 이상의 비-조직 영역들은 연기/미스트 영역, 수술 기구 영역, 수술 거즈 영역, 또는 혈액 영역을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 수술 장면 분석기(210)는 각각의 비디오 영상에서의 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들을 결정할 수 있다. 대안적으로, 하나 이상의 콘텐츠 식별자들이 메모리(206)에 미리 저장될 수 있다. 이러한 시나리오에서, 하나 이상의 콘텐츠 식별자들이 수술 장면 분석기(210)에 의해 결정될 필요는 없다. 게다가, 일 실시예에 따르면, 수술 장면 분석기(210)는 하나 이상의 콘텐츠 식별자들 각각을 각각의 비디오 영상에서의 식별된 하나 이상의 비-조직 영역들 중의 대응하는 비-조직 영역과 연관시킬 수 있다.
데이터베이스 커넥터(212)는 비디오 데이터베이스(106)에의 액세스 및 연결을 콘텐츠 관리 유닛(208)에 제공하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 데이터베이스 커넥터(212)는 콘텐츠 관리 유닛(208)과 비디오 데이터베이스(106) 사이에 데이터베이스 세션을 설정할 수 있다. 데이터베이스 세션을 설정하는 데 사용되는 하나 이상의 통신 프로토콜들의 예들은 ODBC(Open Database Connectivity) 프로토콜 및 JDBC(Java Database Connectivity) 프로토콜을 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 데이터베이스 커넥터(212)는 비디오 데이터베이스(106)에서 분석된 비디오 영상들의 인덱싱을 수행하도록 구성될 수 있는 인덱싱 엔진(indexing engine)(도 2에 도시되지 않음)을 포함할 수 있다. 비디오 영상들의 이러한 인덱싱은, 각자의 비-조직 영역에 할당된 콘텐츠 식별자에 기초하여, 비-조직 영역들에 대한 비디오 영상들의 효율적인 검색(search) 및 검색(retrieval)을 가능하게 할 수 있다. 본 기술분야의 통상의 기술자는 본 개시내용의 범주가 인덱싱 엔진의 기능을 구현하는 데이터베이스 커넥터(212)로 제한되지 않는다는 것을 이해할 수 있다. 일 실시예에 따르면, 인덱싱 엔진은 수술 장면 분석기(210)의 일부일 수 있다. 일 실시예에 따르면, 인덱싱 엔진은 콘텐츠 관리 유닛(208) 내의 독립적인 모듈로서 구현될 수 있다. 인덱싱 엔진은, 각각의 대응하는 비-조직 영역과 연관된 하나 이상의 콘텐츠 식별자들에 기초하여, 비디오 영상들에서의 식별된 하나 이상의 비-조직 영역들 각각에 대한 인덱스를 생성하도록 구성될 수 있다. 인덱싱된 비디오 영상들은 추후 검색을 위해 비디오 데이터베이스(106)에 저장될 수 있다.
UI 관리자(214)는 사용자 단말(108) 상에 제시되는 UI를 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, UI 관리자(214)는 사용자 단말(108)의 (의사와 같은) 사용자에게 검색 인터페이스(search interface)를 제공할 수 있다. 검색 인터페이스는, 사용자 단말(108)의 UI를 통해, 사용자 단말(108)의 디스플레이 디바이스 상에서 사용자에게 제시될 수 있다. 사용자는 검색 인터페이스를 통해 하나 이상의 검색어들을 포함하는 질의를 제공할 수 있다. 하나 이상의 검색어들에 기초하여, UI 관리자(214)는 비디오 데이터베이스(106)에 저장된 인덱싱된 비디오 영상들로부터 하나 이상의 비디오 영상 부분들을 검색할 수 있다. 일 실시예에 따르면, UI 관리자(214)는 검색된 하나 이상의 비디오 영상 부분들을 포함하는 결과 인터페이스를 생성할 수 있다. UI 관리자(214)는, 사용자 단말(108)의 UI를 통해, 사용자 단말(108)의 디스플레이 디바이스 상에 결과 인터페이스를 제시할 수 있다.
자연어 파서(216)는 (검색 인터페이스를 통해) 사용자 단말(108)의 사용자로부터 수신되는 하나 이상의 검색어들을 분석하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 자연어 파서(216)는 하나 이상의 자연어 처리 기법들 및/또는 텍스트 처리 기법들을 사용하여 하나 이상의 검색어들을 분석할 수 있다. 자연어 파서(216)는 검색어들 중 하나의 검색어에 대응하는 제1 콘텐츠 식별자와, 메모리(206) 및/또는 비디오 데이터베이스(106)에 미리 저장된, 하나 이상의 콘텐츠 식별자들 간의 의미론적 연관(semantic association)을 수행할 수 있다. 하나 이상의 자연어 처리 및/또는 텍스트 처리 기법들의 예들은 나이브 베이즈 분류(Naive Bayes classification), 인공 신경망, SVM(Support Vector Machine), 다항 로지스틱 회귀(multinomial logistic regression), 또는 MLE(Maximum Likelihood Estimation)를 갖는 GMM(Gaussian Mixture Model)을 포함할 수 있지만, 이들로 제한되지 않는다. 하나 이상의 검색어들의 분석에 기초하여, 자연어 파서(216)는 하나 이상의 검색어들에 대응하는 제1 콘텐츠 식별자를 결정할 수 있다. 일 실시예에 따르면, 제1 콘텐츠 식별자는 하나 이상의 콘텐츠 식별자들 중의 적어도 하나의 콘텐츠 식별자에 대응할 수 있다.
머신 학습 엔진(218)은 메모리(206) 및/또는 비디오 데이터베이스(106)에 저장된 데이터로부터 학습하는 인공 지능을 구현하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 머신 학습 엔진(218)은 메모리(206) 및/또는 비디오 데이터베이스(106)로부터 데이터를 검색하도록 추가로 구성될 수 있다. 이러한 데이터는 하나 이상의 콘텐츠 식별자들과 하나 이상의 비디오 영상들에서의 하나 이상의 대응하는 비-조직 영역들 간의 연관의 이력 데이터에 대응할 수 있다. 머신 학습 엔진(218)은 이력 데이터를 분석하고 이력 데이터로부터 하나 이상의 패턴들을 인식하도록 구성될 수 있다. 일 실시예에 따르면, 인식된 패턴들에 기초하여, 머신 학습 엔진(218)은 하나 이상의 규칙들을 생성하고 생성된 하나 이상의 규칙들을 메모리(206) 및/또는 비디오 데이터베이스(106)에 저장하도록 구성될 수 있다. 일 실시예에 따르면, 수술 장면 분석기(210)는 하나 이상의 규칙들을 검색하고 하나 이상의 규칙들에 기초하여 새로운 비디오 영상들을 분석하도록 구성될 수 있다. 예를 들어, 수술 장면 분석기(210)는 하나 이상의 콘텐츠 식별자들 각각을 새로운 비디오 영상들에서의 대응하는 비-조직 영역들에 연관시키기 위해 하나 이상의 규칙들을 이용할 수 있다. 머신 학습 엔진(218)은, ANN(Artificial Neural Network), 귀납적 논리 프로그래밍(inductive logic programming) 접근법, SVM(Support Vector Machine), 연관 규칙 학습(association rule learning) 접근법, 결정 트리 학습(decision tree learning) 접근, 및/또는 베이지안 네트워크(Bayesian network)와 같은, 하나 이상의 접근법들에 기초하여 구현될 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 본 개시내용의 범주를 제한하지 않고, 임의의 적당한 학습 접근법이 이용될 수 있다.
동작 중에, 의사는, 수술 디바이스(102) 및 하나 이상의 수술 기구들을 사용하여, 환자의 해부학적 영역에 대해 수술 또는 진단 절차를 수행할 수 있다. 하나 이상의 수술 기구들의 예들은 내시경 카테터(endoscopic catheter), 수술 집게(surgical forcep), 수술 절개 기구, 및/또는 수술 거즈를 포함할 수 있지만, 이들로 제한되지 않는다. 수술 또는 진단 절차들의 예들은 최소 침습 수술/진단 절차, 최소 절개 수술/진단 절차, 복강경 절차, 및/또는 내시경 절차를 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 수술 또는 진단 절차가 자동화되어, 의사로부터의 어떤 감독이나 지시도 없이, 수술 로봇에 의해 수행될 수 있다. 일 실시예에 따르면, 수술 또는 진단 절차가 반자동화되어, 의사로부터의 하나 이상의 입력 신호들 및/또는 명령들에 의해, 수술 로봇에 의해 수행될 수 있다. 일 실시예에 따르면, 영상 포착 디바이스(도 1에 도시되지 않음)는 수술 디바이스(102)에 통신가능하게 결합(또는 그 내부에 포함)될 수 있다. 해부학적 영역에 대해 수술 또는 진단 절차가 수행되는 동안, 영상 포착 디바이스는 해부학적 영역의 하나 이상의 비디오 영상들을 포착할 수 있다. 그 후에, 수술 디바이스(102)(또는 영상 포착 디바이스 자체)는 포착된 하나 이상의 비디오 영상들을 통신 네트워크(110)를 통해 콘텐츠 관리 서버(104)로 전송할 수 있다.
콘텐츠 관리 서버(104) 내의 송수신기(204)는 통신 네트워크(110)를 통해 수술 디바이스(102)로부터 해부학적 영역의 하나 이상의 비디오 영상들을 수신하도록 구성될 수 있다. 데이터베이스 커넥터(212)는 비디오 데이터베이스(106)와 데이터베이스 세션을 설정하고 수신된 하나 이상의 비디오 영상들을 비디오 데이터베이스(106)에 저장하도록 구성될 수 있다. 게다가, 하나 이상의 비디오 영상들이 또한 메모리(206)에 저장될 수 있다.
수술 장면 분석기(210)는 하나 이상의 비디오 영상들을 분석하도록 구성될 수 있다. 일 실시예에 따르면, 미리 결정된 수의 비디오 영상들이 수술 디바이스(102)로부터 수신될 때, 하나 이상의 비디오 영상들이 배치 모드(batch mode)에서 분석될 수 있다(오프라인 처리(offline processing)). 일 실시예에 따르면, 하나 이상의 비디오 영상들이, 새로운 비디오 영상이 수신될 때마다, 실시간으로 분석될 수 있다(온라인 처리(online processing)). 수술 장면 분석기(210)는 하나 이상의 비디오 영상들을 분석하기 위해 하나 이상의 비디오 영상들을 메모리(206) 및/또는 비디오 데이터베이스(106)로부터 검색할 수 있다. 그 후에, 수술 장면 분석기(210)는 각각의 비디오 영상에서 하나 이상의 비-조직 영역들을 식별하도록 구성될 수 있다. 하나 이상의 비-조직 영역들의 예들은 연기/미스트 영역, 수술 기구 영역, 수술 거즈 영역, 또는 혈액 영역을 포함하지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 수술 장면 분석기(210)는 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들을 결정하도록 구성될 수 있다. 일 실시예에 따르면, 하나 이상의 콘텐츠 식별자들이 의사에 의해 미리 결정되어 메모리(206) 및/또는 비디오 데이터베이스(106)에 미리 저장될 수 있다. 이러한 경우에, 수술 장면 분석기(210)는 하나 이상의 콘텐츠 식별자들을 결정할 필요가 없다. 수술 장면 분석기(210)는 메모리(206) 및/또는 비디오 데이터베이스(106)로부터 하나 이상의 콘텐츠 식별자들을 검색할 수 있다.
그 후에, 수술 장면 분석기(210)는 하나 이상의 콘텐츠 식별자들 각각을 식별된 하나 이상의 비-조직 영역들 중의 대응하는 비-조직 영역과 연관시킬 수 있다. 일 실시예에 따르면, 인덱싱 엔진(도 2에 도시되지 않음)은, 각각의 대응하는 비-조직 영역과 연관된 하나 이상의 콘텐츠 식별자들에 기초하여, 비디오 영상들에서의 식별된 하나 이상의 비-조직 영역들 각각에 대한 인덱스를 생성하도록 구성될 수 있다. 일 실시예에 따르면, 인덱싱된 비디오 영상들은 추후 검색을 위해 비디오 데이터베이스(106)에 저장될 수 있다.
일 실시예에 따르면, 수술 장면 분석기(210)는, 비디오 영상들이 실시간으로 분석될 때(온라인 처리 모드에서), 포착된 비디오 영상들과 연관된 피드백을 영상 포착 디바이스에 제공하도록 추가로 구성될 수 있다. 예를 들어, 수술 장면 분석기(210)는 비디오 영상들에서의 하나 이상의 비-조직 영역들의 마스킹을 실시간으로 수행할 수 있다. 그 후에, 수술 장면 분석기(210)는 마스킹된 하나 이상의 비-조직 영역들과 연관된 정보를 송수신기(204)를 통해 영상 포착 디바이스로 전송할 수 있다. 영상 포착 디바이스는, 마스킹된 하나 이상의 비-조직 영역들과 연관된 정보에 기초하여, 그의 자동 노출 및/또는 자동 초점 설정들의 실시간 조절들을 수행할 수 있다.
일 실시예에 따르면, 수술 장면 분석기(210)는, 비디오 영상들의 실시간 또는 온라인 분석 동안, 영상 포착 디바이스에 대한 최적의 카메라 파라미터들을 결정하도록 추가로 구성될 수 있다. 카메라 파라미터들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 및/또는 자동 조명 제어를 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 수술 장면 분석기(210)는 비디오 영상들에서의 특정 장면들에 대한 최적의 카메라 파라미터들을 결정할 수 있다. 예를 들어, 특정 수 초과의 혈액 영역들 또는 연기 영역들을 갖는 비디오 영상들은 카메라 파라미터들의 조절을 필요로 할 수 있다. 따라서, 수술 장면 분석기(210)는 이러한 비디오 영상 장면들에 대한 최적의 카메라 파라미터들을 결정할 수 있다. 수술 장면 분석기(210)는 결정된 최적의 카메라 파라미터들을 송수신기(204)를 통해 영상 포착 디바이스로 전송할 수 있다. 영상 포착 디바이스는 수술 장면 분석기(210)로부터 수신되는 최적의 카메라 파라미터들에 따라 그의 카메라 파라미터들의 실시간 조절들을 수행할 수 있다.
일 실시예에 따르면, 수술 장면 분석기(210)는, 비디오 영상들의 분석에 기초하여, 비디오 영상들의 영상 품질을 향상시키도록 추가로 구성될 수 있다. 예를 들어, 수술 장면 분석기(210)는 비디오 영상들에서 하나 이상의 비-조직 영역들을 식별하는 동안 비디오 영상들에서 하나 이상의 연기 영역들을 검출할 수 있다. 수술 장면 분석기(210)는 비디오 영상들의 영상 품질을 향상시키기 위해 이러한 연기 영역들에 대해 하나 이상의 영상 향상 동작들을 수행할 수 있다.
UI 관리자(214)는 사용자 단말(108)의 디스플레이 디바이스 상에 검색 인터페이스를 제시하도록 구성될 수 있다. 검색 인터페이스를 통해, 의사와 같은, 사용자는 사용자의 관심을 끄는 비디오 영상 부분들을 검색하기 위한 질의를 제공할 수 있다. 비디오 영상 부분들은 환자의 해부학적 영역의 하나 이상의 비디오 영상들로부터 선택될 수 있다. 질의는 제1 콘텐츠 식별자와 연관된 하나 이상의 검색어들을 포함할 수 있다. UI 관리자(214)는 송수신기(204)를 통해 사용자 단말(108)로부터 질의를 수신할 수 있다. 그 후에, 자연어 파서(216)는 하나 이상의 자연어 처리 및/또는 텍스트 처리 기법들을 사용하여 하나 이상의 검색어들을 분석하도록 구성될 수 있다. 하나 이상의 검색어들의 분석에 기초하여, 자연어 파서(216)는 제1 콘텐츠 식별자를 결정할 수 있다.
일 실시예에 따르면, 자연어 파서(216)는, 프로세서(202)와 함께, 결정된 제1 콘텐츠 식별자를 비디오 데이터베이스(106)에 저장된 하나 이상의 콘텐츠 식별자들과 비교할 수 있다. 자연어 파서(216)는, 프로세서(202)와 함께, 결정된 제1 콘텐츠 식별자와 하나 이상의 콘텐츠 식별자들 각각 사이의 유사도 점수(similarity score)를 추가로 결정할 수 있다. 유사도 점수는 하나 이상의 콘텐츠 식별자들에 대한 제1 콘텐츠 식별자의 의미론적 분석에 기초하여 결정될 수 있다. 자연어 파서(216)는, 문턱값을 초과하는 유사도 점수에 기초하여, 하나 이상의 콘텐츠 식별자들로부터 콘텐츠 식별자를 선택할 수 있다. 예를 들어, 자연어 파서(216)는, 유사도 점수에 기초하여, 하나 이상의 콘텐츠 식별자들로부터 제1 콘텐츠 식별자의 동의어를 선택할 수 있다. 그 후에, 자연어 파서(216)는, 하나 이상의 콘텐츠 식별자들로부터 선택된 콘텐츠 식별자에 기초하여, 제1 콘텐츠 식별자를 업데이트할 수 있다.
일 실시예에 따르면, UI 관리자(214)는, 비디오 데이터베이스(106)에 인덱싱되어 저장된 하나 이상의 비디오 영상들로부터 하나 이상의 비디오 영상 부분들을 검색하기 위해, 비디오 데이터베이스(106)에 액세스할 수 있다. 검색된 하나 이상의 비디오 영상 부분들은 하나 이상의 비디오 영상들에서 식별된 하나 이상의 비-조직 영역들 중의 제1 비-조직 영역을 포함할 수 있다. 수술 장면 분석기(210)는 제1 비-조직 영역을 제1 콘텐츠 식별자와 연관시켜 태깅할 수 있다.
UI 관리자(214)는 제1 콘텐츠 식별자와 연관된 하나 이상의 비디오 영상 부분들을 디스플레이하기 위해 결과 인터페이스를 생성할 수 있다. UI 관리자(214)는 사용자 단말(108)의 UI를 통해 결과 인터페이스를 사용자에게 제시할 수 있다. 일 실시예에 따르면, UI 관리자(214)는 결과 인터페이스 내에 디스플레이된 하나 이상의 비디오 영상 부분들 내의 제1 비-조직 영역을 마스킹하거나 하이라이트할 수 있다. 일 실시예에 따르면, UI 관리자(214)는 제1 비-조직 영역을 결과 인터페이스 내에 픽처 인 픽처 인터페이스 또는 픽처 온 픽처 인터페이스로서 디스플레이할 수 있다. 결과 인터페이스의 일 예가 도 4에 설명되어 있다.
일 실시예에 따르면, 제1 콘텐츠 식별자와의 연관에 부가하여, 타임스탬프가 하나 이상의 비디오 영상들에서의 이벤트의 발생과 연관될 수 있다. 이벤트의 예들은 하나 이상의 비디오 영상들 내에서의 제1 비-조직 영역의 최초 출현, 하나 이상의 비디오 영상들 내에서의 제1 비-조직 영역의 마지막 출현, 제1 비-조직 영역과 조직 영역 간의 근접성, 및/또는 제1 비-조직 영역과 하나 이상의 비-조직 영역들 중의 다른 비-조직 영역 간의 다른 근접성을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 수술 장면 분석기(210)는 하나 이상의 비디오 영상들 중의 원하는 비디오 영상에 대응하는 타임스탬프를 결정하도록 구성될 수 있다. 원하는 비디오 영상은 검색된 하나 이상의 비디오 영상 부분들 중의 제1 비디오 영상 부분을 포함할 수 있다.
제1 비디오 영상 부분은 특정된 이벤트의 발생에 대응할 수 있다. 일 실시예에 따르면, 타임스탬프는, 수술 장면 분석기(210)에 의해, 미리 결정되어 메모리(206) 및/또는 비디오 데이터베이스(106)에 미리 저장될 수 있다. 이러한 경우에, 하나 이상의 비디오 영상들이 분석되는 동안, 수술 장면 분석기(210)는 특정 이벤트에 대응하는 하나 이상의 비디오 영상들에서 비디오 영상 부분 세트를 식별할 수 있다. 그 후에, 수술 장면 분석기(210)는 식별된 비디오 영상 부분 세트로부터의 비디오 영상 부분들 중 적어도 하나를 포함하는 이러한 비디오 영상들과 연관된 각자의 타임스탬프들을 결정할 수 있다.
일 실시예에 따르면, 인덱싱 엔진은, 이러한 비디오 영상들과 연관된 각자의 타임스탬프들에 기초하여, 비디오 데이터베이스(106)에서의 하나 이상의 비디오 영상들을 인덱싱하도록 구성될 수 있다. 따라서, 이러한 경우에, 사용자로부터 질의를 수신할 때, 원하는 비디오 영상의 타임스탬프가 결정될 필요는 없다. 그 대신에, UI 관리자(214)는, 질의 내의 하나 이상의 검색어들에 기초하여, 메모리(206) 및/또는 비디오 데이터베이스(106)로부터 원하는 비디오 영상의 타임스탬프를 검색하도록 구성될 수 있다. 일 실시예에 따르면, UI 관리자(214)는 원하는 비디오 영상의 타임스탬프를 결과 인터페이스 내에 디스플레이하도록 구성될 수 있다. 그 후에, 사용자 단말(108)의 사용자가 타임스탬프에 대응하는 원하는 비디오 영상으로 이동(navigate)하라는 입력을 제공할 때, UI 관리자(214)는 제1 비디오 영상 부분을 결과 인터페이스 내에 디스플레이할 수 있다.
일 실시예에 따르면, 머신 학습 엔진(218)은 메모리(206) 및/또는 비디오 데이터베이스(106)로부터 이력 데이터를 검색하도록 구성될 수 있다. 이력 데이터는 수술 장면 분석기(210)에 의해 분석된 하나 이상의 이전 비디오 영상들에 대응할 수 있는 메타데이터를 포함할 수 있다.
일 실시예에 따르면, 수술 장면 분석기(210)는 각자의 비디오 영상들의 분석 이후에 비디오 영상들과 연관된 메타데이터를 생성할 수 있다. 수술 장면 분석기(210)는 메타데이터를 메모리(206) 및/또는 비디오 데이터베이스(106)에 저장하도록 추가로 구성될 수 있다. 비디오 영상들의 메타데이터는 비디오 영상들에서 식별된 하나 이상의 비-조직 영역들에 관련된 정보를 포함할 수 있다. 하나 이상의 비-조직 영역들에 관련된 정보의 예들은 비-조직 영역의 형상, 비-조직 영역의 색상, 비-조직 영역의 텍스처, 비-조직 영역의 하나 이상의 특징들 또는 특성들, 및/또는 비-조직 영역과 연관된 연계성(connectivity)을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 비디오 영상들의 메타데이터는 비디오 영상들에서의 하나 이상의 비-조직 영역들에 대해 결정된 하나 이상의 콘텐츠 식별자들에 관련된 정보를 추가로 포함할 수 있다. 하나 이상의 콘텐츠 식별자들에 관련된 정보의 예들은 하나 이상의 콘텐츠 식별자들의 리스트 및/또는 각각의 콘텐츠 식별자와 연관된 핵심 용어(key term)들의 리스트를 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 비디오 영상들의 메타데이터는 하나 이상의 콘텐츠 식별자들 각각과 비디오 영상들에서의 대응하는 비-조직 영역 간의 연관에 관련에 관한 정보를 추가로 포함할 수 있다.
하나 이상의 이전 비디오 영상들의 메타데이터에 기초하여, 머신 학습 엔진(218)은 하나 이상의 패턴들을 인식하기 위해 머신 학습 기법들을 이용할 수 있다. 그 후에, 실시예에 따르면, 인식된 패턴들에 기초하여, 머신 학습 엔진(218)은 비디오 영상들에 관련된 하나 이상의 팩트(fact)들을 생성하고 생성된 하나 이상의 팩트들을 메모리(206) 및/또는 비디오 데이터베이스(106)에 저장하도록 구성될 수 있다. 머신 학습 엔진(218)은 메모리(206) 및/또는 비디오 데이터베이스(106)에 미리 저장된 하나 이상의 규칙들에 기초하여 하나 이상의 팩트들을 생성한다. 하나 이상의 규칙들의 예들은 퍼지 논리(Fuzzy Logic) 규칙, FSM(Finite State Automata) 규칙, SVM(Support Vector Machine) 규칙, 및/또는 ANN(artificial neural network) 규칙을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 수술 장면 분석기(210)는 하나 이상의 규칙들을 검색하고 하나 이상의 규칙들에 기초하여 새로운 비디오 영상들을 분석하도록 구성될 수 있다. 예를 들어, 수술 장면 분석기(210)는 하나 이상의 콘텐츠 식별자들 각각을 새로운 비디오 영상들에서의 대응하는 비-조직 영역들에 연관시키기 위해 하나 이상의 규칙들을 이용할 수 있다.
도 3은 본 개시내용의 일 실시예에 따른, 예시적인 사용자 단말을 나타낸 블록도이다. 도 3은 도 1로부터의 요소들과 관련하여 설명된다. 도 3을 참조하면, 사용자 단말(108)이 도시되어 있다. 사용자 단말(108)은 프로세서(302)와 같은 하나 이상의 프로세서들, 송수신기(304)와 같은 하나 이상의 송수신기들, 메모리(306), 클라이언트 인터페이스 유닛(308), 및 디스플레이 디바이스(314)를 포함할 수 있다. 클라이언트 인터페이스 유닛(308)은 UI 관리자(310) 및 디스플레이 어댑터(312)를 포함할 수 있다.
프로세서(302)는 송수신기(304), 메모리(306), 클라이언트 인터페이스 유닛(308), 및 디스플레이 디바이스(314)에 통신가능하게 결합될 수 있다. 송수신기(304)는 통신 네트워크(110)를 통해 콘텐츠 관리 서버(104)와 통신하도록 구성될 수 있다.
프로세서(302)는 메모리(306)에 저장된 명령어 세트를 실행하도록 구성될 수 있는, 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(302)는 본 기술 분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(302)의 예들은 X86 기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 및/또는 다른 프로세서들일 수 있다.
송수신기(304)는 통신 네트워크(110)를 통해 콘텐츠 관리 서버(104)와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 송수신기(304)는 통신 네트워크(110)를 사용하여 사용자 단말(108)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 송수신기(304)는 안테나, RF(radio frequency) 송수신기, 하나 이상의 증폭기들, 하나 이상의 발진기들, 디지털 신호 프로세서, 코덱(CODEC: coder-decoder(코더-디코더)) 칩셋, SIM(subscriber identity module) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다.
송수신기(304)는 무선 통신을 통해 인터넷, 인트라넷 및/또는, 셀룰러 전화 네트워크와 같은, 무선 네트워크, 무선 LAN(wireless local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들과 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징, 및/또는 SMS(Short Message Service)를 위한 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수 있다.
메모리(306)는 프로세서(302)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 메모리(306)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), HDD(Hard Disk Drive), 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
클라이언트 인터페이스 유닛(308)은 사용자 단말(108) 상에 제시되는 하나 이상의 UI들의 렌더링 및 관리를 수행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 클라이언트 인터페이스 유닛(308)은 프로세서(302)의 일부일 수 있다. 대안적으로, 클라이언트 인터페이스 유닛(308)은 사용자 단말(108)에서 별도의 프로세서 또는 회로부로서 구현될 수 있다. 예를 들어, 클라이언트 인터페이스 유닛(308)은 프로세서(302)에 통신가능하게 결합된 전용 그래픽 프로세서 또는 칩셋으로서 구현될 수 있다. 일 실시예에 따르면, 클라이언트 인터페이스 유닛(308) 및 프로세서(302)는 클라이언트 인터페이스 유닛(308) 및 프로세서(302)의 기능들을 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 일 실시예에 따르면, 클라이언트 인터페이스 유닛(308)은 프로세서(302)에 의해 실행될 때 클라이언트 인터페이스 유닛(308)의 기능들을 수행할 수 있는, 메모리(306)에 저장된, 컴퓨터 프로그램 코드로서 구현될 수 있다.
UI 관리자(310)는 사용자 단말(108)의 UI를 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. UI 관리자(310)는, 사용자 단말(108)의 입력 디바이스(도 3에 도시되지 않음)를 거쳐, 사용자 단말(108)의 UI를 통해 수신되는 사용자 입력을 수신 및 처리하도록 구성될 수 있다. 입력 디바이스는 사용자 단말(108)에 통신가능하게 결합(또는 그 내에 포함)될 수 있다. 입력 디바이스의 예들은 키보드, 마우스, 조이스틱, 트랙 패드, 음성 지원(voice-enabled) 입력 디바이스, 터치 지원(touch-enabled) 입력 디바이스, 및/또는 제스처 지원(gesture-enabled) 입력 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, UI 관리자(310)는 송수신기(304)를 통해 콘텐츠 관리 서버(104)의 UI 관리자(214)와 통신하도록 추가로 구성될 수 있다. 이러한 통신은 검색 인터페이스에 대응하는 정보의 수신을 용이하게 할 수 있다. 그 후에, UI 관리자(310)는 사용자 단말(108)의 UI를 통해 검색 인터페이스를 제시할 수 있다. UI 관리자(310)는, 입력 디바이스를 거쳐, UI를 통해 사용자로부터 입력을 수신하도록 추가로 구성될 수 있다. 예를 들어, 사용자는 검색 인터페이스에 있는 검색 창(search bar)을 통해 하나 이상의 검색어들을 입력할 수 있다. UI 관리자(310)는, 하나 이상의 검색어들과 같은, 사용자 입력을 송수신기(304)를 통해 콘텐츠 관리 서버(104)의 UI 관리자(214)로 전송할 수 있다. 일 실시예에 따르면, UI 관리자(310)는 송수신기(304)를 통해 콘텐츠 관리 서버(104)의 UI 관리자(214)로부터 결과 인터페이스에 대응할 수 있는 정보를 수신하도록 추가로 구성될 수 있다. 그 후에, UI 관리자(310)는 사용자 단말(108)의 UI를 통해 결과 인터페이스를 사용자에게 제시할 수 있다.
디스플레이 어댑터(312)는 UI 관리자(310)를 디스플레이 디바이스(314)와 인터페이싱시키도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 어댑터(312)는, 디스플레이 디바이스(314)의 디스플레이 구성들에 기초하여, 사용자 단말(108)의 UI의 렌더링 및 디스플레이 속성들의 조절을 수행할 수 있다. 디스플레이 조절을 수행하기 위해 이용될 수 있는 하나 이상의 기법들의 예들은 영상 향상(image enhancement), 영상 안정화(image stabilization), 콘트라스트 조절, 밝기 조절, 해상도 조절, 및/또는 스큐/회전 조절을 포함할 수 있지만, 이들로 제한되지 않는다.
디스플레이 디바이스(314)는 사용자 단말(108)의 UI를 렌더링하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 사용자 단말(108)의 일부로서 구현될 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 사용자 단말(108)에 통신가능하게 결합될 수 있다. 디스플레이 디바이스(314)는 CRT(Cathode Ray Tube) 기반 디스플레이, LCD(Liquid Crystal Display), LED(Light Emitting Diode) 기반 디스플레이, 유기 LED 디스플레이 기술, 및 레티나 디스플레이 기술(이들로 제한되지 않음)과 같은 몇 가지 공지된 기술들을 통해 실현될 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 사용자로부터 입력을 수신할 수 있다. 이러한 시나리오에서, 디스플레이 디바이스(314)는 사용자가 입력을 제공할 수 있게 하는 터치 스크린일 수 있다. 터치 스크린은 저항성 터치 스크린(resistive touch screen), 용량성 터치 스크린(capacitive touch screen), 또는 열 터치 스크린(thermal touch screen) 중 적어도 하나에 대응할 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 가상 키패드, 스타일러스, 제스처 기반 입력, 및/또는 터치 기반 입력을 통해 입력을 수신할 수 있다. 이러한 경우에, 입력 디바이스는 디스플레이 디바이스(314) 내에 통합될 수 있다. 일 실시예에 따르면, 사용자 단말(108)은 터치 스크린 기반 디스플레이 디바이스(314) 이외에 보조 입력 디바이스를 포함할 수 있다.
동작 중에, 사용자 단말(108)의 송수신기(304)는, 통신 네트워크(110)를 통해, 콘텐츠 관리 서버(104)의 UI 관리자(214)로부터 검색 인터페이스에 대응할 수 있는 정보를 수신할 수 있다. 그 후에, 일 실시예에 따르면, 사용자 단말(108)의 UI 관리자(310)는, 사용자 단말(108)의 UI를 통해, 검색 인터페이스를 사용자에게 제시할 수 있다. 일 실시예에 따르면, 검색 인터페이스는 사용자에게 검색 질의를 입력하라고 프롬프트할 수 있는 검색 창을 포함할 수 있다. 사용자는 UI를 통해 검색 창에 하나 이상의 검색어들을 입력하는 것에 의해 검색 질의를 제공할 수 있다. 일 실시예에 따르면, 검색 인터페이스는 검색어들의 리스트를 사용자에게 제안할 수 있다. 예를 들어, 검색 인터페이스는 자주 질의되는 검색어들의 리스트를 제공할 수 있다. 게다가, 검색 인터페이스는 자동 완성 기능을 사용자에게 제공할 수 있다. 예를 들어, 사용자가 검색 질의의 하나 이상의 검색어들을 입력하는 동안, 검색 인터페이스는 검색 질의를 자동으로 완성하거나 작성(fill-in)할 수 있다. 일 실시예에 따르면, UI 관리자(310)는, 사용자 단말(108)의 입력 디바이스(도 3에 도시되지 않음)를 거쳐, 사용자 단말(108)의 UI를 통해 사용자에 의해 제공되는 검색 질의를 수신하도록 추가로 구성될 수 있다. 일 실시예에 따르면, 검색 질의 내의 하나 이상의 검색어들은 제1 콘텐츠 식별자일 수 있다. 일 실시예에 따르면, UI 관리자(310)는 하나 이상의 검색어들을 포함할 수 있는 수신된 검색 질의를 송수신기(304)를 통해 콘텐츠 관리 서버(104)의 UI 관리자(214)로 전송하도록 추가로 구성될 수 있다.
일 실시예에 따르면, UI 관리자(310)는 송수신기(304)를 통해 콘텐츠 관리 서버(104)의 UI 관리자(214)로부터 결과 인터페이스에 대응할 수 있는 정보를 수신하도록 추가로 구성될 수 있다. 게다가, UI 관리자(310)는, 사용자 단말(108)의 UI를 통해, 사용자 단말(108) 상에서 결과 인터페이스를 사용자에게 제시하도록 구성될 수 있다. 일 실시예에 따르면, 결과 인터페이스는, 제1 콘텐츠 식별자에 기초하여, 콘텐츠 관리 서버(104)에 의해 하나 이상의 비디오 영상들로부터 검색되는 하나 이상의 비디오 영상 부분들을 포함할 수 있다. 하나 이상의 비디오 영상 부분들은 제1 콘텐츠 식별자와 연관된 제1 비-조직 영역을 포함할 수 있다. 일 실시예에 따르면, 결과 인터페이스에 디스플레이된 하나 이상의 비디오 영상 부분들 내에서 제1 비-조직 영역이 마스킹되거나 하이라이트될 수 있다. 결과 인터페이스는 제1 비-조직 영역을 포함할 수 있는 하나 이상의 비디오 영상 부분들을 픽처 인 픽처 인터페이스 또는 픽처 온 픽처 인터페이스를 통해 디스플레이할 수 있다.
일 실시예에 따르면, 제1 콘텐츠 식별자와의 연관에 부가하여, 하나 이상의 검색어들이 하나 이상의 비디오 영상들에서의 이벤트의 발생과 추가로 연관될 수 있다. 이러한 시나리오에서, 결과 인터페이스는 하나 이상의 비디오 영상 부분들의 제1 비디오 영상 부분을 포함하는, 하나 이상의 비디오 영상들 중의, 원하는 비디오 영상에 대응하는 타임스탬프를 디스플레이할 수 있다. 일 실시예에 따르면, 제1 비디오 영상 부분은 하나 이상의 비디오 영상들에서 이벤트의 발생에 대응할 수 있다. 이벤트의 예들은 비디오 영상들 내에서의 제1 비-조직 영역의 최초 출현, 비디오 영상들 내에서의 제1 비-조직 영역의 마지막 출현, 제1 비-조직 영역과 조직 영역 간의 근접성, 및/또는 제1 비-조직 영역과 하나 이상의 비-조직 영역들 중의 다른 비-조직 영역 간의 다른 근접성을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 사용자가 타임스탬프로 이동하라는 입력을 제공할 때, UI 관리자(310)는 사용자 단말(108)의 UI를 통해 제1 비디오 영상 부분을 포함할 수 있는 원하는 비디오 영상을 디스플레이할 수 있다.
일 실시예에 따르면, 결과 인터페이스는 또한 검색 인터페이스와 연관된 검색 창을 포함할 수 있다. 일 실시예에 따르면, 결과 인터페이스는 사용자에 의해 이전에 제공된 검색 질의들의 리스트를 디스플레이할 수 있는 검색 이력 부분을 추가로 포함할 수 있다. 이러한 시나리오에서, 하나 이상의 비디오 영상들에 대해 추가적인 검색을 수행하거나 이전 검색들을 미세조정하기 위해, 결과 인터페이스가 검색 인터페이스와 유사한 방식으로 사용될 수 있다. 결과 인터페이스의 일 예가 도 4에 설명되어 있다.
일 실시예에 따르면, 결과 인터페이스는 사용자가 하나 이상의 비디오 영상들을 볼 수 있게 하도록 추가로 구성될 수 있다. 예를 들어, 결과 인터페이스는 사용자에 의해 선택된 비디오 영상의 하나 이상의 부분들을 또는 하나 이상의 비디오 영상들 전체를 보기 위한 옵션을 사용자에게 제공할 수 있다. 일 실시예에 따르면, 하나 이상의 비디오 영상들이 사용자에게 디스플레이되는 동안, 결과 인터페이스는 하나 이상의 비디오 영상들 내의 각각의 비-조직 영역을 마스킹하거나 하이라이트할 수 있다. 게다가, 결과 인터페이스는 또한, 비-조직 영역이 사용자에게 디스플레이되는 하나 이상의 비디오 영상들에 나타나는 것과 동시에, 각각의 이러한 비-조직 영역과 연관된 대응하는 콘텐츠 식별자들을 디스플레이할 수 있다. 대응하는 콘텐츠 식별자들은, 버블 마커(bubble marker) 및/또는 동적 라벨(dynamic label)과 같은, 하나 이상의 포맷들로 디스플레이될 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 다른 포맷들이 또한, 본 개시내용의 범주를 벗어나지 않고, 콘텐츠 식별자들을 디스플레이하도록 구현될 수 있다.
일 실시예에 따르면, 사용자가 결과 인터페이스를 통해 하나 이상의 비디오 영상들을 보는 동안, 결과 인터페이스는 사용자가 하나 이상의 비디오 영상들에 대해 하나 이상의 영상/비디오 편집 동작들을 수행할 수 있게 하도록 추가로 구성될 수 있다. 이러한 영상/비디오 편집 동작들의 예들은 복사-붙여넣기(copy-pasting), 잘라내기-붙여넣기(cut-pasting), 삭제(deleting), 크로핑(cropping), 줌잉(zooming), 패닝(panning), 재스케일링(rescaling), 및/또는 비디오 영상 부분에 대해 콘트라스트, 조명, 또는 색상 향상을 수행하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 사용자 단말(108)의 UI 관리자(310)는 사용자에 의해 수행되는 하나 이상의 영상/비디오 편집 동작들과 연관된 정보를, 송수신기(204)를 통해, 콘텐츠 관리 서버(104)의 UI 관리자(214)로 전송할 수 있다. 콘텐츠 관리 서버(104)의 UI 관리자(214)는 비디오 데이터베이스(106)에 저장된 비디오 영상들을 그에 따라 업데이트할 수 있다.
일 실시예에 따르면, 사용자가 결과 인터페이스를 통해 하나 이상의 비디오 영상들을 보는 동안, 결과 인터페이스는 사용자가 하나 이상의 비디오 영상들의 태깅을 수행할 수 있게 하도록 추가로 구성될 수 있다. 예를 들어, 사용자가 틀린 콘텐츠 식별자가 비-조직 영역과 현재 연관되어 있다는 것을 관찰하는 경우에, 결과 인터페이스는 사용자가 사용자에게 디스플레이되고 있는 비디오 영상 내의 비-조직 영역을 올바른 콘텐츠 식별자로 태깅할 수 있게 할 수 있다. 게다가, 결과 인터페이스는 사용자가 비디오 영상 내의 영역을 콘텐츠 관리 서버(104)에 의해 식별될 수 없는 비-조직 영역으로서 식별할 수 있게 할 수 있다. 사용자는 이러한 비-조직 영역들을 적절한 콘텐츠 식별자로 태깅할 수 있다. 사용자는 또한 비-조직 영역들로서 잘못 식별되었을 수 있는 비디오 영상 내의 영역들을 식별할 수 있지만, 이들이 비디오 영상에서의 다른 아티팩트들 또는 조직 영역들에 대응할 수 있다. 그에 부가하여, 결과 인터페이스는 사용자가 비디오 영상들의 하나 이상의 부분들에 주석들 및 메모들을 추가할 수 있게 할 수 있다. 일 실시예에 따르면, 사용자 단말(108)의 UI 관리자(310)는 태깅된 하나 이상의 비디오 영상들과 연관된 정보를, 송수신기(204)를 통해, 콘텐츠 관리 서버(104)의 UI 관리자(214)로 전송할 수 있다. 콘텐츠 관리 서버(104)의 UI 관리자(214)는 비디오 데이터베이스(106)에 저장된 비디오 영상들을 그에 따라 업데이트할 수 있다. 게다가, 콘텐츠 관리 서버(104)의 인덱싱 엔진은, 사용자의 태깅에 기초하여 콘텐츠 식별자들과 비-조직 영역들 사이의 연관들의 변화들을 반영하기 위해, 비디오 데이터베이스(106)에서의 비디오 영상들의 인덱싱을 업데이트할 수 있다.
도 4는 본 개시내용의 일 실시예에 따른, 사용자 단말(108) 상에 제시될 수 있는 UI의 예시적인 시나리오를 나타낸 것이다. 도 4는 도 1의 요소들과 관련하여 기술되어 있다. 도 4를 참조하면, 사용자 단말(108)의 사용자에게 제시될 수 있는 UI(400)가 도시되어 있다. UI(400)는 검색 인터페이스(402) 및 결과 인터페이스(406)를 포함할 수 있다. 일 실시예에 따르면, 검색 인터페이스(402)는 사용자 단말(108)의 사용자로부터 하나 이상의 검색어들을 포함하는 검색 질의를 수신하도록 구성될 수 있다. 검색 인터페이스(402)는 검색 질의를 수신하기 위한 검색 창 및 제출 버튼(submit button)을 포함할 수 있다. 일 실시예에 따르면, 결과 인터페이스(406)는, 검색 질의에서의 하나 이상의 검색어들에 기초하여, 하나 이상의 비디오 영상들로부터 검색되는 하나 이상의 비디오 영상 부분들을 디스플레이하도록 구성될 수 있다.
예를 들어, 결과 인터페이스(406)는 환자의 해부학적 영역(408)의 투시 단면의 스냅샷을 포함하는 비디오 영상 부분을 디스플레이한다. 해부학적 영역(408)에 대해 수술 또는 진단 절차가 수행되는 동안 스냅샷이 포착될 수 있다. 스냅샷에 예시된 바와 같이, 수술 또는 진단 절차는, 수술 집게(410) 및 내시경 수술 기구(412)와 같은, 하나 이상의 수술 기구들을 사용하여 수행될 수 있다. 도 4에 도시된 바와 같이, 수술 또는 진단 절차가 내시경 수술 기구(412)를 사용하여 수행될 때, 해부학적 영역(408)의 표면이 수술 집게(410)를 사용하여 유지될 수 있다. 단지 2개의 수술 기구들이 도 4에 도시되어 있지만, 하나 이상의 다른 수술 기구들이 또한, 본 개시내용의 범주를 벗어나지 않고, 수술 또는 진단 절차를 수행하는 데 사용될 수 있다. 일 실시예에 따르면, 스냅샷은 또한 하나 이상의 비디오 영상 부분들 내의, 혈액 영역들(414a 및 414b)과 같은, 제1 비-조직 영역을 나타낸다. 일 실시예에 따르면, 제1 비-조직 영역은 하나 이상의 콘텐츠 식별자들 중의 적어도 하나의 콘텐츠 식별자에 대응할 수 있는 제1 콘텐츠 식별자와 연관될 수 있는 반면, 제1 콘텐츠 식별자는 검색 질의에서의 하나 이상의 검색어들과 연관될 수 있다.
동작 중에, (의사, 의대생, 및/또는 의료 전문가와 같은) 사용자는 검색 인터페이스(402)를 통해 하나 이상의 검색어들을 입력하는 것에 의해 검색 질의를 입력할 수 있다. 예를 들어, 사용자는 검색 인터페이스(402)의 검색 창에 검색어들 "혈액 얼룩들이 있는 프레임들"을 입력하고 검색 인터페이스(402)의 ("GO" 버튼과 같은) 제출 버튼을 클릭하거나 누를 수 있다. 사용자 단말(108)은 하나 이상의 비디오 영상들로부터 관련성있는 비디오 영상 부분들을 검색하기 위해 사용자에 의해 입력된 검색 질의를 콘텐츠 관리 서버(104)로 전송할 수 있다. 그 후에, 사용자 단말(108)은, 전송된 검색 질의에 기초하여, 콘텐츠 관리 서버(104)로부터 관련성있는 비디오 영상 부분들을 수신할 수 있다. 일 실시예에 따르면, 결과 인터페이스(406)는 사용자 단말(108)에 의해 수신될 수 있는 하나 이상의 비디오 영상 부분들을 디스플레이하도록 구성될 수 있다. 검색 질의에서의 하나 이상의 검색어들이 제1 콘텐츠 식별자와 연관될 수 있다. 예를 들어, 검색어 "혈액 얼룩들"은 미리 저장된 콘텐츠 식별자 "혈액 영역"과 연관될 수 있다. 하나 이상의 비디오 영상 부분들이 제1 콘텐츠 식별자에 기초하여 검색될 수 있다. 게다가, 하나 이상의 비디오 영상 부분들은, 제1 콘텐츠 식별자와 연관된 혈액 영역과 같은, 제1 비-조직 영역을 포함할 수 있다. 따라서, 이상의 시나리오에서, 검색된 하나 이상의 비디오 영상 부분들은, 혈액 영역들(414a 및 414b)과 같은, 혈액 영역들을 포함할 수 있다. 일 실시예에 따르면, 혈액 영역들(414a 및 414b)과 같은, 제1 비-조직 영역은 결과 인터페이스(406) 내에서 마스킹되거나 하이라이트될 수 있다. 일 실시예에 따르면, 제1 비-조직 영역은 결과 인터페이스(406) 내의 확대된 고해상도 서브인터페이스에 디스플레이될 수 있다. 일 실시예에 따르면, 결과 인터페이스(406)는, 혈액 영역들(414a 및 414b)과 같은, 제1 비-조직 영역을 픽처 인 픽처 인터페이스 또는 픽처 온 픽처 인터페이스를 통해 디스플레이할 수 있다.
일 실시예에 따르면, 제1 콘텐츠 식별자와 연관되는 것에 부가하여, 하나 이상의 검색어들이 하나 이상의 비디오 영상들에서의 이벤트의 발생과 추가로 연관될 수 있다. 예를 들어, 검색 질의 "혈액 얼룩들"은 하나 이상의 비디오 영상들에서의 혈액 영역의 최초 출현의 이벤트와 연관될 수 있다. 따라서, 사용자는 수술 또는 진단 절차 동안 혈액 영역의 최초 출현에 대응하는 원하는 비디오 영상을 검색할 수 있다. 도 4에 도시되어 있지 않지만, 이러한 시나리오에서, 결과 인터페이스(406)는 이러한 원하는 비디오 영상의 타임스탬프를 사용자에게 디스플레이할 수 있다. 원하는 비디오 영상은 하나 이상의 비디오 영상 부분들 중의 제1 비디오 영상 부분을 포함할 수 있다. 하나 이상의 비디오 영상 부분들 중의 제1 비디오 영상 부분은, 이 경우에, 혈액 영역의 최초 출현인, 이벤트의 발생에 대응한다. 일 실시예에 따르면, 타임스탬프는 하나 이상의 비디오 영상들에 대한 원하는 비디오 영상의 상대 위치를 나타낼 수 있다. 결과 인터페이스(406)는 원하는 비디오 영상으로 이동하는 옵션을 사용자에게 프롬프트할 수 있다. 사용자가 원하는 비디오 영상으로의 내비게이션 요청을 나타내는 입력을 제공하면, 결과 인터페이스(406)는 원하는 비디오 영상을 사용자에게 제시할 수 있다. 본 기술분야의 통상의 기술자는 UI(400)가 예시를 위해 제공되었으며 본 개시내용의 범주를 제한하는 것으로 해석되어서는 안된다는 것을 이해할 수 있다.
본 개시내용의 다양한 실시예들은 다수의 장점들을 포함할 수 있다. 콘텐츠 관리 서버(104)는 수술 또는 진단 절차 동안, 외과의사, 의사, 의료 종사자, 또는 의대생과 같은, 사용자에게 수술 내비게이션 지원을 제공할 수 있다. 예를 들어, 수술 내비게이션 지원(surgical navigation assistance)은 수술 또는 진단 절차 동안 출혈의 위치 및 출처를 식별하기 위해 출혈 위치확인을 포함할 수 있다. 다른 경우에, 수술 영역에 연기 및/또는 미스트가 출현하는 경우에 가시성이 감소할 때, 수술 내비게이션 지원은 연기 배출 및 렌즈 청소 트리거를 포함할 수 있다. 다른 경우에, 수술 도구들과 조직 영역들 사이의 임계 근접성 거리가 검출될 때, 수술 내비게이션 지원은 수술 도구 경고들을 포함할 수 있다. 또 다른 경우에, 수술 또는 진단 절차가 거의 완료될 때, 수술 내비게이션 지원은 거즈들 및/또는 수술 도구들과 해부학적 영역들 사이의 간격을 자동 검사하기 위해 거즈 및/또는 수술 도구 추적을 포함할 수 있다.
콘텐츠 관리 서버(104)는 게다가 사용자가 하나 이상의 비디오 영상들에서의 특정 이벤트들의 발생을 검색할 수 있게 할 수 있다. 예시적인 시나리오에서, 사용자는 수술 또는 진단 절차에서 특정 이벤트의 시작 또는 종료를 검색하는 데 관심이 있을 수 있다. 특정 이벤트의 예들은 출혈의 시작, 연기/미스트의 출현, 및/또는 수술 기구들과 비-조직 영역 또는 조직 영역 간의 근접성을 포함할 수 있지만, 이들로 제한되지 않는다.
콘텐츠 관리 서버(104)는 게다가 사용자가 검색된 이벤트에 대응하는 하나 이상의 비디오 영상들에서의 관련성있는 섹션들로 직접 이동할 수 있게 할 수 있다. 콘텐츠 식별자들 및 미리 정의된 이벤트들에 기초하여, 상당한 양의 비디오 영상들을 자유롭게 검색할 수 있는 것은, 의사, 의대생, 및 다양한 다른 의료 전문가와 같은, 사용자들에게 유용할 수 있다. 이와 같이 상당한 양의 비디오 영상들을 자유롭게 검색할 수 있는 것은 사용자들이 수술 교육 과정들을 제공하는 것, 의료 사례 시트들의 준비, 절차상의 오류들의 분석, 그리고 수술 또는 진단 절차들에 대한 수술 검토의 수행에 유익할 수 있다. 콘텐츠 관리 서버(104)는 머신 학습 엔진(218)을 사용하여 로봇 수술에서의 지원을 추가로 제공할 수 있다.
도 5는 본 개시내용의 일 실시예에 따른, 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 예시적인 방법을 나타낸 플로차트이다. 도 5를 참조하면, 플로차트(500)가 도시되어 있다. 플로차트(500)는 도 1 및 도 2와 관련하여 기술된다. 방법은 단계(502)에서 시작하여 단계(504)로 진행한다.
단계(504)에서, 하나 이상의 비-조직 영역들이 환자의 해부학적 영역의 하나 이상의 비디오 영상들에서 식별될 수 있다. 일 실시예에 따르면, 환자의 해부학적 영역에 대해 수술 또는 진단 절차가 수행될 때, 하나 이상의 비디오 영상들이 영상 포착 디바이스(도 1에 도시되지 않음)에 의해 포착될 수 있다. 일 실시예에 따르면, 하나 이상의 비디오 영상들은 비디오 데이터베이스(106)에 저장될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)의 수술 장면 분석기(210)는, 하나 이상의 비디오 영상들의 분석에 기초하여, 하나 이상의 비-조직 영역들을 식별하도록 구성될 수 있다.
단계(506)에서, 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들이 결정될 수 있다. 일 실시예에 따르면, 수술 장면 분석기(210)는 하나 이상의 콘텐츠 식별자들을 결정하도록 구성될 수 있다. 대안적으로, 하나 이상의 콘텐츠 식별자들이 미리 결정되어 콘텐츠 관리 서버(104)의 메모리(206) 및/또는 비디오 데이터베이스(106)에 미리 저장될 수 있다. 이러한 경우에, 하나 이상의 콘텐츠 식별자들이 수술 장면 분석기(210)에 의해 결정될 필요는 없다. 그 대신에, 하나 이상의 콘텐츠 식별자들이 메모리(206) 또는 비디오 데이터베이스(106)로부터 검색될 수 있다.
단계(508)에서, 하나 이상의 콘텐츠 식별자들 각각은 하나 이상의 비-조직 영역들 중의 대응하는 비-조직 영역과 연관될 수 있다. 일 실시예에 따르면, 수술 장면 분석기(210)는 하나 이상의 콘텐츠 식별자들 각각을 하나 이상의 비디오 영상들에서의 대응하는 비-조직 영역과 연관시키도록 구성될 수 있다.
단계(510)에서, 대응하는 비-조직 영역과 연관된 콘텐츠 식별자에 기초하여, 식별된 하나 이상의 비-조직 영역들 각각에 대한 인덱스가 생성될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)의 인덱싱 엔진(도 2에 도시되지 않음)은 인덱스를 생성하도록 구성될 수 있다. 일 실시예에 따르면, 인덱싱 엔진은, 하나 이상의 비-조직 영역들 각각에 대해 생성된 인덱스에 기초하여, 비디오 데이터베이스(106)에 저장된 각각의 비디오 영상을 인덱싱할 수 있다.
단계(512)에서, 식별된 하나 이상의 비-조직 영역들, 결정된 하나 이상의 콘텐츠 식별자들, 및 각각의 콘텐츠 식별자와 대응하는 비-조직 영역들 사이의 연관에 기초하여, 머신 학습이 수행될 수 있다. 일 실시예에 따르면, 머신 학습 엔진(218)은 머신 학습을 수행하도록 구성될 수 있다. 머신 학습에 기초하여, 머신 학습 엔진(218)은 하나 이상의 규칙들을 제정(formulate)하거나 하나 이상의 이전에 제정된 규칙들을 업데이트할 수 있다. 일 실시예에 따르면, 수술 장면 분석기(210)는, 하나 이상의 새로운 비디오 영상들을 분석하고 각각의 콘텐츠 식별자를 하나 이상의 새로운 비디오 영상들에서의 대응하는 비-조직 영역과 연관시키기 위해, 하나 이상의 규칙들을 사용할 수 있다. 제어는 종료 단계(514)로 넘어간다.
도 6은 본 개시내용의 일 실시예에 따른, 콘텐츠 검색을 위한 제2 예시적인 방법을 나타낸 예시적인 플로차트이다. 도 6을 참조하면, 플로차트(600)가 도시되어 있다. 플로차트(600)는 도 1 및 도 2와 관련하여 기술된다. 방법은 단계(602)에서 시작하여 단계(604)로 진행한다.
단계(604)에서, 질의가 사용자 단말(108)로부터 수신될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)의 UI 관리자(214)는 송수신기(204)를 통해 질의를 수신하도록 구성될 수 있다. 일 실시예에 따르면, 질의는 제1 콘텐츠 식별자와 연관된 하나 이상의 검색어들을 포함할 수 있다.
단계(606)에서, 제1 콘텐츠 식별자는 하나 이상의 자연어 처리 및/또는 텍스트 처리 기법들을 사용하여 하나 이상의 검색어들에 기초하여 결정될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)의 자연어 파서(216)는 제1 콘텐츠 식별자를 결정하도록 구성될 수 있다.
단계(608)에서, 하나 이상의 비디오 영상 부분들이, 제1 콘텐츠 식별자에 기초하여, 하나 이상의 비디오 영상들로부터 검색될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)의 UI 관리자(214)는 하나 이상의 비디오 영상 부분들을 비디오 데이터베이스(106)로부터 검색하도록 구성될 수 있다. 일 실시예에 따르면, 검색된 하나 이상의 비디오 영상 부분들은 제1 콘텐츠 식별자와 연관된 제1 비-조직 영역을 포함할 수 있다.
단계(610)에서, 검색된 하나 이상의 비디오 영상 부분들이 디스플레이된다. 일 실시예에 따르면, UI 관리자(214)는 검색된 하나 이상의 비디오 영상 부분들을 사용자 단말(108)의 UI를 통해 사용자에게 디스플레이하도록 구성될 수 있다. 일 실시예에 따르면, 하나 이상의 비디오 영상 부분들이 사용자에게 디스플레이될 때, 제1 비-조직 영역은 하나 이상의 비디오 영상 부분들 내에서 마스킹되거나 하이라이트될 수 있다. 제어는 종료 단계(612)로 넘어간다.
도 7은 본 개시내용의 일 실시예에 따른, 콘텐츠 검색을 위한 제3 예시적인 방법을 나타낸 예시적인 플로차트이다. 도 7을 참조하면, 플로차트(700)가 도시되어 있다. 플로차트(700)는 도 1 및 도 3와 관련하여 기술된다. 방법은 단계(702)에서 시작하여 단계(704)로 진행한다.
단계(704)에서, 하나 이상의 검색어들을 포함하는 질의가 송신될 수 있다. 일 실시예에 따르면, 사용자 단말(108)의 UI 관리자(310)는 사용자 단말(108)의 UI를 통해 사용자로부터 질의를 수신하도록 구성될 수 있다. 그 후에, UI 관리자(310)는 질의를 송수신기(304)를 통해 콘텐츠 관리 서버(104)로 송신하도록 구성될 수 있다. 일 실시예에 따르면, 하나 이상의 검색어들이 제1 콘텐츠 식별자와 연관될 수 있다.
단계(706)에서, 하나 이상의 비디오 영상 부분들이 수신될 수 있다. 일 실시예에 따르면, UI 관리자(310)는 송수신기(304)를 통해 콘텐츠 관리 서버(104)로부터 하나 이상의 비디오 영상 부분들을 수신하도록 구성될 수 있다. 일 실시예에 따르면, 콘텐츠 관리 서버(104)는, 제1 콘텐츠 식별자에 기초하여, 비디오 데이터베이스(106)에 인덱싱되어 저장된 하나 이상의 비디오 영상들로부터 하나 이상의 비디오 영상 부분들을 검색할 수 있다. 일 실시예에 따르면, 하나 이상의 비디오 영상 부분들은 제1 콘텐츠 식별자와 연관될 수 있는 제1 비-조직 영역을 포함할 수 있다.
단계(708)에서, 하나 이상의 비디오 영상 부분들이 디스플레이될 수 있다. 일 실시예에 따르면, UI 관리자(310)는 하나 이상의 비디오 영상 부분들을 사용자 단말(108)의 UI를 통해 사용자 단말(108)의 디스플레이 디바이스(314) 상에 디스플레이하도록 구성될 수 있다. 일 실시예에 따르면, 디스플레이된 하나 이상의 비디오 영상 부분들 내에서 제1 비-조직 영역이 마스킹되거나 하이라이트될 수 있다. 일 실시예에 따르면, 제1 비-조직 영역은 픽처 인 픽처 인터페이스 또는 픽처 온 픽처 인터페이스 내에 디스플레이될 수 있다. 제어는 종료 단계(710)로 넘어간다.
본 개시내용의 일 실시예에 따르면, 콘텐츠 관리를 위한 시스템이 개시된다. 본 시스템은 콘텐츠 관리 서버(104)를 포함할 수 있다. 콘텐츠 관리 서버(104)는 해부학적 영역의 비디오 영상에서 하나 이상의 비-조직 영역들을 식별하도록 구성될 수 있다. 비디오 영상은 통신 네트워크(110)를 통해 콘텐츠 관리 서버(104)에 통신가능하게 결합될 수 있는 영상 포착 디바이스에 의해 생성될 수 있다. 콘텐츠 관리 서버(104)는 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들을 결정하도록 추가로 구성될 수 있다. 그에 부가하여, 콘텐츠 관리 서버(104)는 결정된 하나 이상의 콘텐츠 식별자들 각각을 식별된 하나 이상의 비-조직 영역들 중의 대응하는 비-조직 영역과 연관시키도록 구성될 수 있다.
본 개시내용의 다양한 실시예들은 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위해 머신 및/또는 컴퓨터에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하고 있는, 비일시적 컴퓨터 또는 머신 판독가능 매체 및/또는 저장 매체를 제공할 수 있다. 콘텐츠 관리 서버(104)에서의 적어도 하나의 코드 섹션은 머신 및/또는 컴퓨터로 하여금 해부학적 영역의 비디오 영상에서 하나 이상의 비-조직 영역들을 식별하는 것을 포함하는 단계들을 수행하게 할 수 있다. 비디오 영상은 통신 네트워크(110)를 통해 콘텐츠 관리 서버(104)에 통신가능하게 결합될 수 있는 영상 포착 디바이스에 의해 생성될 수 있다. 일 실시예에 따르면, 식별된 하나 이상의 비-조직 영역들에 대한 하나 이상의 콘텐츠 식별자들이 결정될 수 있다. 게다가, 결정된 하나 이상의 콘텐츠 식별자들 각각은 식별된 하나 이상의 비-조직 영역들 중의 대응하는 비-조직 영역과 연관될 수 있다.
본 개시내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 중앙집중 방식으로, 적어도 하나의 컴퓨터 시스템에서, 또는 상이한 요소들이 몇 개의 상호연결된 컴퓨터 시스템들에 걸쳐 확산되어 있을 수 있는 분산 방식으로 실현될 수 있다. 본원에 기술되는 방법들을 수행하도록 구성된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은, 로딩되어 실행될 때, 본원에 기술되는 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 일부분을 포함하는 하드웨어로 실현될 수 있다.
본 개시내용은 또한, 본원에 기술되는 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고 컴퓨터 시스템에 로딩될 때 이 방법들을 수행할 수 있는, 컴퓨터 프로그램 제품에 포함될 수 있다. 컴퓨터 프로그램은, 이와 관련하여, 정보 처리 능력을 갖는 시스템으로 하여금 특정의 기능을 직접 또는 a) 다른 언어, 코드 또는 표기법으로의 변환; b) 상이한 자료 형태의 재생 중 어느 하나 또는 둘 다 이후에 수행하게 하도록 의도되어 있는 명령어 세트의, 임의의 언어, 코드 또는 표기법으로 된, 임의의 표현을 의미한다.
본 개시내용이 특정 실시예들을 참조하여 기술되었지만, 본 기술분야의 통상의 기술자라면 본 개시내용의 범주를 벗어남이 없이 다양한 변경들이 행해질 수 있고 등가물들로 대체될 수 있다는 것을 잘 알 것이다. 그에 부가하여, 본 개시내용의 범주를 벗어남이 없이 본 개시내용의 교시내용에 따라 특정의 상황 또는 재료를 조정하기 위해 많은 수정들이 행해질 수 있다. 따라서, 본 개시내용이 개시된 특정의 실시예로 제한되지 않고 본 개시내용이 첨부된 청구항들의 범주 내에 속하는 모든 실시예들을 포함하는 것으로 의도되어 있다.

Claims (21)

  1. 시스템으로서:
    영상 포착 디바이스에 통신가능하게 결합된 콘텐츠 처리 디바이스 내의 회로부를 포함하고, 상기 회로부는:
    해부학적 영역의 비디오 영상에서 객체 인식(object recognition)에 기초하여 복수의 비-조직 영역(non-tissue region)들을 식별하고 - 상기 해부학적 영역의 상기 비디오 영상은 상기 해부학적 영역 상의 수술 절차 동안 상기 영상 포착 디바이스에 의해 포착됨 -;
    상기 복수의 비-조직 영역들에 대한 복수의 콘텐츠 식별자들을 결정하며;
    상기 복수의 비-조직 영역들에 대한 상기 복수의 콘텐츠 식별자들의 연관에 기초하여 적어도 하나의 패턴을 식별하고;
    상기 하나 적어도 하나의 패턴에 기초하여, 상기 연관에 대한 적어도 하나의 규칙을 결정하며;
    상기 적어도 하나의 규칙에 기초하여 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자를 상기 복수의 비-조직 영역들 중의 대응하는 비-조직 영역과, 데이터베이스에서 연관시키고;
    상기 해부학적 영역의 상기 비디오 영상 내의 이벤트의 발생과 연관된 질의를 사용자 인터페이스 상에서 수신하며;
    상기 질의에 기초하여 제1 콘텐츠 식별자를 결정하고;
    상기 제1 콘텐츠 식별자와 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자 사이의 유사도 점수를 결정하며;
    문턱값을 초과하는 상기 유사도 점수에 기초하여 상기 제1 콘텐츠 식별자를 업데이트하고;
    상기 업데이트된 제1 콘텐츠 식별자에 기초하고 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자의 상기 복수의 비-조직 영역 중의 상기 대응하는 비-조직 영역과의 상기 연관에 기초하여 상기 비디오 영상으로부터 적어도 하나의 비디오 영상 부분을 결정하며;
    상기 비디오 영상으로부터의 적어도 하나의 비디오 영상 부분을 디스플레이 디바이스 상의 상기 사용자 인터페이스에 의해 디스플레이하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 복수의 비-조직 영역들 중의 각각의 비-조직 영역은 연기 영역, 미스트(mist) 영역, 수술 기구 영역, 수술 거즈 영역, 또는 혈액 영역 중 적어도 하나를 포함하는, 시스템.
  3. 제1항에 있어서, 상기 회로부는, 상기 복수의 비-조직 영역들 중의 상기 대응하는 비-조직 영역과 연관된 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자에 기초하여, 상기 비디오 영상에서의 상기 복수의 비-조직 영역들에 대한 인덱스를 생성하도록 추가로 구성되는, 시스템.
  4. 제1항에 있어서, 상기 질의는 적어도 하나의 검색어를 포함하고, 상기 적어도 하나의 검색어는 상기 제1 콘텐츠 식별자와 연관되는, 시스템.
  5. 제4항에 있어서, 상기 회로부는 자연어 처리 또는 텍스트 처리 기법 중 적어도 하나에 기초하여 상기 제1 콘텐츠 식별자를 결정하도록 추가로 구성되는, 시스템.
  6. 제4항에 있어서, 상기 적어도 하나의 비디오 영상 부분은 상기 업데이트된 제1 콘텐츠 식별자에 대응하는, 상기 복수의 비-조직 영역들 중의, 적어도 제1 비-조직 영역을 포함하는, 시스템.
  7. 제6항에 있어서, 상기 회로부는 상기 디스플레이된 적어도 하나의 비디오 영상 부분 내의 상기 제1 비-조직 영역을 마스킹 또는 하이라이트 중 적어도 하나를 하도록 추가로 구성되는, 시스템.
  8. 제6항에 있어서, 상기 적어도 하나의 비디오 영상 부분은 픽처 온 픽처 인터페이스(picture-on-picture interface) 또는 픽처 인 픽처 인터페이스(picture-in-picture interface) 중 적어도 하나에 의해 디스플레이되는, 시스템.
  9. 제6항에 있어서, 상기 회로부는 상기 적어도 하나의 비디오 영상 부분 중의 제1 비디오 영상 부분에 대응하는 타임스탬프를 디스플레이하도록 추가로 구성되는, 시스템.
  10. 제9항에 있어서, 상기 제1 비디오 영상 부분은 상기 비디오 영상에서의 상기 이벤트의 상기 발생에 대응하는, 시스템.
  11. 제10항에 있어서, 상기 이벤트는 상기 비디오 영상 내에서의 상기 제1 비-조직 영역의 최초 출현, 상기 비디오 영상 내에서의 상기 제1 비-조직 영역의 마지막 출현, 상기 제1 비-조직 영역과 조직 영역 간의 제1 근접성, 또는 상기 제1 비-조직 영역과 제2 비-조직 영역 간의 제2 근접성 중 하나를 포함하는, 시스템.
  12. 제10항에 있어서, 상기 적어도 하나의 검색어는 상기 이벤트의 상기 발생과 추가로 연관되는, 시스템.
  13. 제1항에 있어서, 상기 회로부는 상기 복수의 비-조직 영역들, 상기 복수의 콘텐츠 식별자들, 및 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자와 상기 복수의 비-조직 영역들 중의 상기 대응하는 비-조직 영역 간의 상기 연관에 기초하여, 머신 학습 처리를 실행하도록 추가로 구성되는, 시스템.
  14. 방법으로서:
    영상 포착 디바이스에 통신가능하게 결합된 콘텐츠 처리 디바이스에서:
    해부학적 영역의 비디오 영상에서 객체 인식에 기초하여 복수의 비-조직 영역들을 식별하는 단계 - 상기 해부학적 영역의 상기 비디오 영상은 상기 해부학적 영역 상의 수술 절차 동안 상기 영상 포착 디바이스에 의해 포착됨 -;
    상기 복수의 비-조직 영역들에 대한 복수의 콘텐츠 식별자들을 결정하는 단계;
    상기 복수의 비-조직 영역들에 대한 상기 복수의 콘텐츠 식별자들의 연관에 기초하여 적어도 하나의 패턴을 식별하는 단계;
    상기 하나 적어도 하나의 패턴에 기초하여, 상기 연관에 대한 적어도 하나의 규칙을 결정하는 단계;
    상기 적어도 하나의 규칙에 기초하여 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자를 상기 복수의 비-조직 영역들 중의 대응하는 비-조직 영역과, 데이터베이스에서 연관시키는 단계;
    상기 비디오 영상 내의 이벤트의 발생과 연관된 질의를 사용자 인터페이스 상에서 수신하는 단계;
    상기 질의에 기초하여 제1 콘텐츠 식별자를 결정하는 단계;
    상기 제1 콘텐츠 식별자와 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자 사이의 유사도 점수를 결정하는 단계;
    문턱값을 초과하는 상기 유사도 점수에 기초하여 상기 제1 콘텐츠 식별자를 업데이트하는 단계;
    상기 업데이트된 제1 콘텐츠 식별자에 기초하고 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자의 상기 복수의 비-조직 영역 중의 상기 대응하는 비-조직 영역과의 상기 연관에 기초하여 상기 비디오 영상으로부터 적어도 하나의 비디오 영상 부분을 결정하는 단계; 및
    상기 비디오 영상으로부터의 적어도 하나의 비디오 영상 부분을 디스플레이 디바이스 상의 상기 사용자 인터페이스에 의해 디스플레이하는 단계를 포함하는, 방법.
  15. 제14항에 있어서, 상기 복수의 비-조직 영역들 중의 각각의 비-조직 영역은 연기 영역, 미스트 영역, 수술 기구 영역, 수술 거즈 영역, 또는 혈액 영역 중 적어도 하나를 포함하는, 방법.
  16. 제14항에 있어서, 상기 질의는 적어도 하나의 검색어를 포함하고, 상기 적어도 하나의 검색어는 상기 제1 콘텐츠 식별자와 연관되는, 방법.
  17. 제16항에 있어서, 자연어 처리 또는 텍스트 처리 기법 중 적어도 하나에 기초하여 상기 제1 콘텐츠 식별자를 결정하는 단계를 추가로 포함하는, 방법.
  18. 제16항에 있어서, 상기 적어도 하나의 비디오 영상 부분은 상기 업데이트된 제1 콘텐츠 식별자에 대응하는, 상기 복수의 비-조직 영역들 중의, 적어도 제1 비-조직 영역을 포함하는, 방법.
  19. 방법으로서:
    콘텐츠 처리 디바이스에 통신가능하게 결합된 전자 디바이스에서:
    복수의 비-조직 영역들에 대한 복수의 콘텐츠 식별자들의 연관에 기초하여 적어도 하나의 패턴을 식별하는 단계;
    상기 하나 적어도 하나의 패턴에 기초하여, 상기 연관에 대한 적어도 하나의 규칙을 결정하는 단계;
    상기 적어도 하나의 규칙에 기초하여 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자를 상기 복수의 비-조직 영역들 중의 대응하는 비-조직 영역과, 데이터베이스에서 연관시키는 단계;
    비디오 영상 내의 이벤트의 발생과 연관된 질의를 상기 전자 디바이스의 사용자 인터페이스(UI)를 통해 수신하는 단계 - 상기 비디오 영상은 상기 콘텐츠 처리 디바이스에 통신가능하게 결합된 영상 포착 디바이스에 의해 생성됨 -;
    상기 질의에 기초하여 제1 콘텐츠 식별자를 결정하는 단계;
    상기 제1 콘텐츠 식별자와 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자 사이의 유사도 점수를 결정하는 단계;
    문턱값을 초과하는 상기 유사도 점수에 기초하여 상기 제1 콘텐츠 식별자를 업데이트하는 단계;
    상기 업데이트된 제1 콘텐츠 식별자에 기초하고 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자의 상기 복수의 비-조직 영역 중의 상기 대응하는 비-조직 영역과의 상기 연관에 기초하여 상기 비디오 영상으로부터 적어도 하나의 비디오 영상 부분을 결정하는 단계; 및
    상기 비디오 영상으로부터의 상기 적어도 하나의 비디오 영상 부분을 디스플레이 디바이스 상의 상기 UI를 통해 디스플레이하는 단계를 포함하는, 방법.
  20. 제19항에 있어서, 상기 복수의 비-조직 영역들 중의 각각의 비-조직 영역은 연기 영역, 미스트 영역, 수술 기구 영역, 수술 거즈 영역, 또는 혈액 영역 중 적어도 하나를 포함하는, 방법.
  21. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 동작들을 실행하게 하는 컴퓨터 판독가능 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은:
    영상 포착 디바이스에 통신가능하게 결합된 콘텐츠 처리 디바이스에서:
    해부학적 영역의 비디오 영상에서 객체 인식에 기초하여 복수의 비-조직 영역들을 식별하는 단계 - 상기 해부학적 영역의 상기 비디오 영상은 상기 해부학적 영역 상의 수술 절차 동안 상기 영상 포착 디바이스에 의해 포착됨 -;
    상기 복수의 비-조직 영역들에 대한 복수의 콘텐츠 식별자들을 결정하는 단계;
    상기 복수의 비-조직 영역들에 대한 상기 복수의 콘텐츠 식별자들의 연관에 기초하여 적어도 하나의 패턴을 식별하는 단계;
    상기 하나 적어도 하나의 패턴에 기초하여, 상기 연관에 대한 적어도 하나의 규칙을 결정하는 단계;
    상기 적어도 하나의 규칙에 기초하여 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자를 상기 복수의 비-조직 영역들 중의 대응하는 비-조직 영역과, 데이터베이스에서 연관시키는 단계;
    상기 비디오 영상 내의 이벤트의 발생과 연관된 질의를 사용자 인터페이스 상에서 수신하는 단계; 및
    상기 질의에 기초하여 제1 콘텐츠 식별자를 결정하는 단계;
    상기 제1 콘텐츠 식별자와 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자 사이의 유사도 점수를 결정하는 단계;
    문턱값을 초과하는 상기 유사도 점수에 기초하여 상기 제1 콘텐츠 식별자를 업데이트하는 단계;
    상기 업데이트된 제1 콘텐츠 식별자 및 상기 복수의 콘텐츠 식별자들 중의 각각의 콘텐츠 식별자의 상기 복수의 비-조직 영역 중의 상기 대응하는 비-조직 영역과의 상기 연관에 기초하여 상기 비디오 영상으로부터 적어도 하나의 비디오 영상 부분을 결정하는 단계; 및
    상기 비디오 영상으로부터의 상기 적어도 하나의 비디오 영상 부분을 디스플레이 디바이스 상의 상기 사용자 인터페이스에 의해 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020197025761A 2015-03-02 2016-02-17 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템 KR102265104B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562126758P 2015-03-02 2015-03-02
US62/126,758 2015-03-02
US14/816,250 US20160259888A1 (en) 2015-03-02 2015-08-03 Method and system for content management of video images of anatomical regions
US14/816,250 2015-08-03
KR1020177024654A KR102203565B1 (ko) 2015-03-02 2016-02-17 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템
PCT/US2016/018193 WO2016140795A1 (en) 2015-03-02 2016-02-17 Method and system for content management of video images of anatomical regions

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177024654A Division KR102203565B1 (ko) 2015-03-02 2016-02-17 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190104463A KR20190104463A (ko) 2019-09-09
KR102265104B1 true KR102265104B1 (ko) 2021-06-15

Family

ID=56848999

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177024654A KR102203565B1 (ko) 2015-03-02 2016-02-17 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템
KR1020197025761A KR102265104B1 (ko) 2015-03-02 2016-02-17 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177024654A KR102203565B1 (ko) 2015-03-02 2016-02-17 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US20160259888A1 (ko)
EP (1) EP3250114A4 (ko)
JP (1) JP2018517950A (ko)
KR (2) KR102203565B1 (ko)
CN (1) CN107405079B (ko)
WO (1) WO2016140795A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973073A (zh) * 2016-01-13 2017-07-21 杭州海康威视系统技术有限公司 多媒体数据的传输方法及设备
DE102016121668A1 (de) * 2016-11-11 2018-05-17 Karl Storz Se & Co. Kg Automatische Identifizierung medizinisch relevanter Videoelemente
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
US10579878B1 (en) 2017-06-28 2020-03-03 Verily Life Sciences Llc Method for comparing videos of surgical techniques
EP3649918B1 (en) * 2017-07-03 2023-08-02 FUJIFILM Corporation Medical image processing device, endoscope device, diagnostic support device, medical service support device and report generation support device
US10878966B2 (en) * 2017-08-13 2020-12-29 Theator inc. System and method for analysis and presentation of surgical procedure videos
US11615879B2 (en) 2017-09-08 2023-03-28 The General Hospital Corporation System and method for automated labeling and annotating unstructured medical datasets
US11025691B1 (en) 2017-11-22 2021-06-01 Amazon Technologies, Inc. Consuming fragments of time-associated data streams
US10878028B1 (en) * 2017-11-22 2020-12-29 Amazon Technologies, Inc. Replicating and indexing fragments of time-associated data streams
US10944804B1 (en) 2017-11-22 2021-03-09 Amazon Technologies, Inc. Fragmentation of time-associated data streams
US10764347B1 (en) 2017-11-22 2020-09-01 Amazon Technologies, Inc. Framework for time-associated data stream storage, processing, and replication
JP7219227B2 (ja) * 2017-11-30 2023-02-07 テルモ株式会社 支援システム、支援方法、および支援プログラム
US20210015432A1 (en) * 2018-03-20 2021-01-21 Sony Corporation Surgery support system, information processing apparatus, and program
EP3826525A4 (en) * 2018-07-25 2022-04-20 The Trustees of The University of Pennsylvania METHODS, SYSTEMS AND COMPUTER-READABLE MEDIUM FOR GENERATION AND DELIVERY OF ARTIFICIAL INTELLIGENCE SUPPORTED SURGICAL GUIDANCE
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
EP3621021A1 (en) * 2018-09-07 2020-03-11 Delta Electronics, Inc. Data search method and data search system thereof
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
KR102572006B1 (ko) * 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
JP7152375B2 (ja) * 2019-09-25 2022-10-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
JP7152377B2 (ja) 2019-09-27 2022-10-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US11625834B2 (en) * 2019-11-08 2023-04-11 Sony Group Corporation Surgical scene assessment based on computer vision
KR102386496B1 (ko) * 2020-01-09 2022-04-14 주식회사 엠티이지 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법
CN113496475B (zh) * 2020-03-19 2024-04-09 杭州海康慧影科技有限公司 内窥镜摄像系统中的成像方法、装置及计算机设备
US11348682B2 (en) 2020-04-05 2022-05-31 Theator, Inc. Automated assessment of surgical competency from video analyses
KR102321157B1 (ko) * 2020-04-10 2021-11-04 (주)휴톰 수술 후 수술과정 분석 방법 및 시스템
US20230177082A1 (en) * 2021-12-06 2023-06-08 Genesis Medtech (USA) Inc. Intelligent surgery video management and retrieval system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276340A (ja) 2007-04-26 2008-11-13 Hitachi Ltd 検索装置
JP2011036371A (ja) 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
US20140031659A1 (en) 2012-07-25 2014-01-30 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
JP2014081729A (ja) 2012-10-15 2014-05-08 Canon Inc 情報処理装置、情報処理システム、制御方法、およびプログラム
WO2014082288A1 (en) 2012-11-30 2014-06-05 Thomson Licensing Method and apparatus for video retrieval

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0692120B1 (en) * 1993-03-31 2002-10-09 Luma Corporation Managing information in an endoscopy system
US6614988B1 (en) * 1997-03-28 2003-09-02 Sharp Laboratories Of America, Inc. Natural language labeling of video using multiple words
US6829606B2 (en) * 2002-02-14 2004-12-07 Infoglide Software Corporation Similarity search engine for use with relational databases
US8220020B2 (en) * 2003-09-30 2012-07-10 Sharp Laboratories Of America, Inc. Systems and methods for enhanced display and navigation of streaming video
US8438163B1 (en) * 2010-12-07 2013-05-07 Google Inc. Automatic learning of logos for visual recognition
US10692591B2 (en) * 2013-02-01 2020-06-23 B-Line Medical, Llc Apparatus, method and computer readable medium for tracking data and events
JP6448767B2 (ja) * 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
US9805472B2 (en) * 2015-02-18 2017-10-31 Sony Corporation System and method for smoke detection during anatomical surgery
US9905000B2 (en) * 2015-02-19 2018-02-27 Sony Corporation Method and system for surgical tool localization during anatomical surgery
US9767554B2 (en) * 2015-02-19 2017-09-19 Sony Corporation Method and system for detection of surgical gauze during anatomical surgery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276340A (ja) 2007-04-26 2008-11-13 Hitachi Ltd 検索装置
JP2011036371A (ja) 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
US20140031659A1 (en) 2012-07-25 2014-01-30 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
JP2014081729A (ja) 2012-10-15 2014-05-08 Canon Inc 情報処理装置、情報処理システム、制御方法、およびプログラム
WO2014082288A1 (en) 2012-11-30 2014-06-05 Thomson Licensing Method and apparatus for video retrieval

Also Published As

Publication number Publication date
KR20190104463A (ko) 2019-09-09
CN107405079B (zh) 2021-05-07
EP3250114A4 (en) 2018-08-08
EP3250114A1 (en) 2017-12-06
JP2018517950A (ja) 2018-07-05
WO2016140795A1 (en) 2016-09-09
US20160259888A1 (en) 2016-09-08
KR20170110128A (ko) 2017-10-10
KR102203565B1 (ko) 2021-01-14
CN107405079A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
KR102265104B1 (ko) 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
US9805472B2 (en) System and method for smoke detection during anatomical surgery
US11941050B2 (en) Systems and methods for segmenting surgical videos
US10147188B2 (en) Method and system for surgical tool localization during anatomical surgery
US20220020486A1 (en) Methods and systems for using multiple data structures to process surgical data
US9805469B2 (en) Marking and tracking an area of interest during endoscopy
US20200129042A1 (en) Information processing apparatus, control method, and program
US11138726B2 (en) Method, client, server and system for detecting tongue image, and tongue imager
US20210341725A1 (en) Image status determining method an apparatus, device, system, and computer storage medium
JPWO2018216618A1 (ja) 情報処理装置、制御方法、及びプログラム
US20150080652A1 (en) Lesion detection and image stabilization using portion of field of view
JP2021512441A (ja) オペレータのパフォーマンスの自動アセスメント
CN112836058A (zh) 医疗知识图谱建立方法及装置、医疗知识图谱查询方法及装置
EP2834775B1 (en) Method and system for assisting the visual exploration of an image during a target search
US20230248464A1 (en) Surgical microscope system and system, method, and computer program for a microscope of a surgical microscope system
CN115444553B (zh) 进针点投影方法、装置、设备和存储介质
US20240089591A1 (en) Non-transitory computer-readable storage medium storing display content notification program, display content notification device, display content notification method
US20230045686A1 (en) Fusion of spatial and temporal context for location determination for visualization systems
CN111292842A (zh) 一种智能导诊实现方法
CN113192606A (zh) 医疗数据处理方法及装置、电子设备和存储介质
CN113495836A (zh) 一种页面检测方法、装置和用于页面检测的装置
JP2022064153A (ja) プログラム、画像管理装置及びオンライン診療システム
JP2010238179A (ja) 監視装置及び監視方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant