KR20170104553A - 해부학적 수술 동안 연기 검출을 위한 시스템 및 방법 - Google Patents

해부학적 수술 동안 연기 검출을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20170104553A
KR20170104553A KR1020177022241A KR20177022241A KR20170104553A KR 20170104553 A KR20170104553 A KR 20170104553A KR 1020177022241 A KR1020177022241 A KR 1020177022241A KR 20177022241 A KR20177022241 A KR 20177022241A KR 20170104553 A KR20170104553 A KR 20170104553A
Authority
KR
South Korea
Prior art keywords
video frame
pixels
candidate pixels
current video
region
Prior art date
Application number
KR1020177022241A
Other languages
English (en)
Other versions
KR101945654B1 (ko
Inventor
천-루이 처우
밍-창 리우
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20170104553A publication Critical patent/KR20170104553A/ko
Application granted granted Critical
Publication of KR101945654B1 publication Critical patent/KR101945654B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

해부학적 수술 동안 연기 검출을 위한 시스템 및 방법의 다양한 양태들이 본원에 개시되어 있다. 본 개시내용의 일 실시예에 따르면, 본 방법은 하나 이상의 비디오 프레임들을 포착하는 영상 포착 디바이스(218)에 통신가능하게 결합되는 수술 장면 분석 엔진(208)에서 구현가능하다. 본 방법은, 현재 비디오 프레임과 하나 이상의 비디오 프레임들 중의 이전 비디오 프레임 사이의 시간 차이에 기초하여, 현재 비디오 프레임에서의 부분적 가시 영역을 추정하는 것(604)을 포함한다. 그 후에, 하나 이상의 후보 픽셀들이 현재 비디오 프레임에서의 추정된 부분적 가시 영역에서 검출된다(610). 게다가, 하나 이상의 후보 픽셀들의 프루닝에 기초하여, 부분적 가시 영역에서 연기 영역이 결정된다(616).

Description

해부학적 수술 동안 연기 검출을 위한 시스템 및 방법
관련 출원의 상호 참조/참조에 의한 원용
본 출원은 2015년 2월 18일에 출원된 미국 가특허 출원 제62/117,815호 - 그 전체 내용이 이로써 참조에 의해 원용됨 - 를 우선권 주장한다.
본 개시내용의 다양한 실시예들은 연기 검출 시스템 및 방법에 관한 것이다. 보다 구체적으로는, 본 개시내용의 다양한 실시예들은 해부학적 수술 동안 연기 검출을 위한 시스템 및 방법에 관한 것이다.
의학 분야의 최근의 진보에 따라, 다양한 수술 및 진단 절차들이 이제는 최소 침습 기법(minimally invasive technique)들을 사용하여 수행될 수 있다. 이러한 최소 침습 기법들은 내시경 또는 복강경 수술 기구들을 환자의 피부를 통해 수술을 필요로 하는 체강(body cavity) 내로 삽입하기 위해 작은 절개부(incision)들을 필요로 할 수 있다. 내시경 및/또는 복강경 도구들 중 적어도 하나는 체강의 비디오 영상들을 포착하기 위한 내장 카메라(in-built camera)를 포함한다. 카메라는 의사가 수술 또는 진단 절차가 수행되어야 하는 해부학적 영역에 도달하기 위해 내시경 및/또는 복강경 수술 도구들을 체강을 통해 조종(navigate)할 수 있게 할 것이다. 다른 내시경 도구 및/또는 복강경 도구들은 해부학적 영역의 조직들에 대해 수술을 수행할 수 있다.
특정 시나리오들에서, 이러한 수술 또는 진단 절차들 동안, 연기가 체강 내에 나타날 수 있다. 예를 들어, 내시경 또는 복강경 수술 기구의 사용에 의해 국소화된 열이 해부학적 영역에 가해질 때, 체강 내의 온도가 변할 수 있다. 이 온도 변화는 체강 내에 미스트(mist) 또는 연기가 형성되게 할 수 있다. 체강에 미스트 또는 연기가 나타나는 것은 의사의 가시성(visibility)을 방해할 수 있다. 결과적으로, 미스트 또는 연기로 인해 내시경 카메라에 의해 포착되는 비디오 장면(video footage)의 품질이 저하될 수 있다. 그러므로, 수술 또는 진단 절차들 동안 나타날 수 있는 이러한 미스트 또는 연기의 검출 및 제거가 필요불가결할 수 있다. 그렇지만, 미스트 또는 연기의 검출은 많은 내적 및 외적 문제들의 영향을 받을 수 있다. 연기 검출에서의 내적 문제의 일 예는 연기의 출현의 빈번한 변화를 포함할 수 있다. 연기 검출에서의 외적 문제들의 다양한 예들은 모션 블러(motion blur)(카메라, 수술 거즈 및/또는 수술 도구들의 움직임으로 인해 야기될 수 있음), 후광 효과(halo effect) 및/또는 백색 조직이 연기처럼 보이는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 따라서, 전술한 문제들을 극복하기 위해, 내시경 카메라에 의해 포착된 비디오 장면에서 연기를 검출하고, 비디오 장면의 품질을 개선시키는 방법 및/또는 시스템이 필요하다.
종래의 전통적인 접근법들의 추가의 한계들 및 단점들이, 기술된 시스템들을, 본 출원의 나머지에서 도면들을 참조하여 기재되는 바와 같은, 본 개시내용의 일부 양태들과 비교하는 것을 통해, 본 기술분야의 통상의 기술자에게는 명백하게 될 것이다.
해부학적 수술 동안 연기 검출을 위한 시스템 및 방법이, 청구항들에 보다 완전히 기재되는 바와 같이, 실질적으로 도면들 중 적어도 하나에 도시되며 그리고/또는 그와 관련하여 기술된다.
본 개시내용의 이들 및 다른 특징들 및 장점들은, 도면 전체에 걸쳐 유사한 도면 부호들이 유사한 부분들을 가리키는 첨부 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있다.
도 1은 본 개시내용의 일 실시예에 따른, 네트워크 환경을 나타낸 블록도.
도 2는 본 개시내용의 일 실시예에 따른, 예시적인 영상 처리 서버를 나타낸 블록도.
도 3은 본 개시내용의 일 실시예에 따른, 예시적인 사용자 단말을 나타낸 블록도.
도 4는 본 개시내용의 일 실시예에 따른, 해부학적 수술의 비디오 프레임에서의 연기 검출을 위한 방법을 나타내는 예시적인 흐름도.
도 5a 및 도 5b는 본 개시내용의 일 실시예에 따른, 사용자 단말 상에 제시될 수 있는 사용자 인터페이스(UI)들의 예시적인 시나리오들을 나타낸 도면.
도 6은 본 개시내용의 일 실시예에 따른, 해부학적 수술 동안 연기 검출을 위한 예시적인 방법을 나타낸 예시적인 플로우차트.
이하의 기술된 구현들은 해부학적 수술 동안 연기 검출을 위한 개시된 시스템 및 방법에서 찾아볼 수 있다. 본 개시내용의 예시적인 양태들은 영상 처리 엔진에서 구현가능한 방법을 포함할 수 있다. 영상 처리 엔진은 영상 포착 디바이스에 통신가능하게 결합(communicatively coupled)될 수 있다. 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성될 수 있다. 본 방법은, 현재 비디오 프레임과 영상 포착 디바이스로부터 수신되는 이전 비디오 프레임 사이의 시간 차이에 기초하여, 현재 비디오 프레임에서의 부분적 가시 영역(partially visible region)을 추정하는 것을 포함할 수 있다. 그 후에, 하나 이상의 후보 픽셀들이 현재 비디오 프레임에서의 추정된 부분적 가시 영역에서 검출될 수 있다. 게다가, 검출된 하나 이상의 후보 픽셀들의 프루닝(pruning)에 기초하여, 부분적 가시 영역에서의 연기 영역이 결정될 수 있다.
일 실시예에 따르면, 현재 비디오 프레임과 이전 비디오 프레임 사이의 시간 차이의 히스토그램의 엔트로피가 결정될 수 있다. 부분적 가시 영역의 추정은 결정된 엔트로피에 기초할 수 있다. 일 실시예에 따르면, 하나 이상의 후보 픽셀들의 검출은 현재 비디오 프레임 및 이전 비디오 프레임의 대응하는 영상 블록들의 평균 강도의 차이에 기초할 수 있다. 일 실시예에 따르면, 하나 이상의 후보 픽셀들은 연기 블록(smoke block), 조직 블록(tissue block), 및/또는 비-조직 블록(non-tissue block) 중 하나 이상에 대응할 수 있다.
일 실시예에 따르면, 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성(false-positive) 후보 픽셀들이 결정될 수 있다. 검출된 하나 이상의 후보 픽셀들의 프루닝은 결정된 하나 이상의 거짓 양성 후보 픽셀들을 검출된 하나 이상의 후보 픽셀들로부터 제거하는 것을 포함할 수 있다. 일 실시예에 따르면, 하나 이상의 거짓 양성 후보 픽셀들은 현재 비디오 프레임에서의 모션 블러링된 영역(motion-blurred region) 내의 제1 픽셀 세트와 현재 비디오 프레임에서의 후광 효과가 있는 영역(halo-effected region) 내의 제2 픽셀 세트를 포함할 수 있지만, 이들로 제한되지 않는다. 모션 블러링된 영역은 광학 흐름 기반 기법(optical flow based technique) 또는 아티팩트 검출 기법(artefact-detection technique) 중 하나 이상의 사용에 의해 검출될 수 있다. 일 실시예에 따르면, 후광 효과가 있는 영역은 영역 증가 속도 추정 기법(region growth-rate estimation technique)의 사용에 의해 검출될 수 있다.
일 실시예에 따르면, 에지 검출 기법의 사용에 의해, 하나 이상의 제1 에지 픽셀(edge pixel)들이 현재 비디오 프레임에서 식별될 수 있고, 하나 이상의 제2 에지 픽셀들이 이전 비디오 프레임에서 식별될 수 있다. 모션 블러링된 영역은 하나 이상의 제2 에지 픽셀들로부터 하나 이상의 제1 에지 픽셀들의 위치 차이에 적어도 기초하여 검출될 수 있다. 일 실시예에 따르면, 모션 블러링된 영역은 영상 포착 디바이스, 비-조직 대상물, 및/또는 조직 부분 중 하나 이상의 움직임을 포함할 수 있는 현재 비디오 프레임 내의 영역에 대응할 수 있다.
일 실시예에 따르면, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들이 연기 영역의 결정에 기초하여 조절될 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 현재 비디오 프레임이 수술 절차 동안 사용자 인터페이스(UI)를 통해 실시간으로 (의사와 같은) 사용자에게 디스플레이될 수 있다. 결정된 연기 영역이 사용자 인터페이스를 통해 사용자에게 디스플레이되는 현재 비디오 프레임에서 마스킹되거나 하이라이트될 수 있다. 일 실시예에 따르면, 연기 영역의 결정을 나타내는 통지가 생성될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다.
도 1은 본 개시내용의 일 실시예에 따른, 네트워크 환경을 나타낸 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 수술 디바이스(102), 영상 처리 서버(104), 비디오 데이터베이스(106), 사용자 단말(108), 및 통신 네트워크(110)를 포함할 수 있다. 수술 디바이스(102)는 통신 네트워크(110)를 통해 영상 처리 서버(104), 비디오 데이터베이스(106), 및 사용자 단말(108)과 통신가능하게 결합될 수 있다.
수술 디바이스(102)는 환자의 하나 이상의 해부학적 영역들과 연관된 하나 이상의 수술 절차들 및/또는 진단 분석을 수행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 수술 디바이스(102)의 예들은 최소 침습 수술/진단 디바이스, 최소 절개 수술/진단 디바이스, 및/또는 내시경/복강경 수술/진단 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 수술 디바이스(102)는 영상 포착 디바이스(도 1에 도시되지 않음)를 추가로 포함할 수 있다. 환자의 해부학적 영역에 대해 수술 또는 진단 절차가 수행될 때, 영상 포착 디바이스는 해부학적 영역의 하나 이상의 비디오 프레임들을 포착할 수 있다. 대안적으로, 수술 디바이스(102)는, 통신 네트워크(110)를 통해, 영상 포착 디바이스에 통신가능하게 결합될 수 있다. 영상 포착 디바이스의 예들은 내시경/복강경 카메라, 초음파 영상 디바이스, MRI(medical resonance imaging) 디바이스, CT(computer tomography) 스캐닝 디바이스, 최소 침습 의료 영상 디바이스, 및/또는 최소 절개 의료 영상 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
영상 처리 서버(104)는, 사용자 단말(108) 및/또는 수술 디바이스(102)와 같은, 하나 이상의 가입된 전자 디바이스들에 영상 처리 서비스를 제공할 수 있는 하나 이상의 서버들을 포함할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 수술 또는 진단 절차가 수행되는 동안 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들을 분석하도록 구성될 수 있다. 영상 처리 서버(104)는 이어서, 하나 이상의 비디오 프레임들의 분석에 기초하여, 하나 이상의 비디오 프레임들에서 하나 이상의 연기 영역들을 검출할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 본 기술분야의 통상의 기술자에게 널리 공지되어 있는 몇 가지 기술들을 사용하여 복수의 클라우드 기반 자원들로서 구현될 수 있다. 게다가, 영상 처리 서버(104)는 단일의 또는 다수의 서비스 제공자들과 연관될 수 있다. 영상 처리 서버(104)의 예들은 Apache™ HTTP Server, Microsoft®　IIS(Internet Information Services), IBM®　Application Server, Sun Java™ System Web Server, 및/또는 파일 서버를 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 영상 처리 서버(104) 및 수술 디바이스(102)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 것이다. 일 실시예에 따르면, 영상 처리 서버(104)의 기능들이, 본 개시내용의 범주를 벗어나지 않고, 수술 디바이스(102)에 의해 구현될 수 있다.
비디오 데이터베이스(106)는 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들의 리포지토리를 저장할 수 있다. 일 실시예에 따르면, 비디오 데이터베이스(106)는 영상 처리 서버(104)에 통신가능하게 결합될 수 있다. 영상 포착 디바이스가 하나 이상의 비디오 프레임들을 포착할 때, 비디오 데이터베이스(106)는, 영상 처리 서버(104)를 통해, 하나 이상의 비디오 프레임들을 수신할 수 있다. 일 실시예에 따르면, 비디오 데이터베이스(106)는 본 기술분야에 공지된 다양한 데이터베이스 기술들을 사용하여 구현될 수 있다. 비디오 데이터베이스(106)의 예들은 Microsoft®　SQL Server, Oracle®, IBM DB2®, Microsoft Access®, PostgreSQL®, MySQL®, 및/또는 SQLite®을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 영상 처리 서버(104)는, 하나 이상의 프로토콜들에 기초하여, 비디오 데이터베이스(106)에 연결할 수 있다. 이러한 하나 이상의 프로토콜들의 예들은 ODBC(Open Database Connectivity)® 프로토콜 및 JDBC(Java Database Connectivity)® 프로토콜을 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 영상 처리 서버(104) 및 비디오 데이터베이스(106)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 것이다. 일 실시예에 따르면, 비디오 데이터베이스(106)의 기능들은, 본 개시내용의 사상을 벗어나지 않고, 영상 처리 서버(104)에 의해 구현될 수 있다.
사용자 단말(108)은, 의사와 같은, 사용자에게 하나 이상의 비디오 프레임들을 디스플레이하는 사용자 인터페이스(UI)를 제시하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 환자의 해부학적 영역에 대해 수술 또는 진단 절차가 수행되는 동안, 사용자 단말(108)은 하나 이상의 비디오 프레임들을 실시간으로 디스플레이할 수 있다. 사용자 단말(108)은 영상 처리 서버(104)에 의해 하나 이상의 비디오 프레임들 각각에서 검출되는 하나 이상의 연기 영역들을 디스플레이하도록 추가로 구성될 수 있다. 사용자 단말(108)의 예들은, 스마트폰, 카메라, 태블릿 컴퓨터, 랩톱, 웨어러블 전자 디바이스, 텔레비전, IPTV(Internet Protocol Television), 및/또는 PDA(Personal Digital Assistant) 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 사용자 단말(108) 및 영상 처리 서버(104)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 것이다. 일 실시예에 따르면, 영상 처리 서버(104)의 기능들이, 본 개시내용의 사상을 벗어나지 않고, 사용자 단말(108)에 의해 구현될 수 있다. 예를 들어, 영상 처리 서버(104)는 사용자 단말(108) 상에서 실행되며 그리고/또는 그 상에 설치되는 애플리케이션 프로그램으로서 구현될 수 있다.
본 기술분야의 통상의 기술자는, 일 실시예에 따르면, 사용자 단말(108)이 수술 디바이스(102)와 통합될 수 있다는 것을 이해할 것이다. 대안적으로, 사용자 단말(108)은 수술 디바이스(102)에 통신가능하게 결합될 수 있고, 의사와 같은, 사용자 단말(108)의 사용자는 사용자 단말(108)의 UI를 통해 수술 디바이스(102)를 제어할 수 있다.
통신 네트워크(110)는 수술 디바이스(102) 및/또는 사용자 단말(108)이, 영상 처리 서버(104)와 같은, 하나 이상의 서버들과 통신하는 데 사용할 수 있는 매체를 포함할 수 있다. 통신 네트워크(110)의 예들은 인터넷, 클라우드 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WLAN(Wireless Local Area Network), LAN(Local Area Network), POTS(plain old telephone service), 및/또는 MAN(Metropolitan Area Network)을 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은, 다양한 유선 및 무선 통신 프로토콜들에 따라, 통신 네트워크(110)에 연결하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), ZigBee, EDGE, 적외선(IR), IEEE 802.11, 802.16, 셀룰러 통신 프로토콜들, 및/또는 블루투스(BT) 통신 프로토콜들을 포함할 수 있지만, 이들로 제한되지 않는다.
동작 중에, 영상 포착 디바이스는 해부학적 수술 동안 하나 이상의 비디오 프레임들을 포착하도록 구성될 수 있다. 하나 이상의 비디오 프레임들은 적어도 현재 비디오 프레임과 이전 비디오 프레임을 포함할 수 있다. 영상 처리 서버(104)는 현재 비디오 프레임에서의 부분적 가시 영역을 추정하도록 구성될 수 있다. 일 실시예에 따르면, 부분적 가시 영역의 추정은 현재 비디오 프레임과 이전 비디오 프레임 사이의 시간 차이에 기초할 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)는 현재 비디오 프레임과 이전 비디오 프레임 사이의 시간 차이의 히스토그램의 엔트로피를 결정하도록 추가로 구성될 수 있다. 부분적 가시 영역의 추정은 결정된 엔트로피에 기초할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 현재 비디오 프레임에서의 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하도록 구성될 수 있다. 하나 이상의 후보 픽셀들은 현재 비디오 프레임 및 이전 비디오 프레임의 대응하는 영상 블록들의 평균 강도의 차이에 기초하여 검출될 수 있다. 하나 이상의 후보 픽셀들의 예들은 연기 블록, 조직 블록, 및/또는 비-조직 블록에 대응할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 영상 처리 서버(104)는 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들을 결정하도록 추가로 구성될 수 있다. 하나 이상의 거짓 양성 후보 픽셀들은 현재 비디오 프레임에서의 모션 블러링된 영역 내의 제1 픽셀 세트, 현재 비디오 프레임에서의 후광 효과가 있는 영역 내의 제2 픽셀 세트, 및/또는 기타를 포함할 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)는 모션 블러링된 영역을 하나 이상의 광학 흐름 기반 기법들 및/또는 아티팩트 검출 기법들을 사용하여 검출하도록 추가로 구성될 수 있다. 모션 블러링된 영역은 영상 포착 디바이스, 비-조직 대상물, 또는 조직 부분 중 하나 이상의 움직임을 포함할 수 있는 현재 비디오 프레임 내의 영역에 대응할 수 있다. 모션 블러링된 영역은 하나 이상의 제2 에지 픽셀들로부터 하나 이상의 제1 에지 픽셀들의 위치 차이에 적어도 기초하여 검출될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는, 에지 검출 기법을 사용하여, 현재 비디오 프레임 내의 하나 이상의 제1 에지 픽셀들 및 이전 비디오 프레임 내의 하나 이상의 제2 에지 픽셀들을 식별할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 영역 증가 속도 추정 기법을 사용하여 후광 효과가 있는 영역을 검출하도록 추가로 구성될 수 있다.
영상 처리 서버(104)는 검출된 하나 이상의 후보 픽셀들을 결정된 하나 이상의 거짓 양성 후보 픽셀을 제거함으로써 프루닝할 수 있다. 게다가, 영상 처리 서버(104)는, 검출된 하나 이상의 후보 픽셀들의 프루닝에 기초하여, 부분적 가시 영역에서의 연기 영역을 결정하도록 구성될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는, 연기 영역의 결정에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 실시간으로 조절하도록 추가로 구성될 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 수술 또는 진단 절차가 수행되는 동안, 영상 처리 서버(104)는, 사용자 단말(108)의 UI를 통해, 현재 비디오 프레임을 포함하는 하나 이상의 비디오 프레임들을 (의사와 같은) 사용자에게 디스플레이하도록 추가로 구성될 수 있다. 결정된 연기 영역이 UI를 통해 사용자에게 디스플레이되는 현재 비디오 프레임에서 마스킹되거나 하이라이트될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 연기 영역의 결정을 나타내는 통지를 생성하도록 추가로 구성될 수 있다. 영상 처리 서버(104)는 통지를 수술 디바이스(102) 및/또는 사용자 단말(108)로 전송할 수 있다. 통지는 수술 디바이스(102) 및/또는 사용자 단말(108)에 의해 (의사와 같은) 사용자에게 제시될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 영상 처리 서버(104)는 또한 수술 디바이스(102)와 연관된 연기 흡인기(smoke evacuator)(도 1에 도시되지 않음)를 턴온시키도록 구성될 수 있다. 연기 흡인기는, 턴온될 때, 수술 디바이스(102)를 사용하여 수술되는 체강 내에 존재하는 연기 또는 미스트를 제거하도록 구성될 수 있다. 본 기술분야의 통상의 기술자는, 특정 시나리오들에서, 연기 흡인기가 수술 디바이스(102)의 일부로서 구현될 수 있다는 것을 이해할 것이다. 그렇지만, 본 개시내용의 범주가 이 시나리오로 제한되어서는 안된다. 일 실시예에 따르면, 연기 흡인기는 수술 디바이스(102)와 함께 기능할 수 있는, 수술 디바이스(102)에 통신가능하게 결합된, 별도의 장치로서 구현될 수 있다.
도 2는 본 개시내용의 일 실시예에 따른, 예시적인 영상 처리 서버를 나타낸 블록도이다. 도 2는 도 1로부터의 요소들과 관련하여 설명된다. 도 2를 참조하면, 영상 처리 서버(104)가 도시되어 있다. 영상 처리 서버(104)는 프로세서(202)와 같은 하나 이상의 프로세서들, 송수신기(204)와 같은 하나 이상의 송수신기들, 메모리(206), 및 수술 장면 분석 유닛(208)을 포함할 수 있다. 수술 장면 분석 유닛(208)은 후보 픽셀 검출기(210), 프루닝 엔진(212), 데이터베이스 커넥터(database connector)(214), UI 관리자(216) 및 카메라 제어 유닛(218)을 포함할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 송수신기(204)를 거쳐, 통신 네트워크(110)를 통해, 비디오 데이터베이스(106)에 통신가능하게 결합될 수 있다. 대안적으로, 영상 처리 서버(104)는 비디오 데이터베이스(106)를 포함할 수 있다. 예를 들어, 비디오 데이터베이스(106)는 메모리(206) 내에 구현될 수 있다.
프로세서(202)는 송수신기(204), 메모리(206), 및 수술 장면 분석 유닛(208)에 통신가능하게 결합될 수 있다. 송수신기(204)는, 통신 네트워크(110)를 통해, 수술 디바이스(102) 및 사용자 단말(108)과 통신하도록 구성될 수 있다.
프로세서(202)는 메모리(206)에 저장된 명령어 세트를 실행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(202)는 검출된 하나 이상의 후보 픽셀들을 분석하도록 구성될 수 있다. 분석에 기초하여, 프로세서(202)는 현재 비디오 프레임에서의 연기 영역들을 결정할 수 있다. 일 실시예에 따르면, 프로세서(202)는 후보 픽셀 검출기(210)에 의해 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들을 결정하도록 구성될 수 있다. 프로세서(202)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(202)의 예들은 X86 기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 및/또는 다른 프로세서들일 수 있다.
송수신기(204)는 (도 1에 도시된 바와 같이) 통신 네트워크(110)를 통해 사용자 단말(108) 및/또는 수술 디바이스(102)와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 송수신기(204)는 통신 네트워크(110)를 사용하여 영상 처리 서버(104)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 송수신기(204)는 안테나, RF(radio frequency) 송수신기, 하나 이상의 증폭기들, 튜너, 하나 이상의 발진기들, 디지털 신호 프로세서, 코덱(coder-decoder) 칩셋, SIM(subscriber identity module) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다.
송수신기(204)는 무선 통신을 통해 인터넷, 인트라넷 및/또는, 셀룰러 전화 네트워크와 같은, 무선 네트워크, 무선 LAN(wireless local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들과 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징, 및/또는 SMS(Short Message Service)를 위한 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수 있다.
메모리(206)는 프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 일 실시예에 따르면, 메모리(206)는 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들을 저장하도록 추가로 구성될 수 있다. 메모리(206)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), HDD(Hard Disk Drive), 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
수술 장면 분석 유닛(208)은 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들을 분석하고 처리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 수술 장면 분석 유닛(208)은 프로세서(202)의 일부일 수 있다. 대안적으로, 수술 장면 분석 유닛(208)은 영상 처리 서버(104) 내의 별도의 프로세서 또는 회로부로서 구현될 수 있다. 일 실시예에 따르면, 수술 장면 분석 유닛(208) 및 프로세서(202)는 수술 장면 분석 유닛(208) 및 프로세서(202)의 기능들을 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 다른 실시예에 따르면, 수술 장면 분석 유닛(208)은 프로세서(202)에 의해 실행될 때 수술 장면 분석 유닛(208)의 기능들을 수행할 수 있는, 메모리(206)에 저장된, 컴퓨터 프로그램 코드로서 구현될 수 있다.
후보 픽셀 검출기(210)는 연기 검출을 위한 후보들일 수 있는 하나 이상의 픽셀들을 검출하기 위해 하나 이상의 비디오 프레임들을 분석하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 후보 픽셀 검출기(210)는 하나 이상의 비디오 프레임들 중의 현재 비디오 프레임에서의 부분적 가시 영역을 추정하도록 구성될 수 있다. 부분적 가시 영역은 현재 비디오 프레임과 하나 이상의 비디오 프레임들 중의 이전 비디오 프레임 사이의 시간 차이에 기초하여 추정될 수 있다. 후보 픽셀 검출기(210)는 현재 비디오 프레임의 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하도록 추가로 구성될 수 있다. 이러한 하나 이상의 후보 픽셀들은 연기 검출을 위해 선택되는 픽셀들에 대응할 수 있다. 하나 이상의 후보 픽셀들은 연기 블록, 조직 블록, 또는 비-조직 블록에 대응할 수 있지만, 이들로 제한되지 않는다.
프루닝 엔진(212)은 후보 픽셀 검출기(210)에 의해 검출되는 하나 이상의 후보 픽셀들을 프루닝하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프루닝은 결정된 하나 이상의 거짓 양성 후보 픽셀들을 검출된 하나 이상의 후보 픽셀들로부터 제거하는 것을 포함할 수 있다. 게다가, 프루닝 엔진(212)은, 프로세서(202)와 협력하여, 프루닝된 하나 이상의 후보 픽셀들에 기초하여 부분적 가시 영역에서의 연기 영역을 결정하도록 구성될 수 있다.
데이터베이스 커넥터(214)는 비디오 데이터베이스(106)에의 액세스 및 연결을 수술 장면 분석 유닛(208)에 제공하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 데이터베이스 커넥터(214)는 수술 장면 분석 유닛(208)과 비디오 데이터베이스(106) 사이에 데이터베이스 세션을 설정할 수 있다. 데이터베이스 세션을 설정하는 데 사용되는 하나 이상의 통신 프로토콜들의 예들은 ODBC(Open Database Connectivity)® 프로토콜 및 JDBC(Java Database Connectivity)® 프로토콜을 포함할 수 있지만, 이들로 제한되지 않는다.
UI 관리자(216)는 사용자 단말(108) 상에 제시되는 UI를 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, UI 관리자(216)는 사용자 단말(108)의 (의사와 같은) 사용자에게 수술 장면 인터페이스를 제공할 수 있다. 수술 장면 인터페이스는, 사용자 단말(108)의 UI를 통해, 사용자 단말(108)의 디스플레이 디바이스 상에서 사용자에게 제시될 수 있다. 일 실시예에 따르면, 수술 장면 인터페이스는 현재 비디오 프레임을 포함하는 하나 이상의 비디오 프레임들을 사용자에게 디스플레이하도록 구성될 수 있다. 검출된 연기 영역은 수술 장면 인터페이스를 통해 사용자에게 디스플레이되는 현재 비디오 프레임에서 마스킹되거나 하이라이트될 수 있다.
카메라 제어 유닛(218)은 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절하기 위해 영상 포착 디바이스와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 카메라 제어 유닛(218)은, 연기 영역의 결정에 기초하여, 하나 이상의 비디오 프레임들을 포착하기에 적당하거나 최적일 수 있는 하나 이상의 영상 포착 설정들의 이러한 값들을 결정하도록 구성될 수 있다. 그 후에, 카메라 제어 유닛(218)은, 송수신기(204)를 통해, 하나 이상의 영상 포착 설정들의 결정된 값들을 영상 포착 디바이스로 전송하도록 구성될 수 있다. 영상 포착 디바이스는 그의 영상 포착 설정들을, 카메라 제어 유닛(218)에 의해 전송되는 대응하는 값들에 기초하여, 조절할 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다.
동작 중에, 의사는, 수술 디바이스(102) 및 하나 이상의 수술 기구들을 사용하여, 환자의 해부학적 영역에 대해 수술 또는 진단 절차를 수행할 수 있다. 하나 이상의 수술 기구들의 예들은 내시경 카테터(endoscopic catheter), 수술 집게(surgical forcep), 수술 절개 기구, 및/또는 수술 거즈를 포함할 수 있지만, 이들로 제한되지 않는다. 수술 또는 진단 절차의 예들은 최소 침습 수술/진단 절차, 최소 절개 수술/진단 절차, 복강경 절차, 및/또는 내시경 절차를 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 수술 또는 진단 절차가 자동화되어, 의사로부터의 어떤 감독이나 지시도 없이, 수술 로봇에 의해 수행될 수 있다. 일 실시예에 따르면, 수술 또는 진단 절차가 반자동화되어, 의사로부터의 하나 이상의 입력 신호들 및/또는 명령들에 의해, 수술 로봇에 의해 수행될 수 있다. 일 실시예에 따르면, 영상 포착 디바이스(도 1에 도시되지 않음)는 수술 디바이스(102)에 통신가능하게 결합(또는 그 내부에 포함)될 수 있다. 해부학적 영역에 대해 수술 또는 진단 절차가 수행되는 동안, 영상 포착 디바이스는 해부학적 영역의 하나 이상의 비디오 프레임들을 실시간으로 포착할 수 있다. 그 후에, 수술 디바이스(102)(또는 영상 포착 디바이스 자체)는 포착된 비디오 프레임들을 통신 네트워크(110)를 통해 영상 처리 서버(104)로 전송할 수 있다.
영상 처리 서버(104) 내의 송수신기(204)는 통신 네트워크(110)를 통해 수술 디바이스(102)로부터 하나 이상의 비디오 프레임들을 수신하도록 구성될 수 있다. 일 실시예에 따르면, 하나 이상의 비디오 프레임들이, 실시간 전송 프로토콜 및/또는 실시간 스트리밍 프로토콜(RTSP)과 같은, 통신 프로토콜을 사용하여 실시간 스트리밍된 미디어 콘텐츠로서 수신될 수 있다. 데이터베이스 커넥터(214)는 비디오 데이터베이스(106)와 데이터베이스 세션을 설정하고 수신된 비디오 프레임들을 비디오 데이터베이스(106)에 저장하도록 구성될 수 있다. 게다가 비디오 프레임들이 또한 메모리(206)에 저장될 수 있다.
후보 픽셀 검출기(210)는 하나 이상의 비디오 프레임들을 분석하도록 구성될 수 있다. 일 실시예에 따르면, 미리 결정된 수의 비디오 프레임들이 수술 디바이스(102)로부터 수신될 때, 비디오 프레임들이 배치 모드(batch mode)에서 분석될 수 있다(오프라인 처리(offline processing)). 일 실시예에 따르면, 비디오 프레임들이, 새로운 비디오 프레임이 수신될 때마다, 실시간으로 분석될 수 있다(온라인 처리(online processing)). 후보 픽셀 검출기(210)는 비디오 프레임들의 분석을 위해 메모리(206) 또는 비디오 데이터베이스(106)로부터 비디오 프레임들을 검색할 수 있다.
일 실시예에 따르면, 후보 픽셀 검출기(210)는 하나 이상의 비디오 프레임들 중의 현재 비디오 프레임에서의 부분적 가시 영역을 추정하도록 구성될 수 있다. 부분적 가시 영역은 현재 비디오 프레임과 하나 이상의 비디오 프레임들 중의 이전 비디오 프레임 사이의 시간 차이에 기초하여 추정될 수 있다. 일 실시예에 따르면, 후보 픽셀 검출기(210)는 현재 비디오 프레임 및 이전 비디오 프레임 둘 다를 각자의 영상 블록들로 나눌 수 있다. 후보 픽셀 검출기(210)는, 예를 들어, 현재 비디오 프레임과 이전 비디오 프레임의 대응하는 영상 블록들 내의 픽셀들의 강도들 사이의 시간 차이에 기초하여, 차분 영상(difference image) "D"를 결정할 수 있다. 따라서, 차분 영상 "D" 내의 픽셀들의 강도들이 표현식 "It-It-1"에 의해 계산되고, 여기서 "It"는 현재 비디오 프레임 내의 픽셀의 강도를 나타내고, "It-1"은 이전 비디오 프레임 내의 대응하는 픽셀의 강도를 나타낸다. 그 후에, 후보 픽셀 검출기(210)는 차분 영상의 각각의 영상 블록에서의 픽셀 강도들의 히스토그램 "hist(Dblock_i)"를 결정할 수 있고, 여기서 "Dblock_i"는 차분 영상 "D"의 제i 영상 블록 내의 픽셀들의 픽셀 강도들을 나타낸다. 게다가, 차분 영상 "D"에서의 각각의 영상 블록에 대해, 후보 픽셀 검출기(210)는 그 영상 블록에 대해 결정된 히스토그램의 엔트로피 "Eblock_i"를 결정하도록 구성될 수 있고, 여기서, "block_i"는 차분 영상 "D"의 제i 영상 블록을 나타낸다. 일 실시예에 따르면, 후보 픽셀 검출기(210)는 하기의 수학식 1을 사용하여 엔트로피를 결정할 수 있고:
Figure pct00001
여기서 "n"은 히스토그램 "hist(Dblock_i)"에서의 빈(bin)들의 수를 나타내고;
"hist(Dblock_i)j"는 히스토그램 "hist(Dblock_i)"의 제j 빈에 있는 제i 영상 블록의 픽셀들의 수를 나타낸다.
일 실시예에 따르면, 후보 픽셀 검출기(210)는 차분 영상의 각각의 영상 블록에 대해 결정된 히스토그램의 엔트로피를, "0.75"와 같은, 제1 미리 결정된 문턱값과 비교하도록 구성될 수 있다. 제i 영상 블록에 대한 엔트로피 "Eblock _i"가, "0.75"와 같은, 제1 미리 결정된 문턱값 미만이면, 현재 비디오 프레임의 대응하는 제i 영상 블록은 현재 비디오 프레임의 부분적 가시 영역의 일부분으로서 식별될 수 있다. 유사한 방식으로, 후보 픽셀 검출기(210)는 다양한 영상 블록들을 부분적 가시 영역의 부분들로서 식별할 수 있다. 후보 픽셀 검출기(210)는, 부분적 가시 영역을 추정하기 위해, 부분적 가시 영역의 부분들로서 식별되는 다양한 영상 블록들을 하나로 결합할 수 있다.
일 실시예에 따르면, 후보 픽셀 검출기(210)는 현재 비디오 프레임에서의 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하도록 구성될 수 있다. 하나 이상의 후보 픽셀들의 예들은 연기 블록, 조직 블록, 또는 비-조직 블록 중 하나 이상에 대응하는 픽셀들을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 하나 이상의 후보 픽셀들의 검출은 현재 비디오 프레임 및 이전 비디오 프레임에서의 대응하는 영상 블록들의 평균 픽셀 강도의 차이에 기초할 수 있다. 하나 이상의 후보 픽셀들을 검출하기 위해, 후보 픽셀 검출기(210)는 현재 비디오 프레임의 추정된 부분적 가시 영역에 대응하는 차분 영상 "D"에서의 이러한 영상 블록들에 대한 평균 픽셀 강도들을 결정할 수 있다. 그 후에, 차분 영상 "D"에서 이러한 영상 블록들의 평균 픽셀 강도들을, "1"과 같은, 제2 미리 결정된 문턱값과 비교한 것에 기초하여, 후보 픽셀 검출기(210)는 하나 이상의 후보 픽셀들을 검출할 수 있다. 예를 들어, 차분 영상의 영상 블록의 평균 픽셀 강도가, "1"과 같이, 제2 미리 결정된 문턱값 초과이면, 후보 픽셀 검출기(210)는 현재 비디오 프레임의 대응하는 영상 블록에 포함된 픽셀들을 후보 픽셀들인 것으로 결정할 수 있다. 이러한 방식으로, 하나 이상의 후보 픽셀들이 현재 비디오 프레임의 추정된 부분적 가시 영역에서 검출될 수 있다.
일 실시예에 따르면, 프로세서(202)는 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들을 결정하도록 구성될 수 있다. 하나 이상의 거짓 양성 후보 픽셀들의 예들은 현재 비디오 프레임에서의 모션 블러링된 영역 내의 제1 픽셀 세트와 현재 비디오 프레임에서의 후광 효과가 있는 영역 내의 제2 픽셀 세트를 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 프로세서(202)는 모션 블러링된 영역을, 광학 흐름 기반 기법, 아티팩트 검출 기법, 및/또는 기타와 같은, 다양한 영상 처리 기법들을 사용하여 검출하도록 구성될 수 있다. 일 실시예에 따르면, 프로세서(202)는 영역 증가 속도 추정 기법을 사용하여 후광 효과가 있는 영역을 검출하도록 구성될 수 있다.
일 실시예에 따르면, 모션 블러링된 영역은 영상 포착 디바이스, (수술 기구 또는 수술 거즈와 같은) 비-조직 대상물, 및/또는 조직 부분 중 하나 이상의 움직임을 포함할 수 있는 현재 비디오 프레임 내의 영역에 대응할 수 있다. 일 실시예에 따르면, 프로세서(202)는 에지 검출 기법을 사용하여 현재 비디오 프레임 내의 하나 이상의 제1 에지 픽셀들 및 이전 비디오 프레임 내의 하나 이상의 제2 에지 픽셀들을 식별하도록 구성할 수 있다. 프로세서(202)는 이어서 하나 이상의 제2 에지 픽셀들로부터 하나 이상의 제1 에지 픽셀들의 위치 차이에 적어도 기초하여 모션 블러링된 영역을 검출할 수 있다. 일 실시예에 따르면, 프로세서(202)는, 이전 비디오 프레임의 대응하는 픽셀들과 관련하여, 현재 비디오 프레임의 에지 픽셀들과 연관된 움직임을 검출하기 위해 광학 흐름 기반 기법을 사용할 수 있다. 광학 흐름 기반 기법은 하기의 수학식 2 및 수학식 3을 사용하여 광학 흐름 벡터
Figure pct00002
, 및 그의 크기 제곱(squared magnitude)
Figure pct00003
을 결정하는 것을 포함할 수 있고:
Figure pct00004
Figure pct00005
여기서,
Figure pct00006
는 광학 흐름 벡터를 나타내고;
Figure pct00007
은 광학 흐름 벡터의 크기 제곱을 나타내며;
"It"는 현재 비디오 프레임 내의 픽셀들의 강도를 나타내고;
"It-1"은 이전 비디오 프레임 내의 픽셀들의 강도를 나타내며;
Figure pct00008
는 이전 비디오 프레임과 현재 비디오 프레임 사이의 픽셀 강도 변화의 움직임 벡터(motion vector)를 나타내고;
"(R, G, B)t"는 현재 비디오 프레임의 픽셀들의 적색, 녹색, 및 청색 색상 성분들을 나타내며;
"(R, G, B)t-1"은 이전 비디오 프레임의 픽셀들의 적색, 녹색 및 청색 색상 성분들을 나타내고;
"F2"는 (R,G,B)t 또는 It에서의 공간 기울기 크기(spatial gradient magnitude)의 제곱을 나타낸다.
본 기술분야의 통상의 기술자는 광학 흐름 기반 기법이 동일한 대상물을 표현하는 픽셀들의 강도들이 현재 비디오 프레임과 이전 비디오 프레임에서 일정한 채로 있을 수 있다는 가정에 기초할 수 있다는 것을 이해할 것이다. 그렇지만, 모션 블러로 인해, 대상물의 움직임과 연관된 영역에 포함된 픽셀들의 강도가 변할 수 있다. 게다가, 현재 비디오 프레임 내의 연기 픽셀들은 광학 흐름 기반 기법의 일정 강도 가정을 위반할 수 있다. 이것은 광학 흐름 기반 기법의 적용 시에 모션 블러의 효과를 더욱 악화시킬 수 있다. 에지 픽셀들의 검출에 기초하여, 대상물의 움직임은 모션 블러에 의해 영향을 받지 않을 수 있는 에지 픽셀들의 위치를 참조하여 추적될 수 있다. 게다가, 에지 픽셀들은 연기가 존재하더라도 뚜렷하게 지각가능할 수 있다. 이와 같이, 에지 검출은 유효 후보 픽셀들의 검출의 누락을 감소시킬 수 있고, 이는 그로써 후보 픽셀들의 검출에서의 거짓 음성(false-negative)들을 감소시킬 수 있다. 그러므로, 에지 픽셀들의 검출 및 검출된 에지 픽셀들에 대한 광학 흐름 기반 기법의 후속 구현에 의해, 후보 픽셀들의 검출에서의 거짓 음성들이 감소될 수 있다.
일 실시예에 따르면, 프로세서(202)는 비디오 프레임(또는 비디오 프레임의 영역) 내에서의 모션 블러의 정도가 미리 결정된 모션 블러 문턱값을 초과하는지를 결정할 수 있다. 이러한 모션 블러는 비디오 프레임(또는 그의 영역)에서의 움직임 유발 조명 변화(motion induced change in lighting)에 기인할 수 있다. 모션 블러의 정도가 미리 결정된 모션 블러 문턱값을 초과하는 경우에, 비디오 프레임이 더 이상 분석되지 않을 수 있고, 비디오 프레임(또는 그의 영역)에서의 연기 검출이 생략될 수 있다. 그에 따라, 후보 블록에서의 모션 블러 또는 후광 효과에 의해 생성되는, 거짓 양성 후보 픽셀들이 방지될 수 있다. 예를 들어, 프로세서(202)는 모션 블러링된 영역의 크기 및/또는 모션 블러링된 영역 내의 픽셀들의 평균 강도를 결정할 수 있다. 모션 블러링된 영역의 크기가 크기 문턱값 초과이며 그리고/또는 모션 블러링된 영역 내의 픽셀들의 평균 강도가 강도 문턱값 초과이면, 프로세서(202)는 비디오 프레임(또는 그의 영역)을 더 이상 처리하지 않을 수 있다. 따라서, 이 경우에, 비디오 프레임(또는 그의 영역)에서의 연기의 결정이 생략될 수 있다.
본 기술분야의 통상의 기술자는 비디오 프레임(또는 그의 영역)에서의 연기의 존재가 비디오 프레임(또는 그의 영역)에서의 잘못된 움직임 추정을 가져올 수 있다는 것을 이해할 것이다. 특정 시나리오들에서, 이 잘못된 추정된 모션 블러는 미리 결정된 모션 블러 문턱값을 초과할 수 있다. 이러한 경우, 비디오 프레임(또는 그의 영역)이 연기 검출을 위해 처리되지 않을 수 있고, 따라서 생략될 수 있다. 그렇지만, 앞서 설명된 바와 같이, 에지 픽셀들은 연기의 존재 시에 지각가능할 수 있다. 그러므로, 에지 픽셀들의 검출은 움직임 추정에서의 오류들을 감소시킴으로써, 연기 검출을 위한 비디오 프레임(또는 그의 영역)을 잘못하여 생략하는 것을 감소시킬 수 있다.
일 실시예에 따르면, 후보 픽셀 검출기(210)는 (특정 영상 블록의 근방에 있는 영상 블록과 같은) 비디오 프레임 내의 병존하는(collocated) 영상 블록에 연기가 존재하는지를 검사할 수 있다. 연기가 병존하는 영상 블록에 존재하거나 병존하는 영상 블록이 연기를 포함할 수 있는 하나 이상의 후보 픽셀들을 가질 때, 후보 픽셀 검출기(210)는 특정 영상 블록을 후보 블록으로 지정할 수 있다. 후보 픽셀 검출기(210)는 후보 블록 내의 픽셀들을 후보 픽셀들로서 지정할 수 있다. 이러한 시나리오에서, 후보 픽셀 검출기(210)는 후보 픽셀들을 검출하기 위해 후보 블록을 분석하지 않을 수 있다. 그 후에, 프로세서(202)는 후보 블록에서 거짓 양성 후보 픽셀들을 식별하고 이어서 그 블록으로부터 이러한 거짓 양성 후보 픽셀들을 제거할 수 있다.
일 실시예에 따르면, 프로세서(202)는 현재 비디오 프레임에서 영역을 식별하기 위해, "Condition 1" 및 "Condition 2"와 같은, 하나 이상의 조건들을 검사한다. 이러한 영역은 영상 포착 디바이스의 움직임을 포함할 수 있다. "Condition 1" 및 "Condition 2"와 같은, 하나 이상의 조건들은 다음과 같이 나타내어질 수 있고:
Figure pct00009
여기서
Figure pct00010
은 현재 비디오 프레임에서의 비정지(non-stationary) 에지 픽셀들의 수를 나타내고;
"N (I_edge)"는 현재 비디오 프레임에서의 에지 픽셀들의 수를 나타내며;　
"ratio_smoke"는 현재 비디오 프레임에서의 픽셀들의 총수에 대한 후보 픽셀의 수의 비를 나타낸다.
이와 같이, 프로세서(202)는 현재 비디오 프레임에서의 에지 픽셀들의 총수에 대한 비정지 에지 픽셀들의 수의 비가 값 "15 퍼센트" 초과인지를 결정하기 위해 조건 "Condition 1"을 검사할 수 있다. 프로세서(202)는 현재 비디오 프레임에서의 (후보 픽셀들과 같은) 연기의 비율이 값 "5 퍼센트" 미만인지를 검사할 수 있다. 게다가, 프로세서(202)는 현재 비디오 프레임에서의 에지 픽셀들의 총수에 대한 비정지 에지 픽셀들의 비가 값 "60 퍼센트" 초과인지를 결정하기 위해 조건 "Condition 2"를 검사할 수 있다. 2개의 조건들 중 어느 하나가 충족되면, 프로세서(202)는 (대응하는 비정지 에지 픽셀들을 포함하는) 식별된 영역이 적어도 영상 포착 디바이스의 움직임을 포함하는 모션 블러링된 영역이라고 결정할 수 있다. 프로세서(202)는 이러한 식별된 모션 블러링된 영역 내에 포함된 픽셀들을 거짓 양성 후보 픽셀들로서 식별하고 이러한 식별된 픽셀들을 하나 이상의 후보 픽셀들로부터 제거할 수 있다.
일 실시예에 따르면, 프로세서(202)는 하나 이상의 비디오 프레임들 중의 이전 비디오 프레임에서 (수술 기구들 또는 수술 거즈와 같은) 비-조직 대상물들을 포함하는 영역들을 식별하기 위해 아티팩트 검출 기법을 사용할 수 있다. 일 실시예에 따르면, 연기 검출 동안, 프로세서(202)는 이전 비디오 프레임의 식별된 비-조직 영역들에 대응하는 현재 비디오 프레임의 이러한 영역들을 고려하지 않을 수 있다. 따라서, 현재 비디오 프레임에서의 후보 픽셀들의 식별 동안, 이전 비디오 프레임의 비-조직 영역들이 배제될 수 있다. 현재 비디오 프레임에서 후보 픽셀들을 식별한 후에, 프로세서(202)는 현재 비디오 프레임에서의 이전 비디오 프레임의 비-조직 영역들의 범위(span)(또는 위치들)를, 이러한 비-조직 영역들에 대해 수행된 확장 동작(dilation operation)에 기초하여, 확장할 수 있다. 그 후에, 프로세서(202)는, 수학식 4에 표현된 바와 같이, 현재 비디오 프레임의 후보 픽셀들 및 확장된 비-조직 영역들을 포함하는 하나 이상의 연기 블록들 사이의 중첩(overlap)(또는 교차(intersection))의 정도를 결정할 수 있고:
Figure pct00011
여기서 "Ismoke"는 현재 비디오 프레임에서의 하나 이상의 후보 픽셀들을 포함하는 연기 블록의 평균 픽셀 강도를 나타내고;
Figure pct00012
는 이전 비디오 프레임에서의, 도구 블록과 같은, 비-조직 블록의 평균 픽셀 강도를 나타내며;
Figure pct00013
는 이전 비디오 프레임에서의, 거즈 블록과 같은, 비-조직 블록의 평균 픽셀 강도를 나타낸다.
프로세서(202)는 하나 이상의 연기 블록들과 확장된 비-조직 영역들 사이의 중첩 또는 교차의 정도를, "95 퍼센트"와 같은, 제3 미리 결정된 문턱값과 비교할 수 있다. 중첩의 정도가, "95 퍼센트"와 같은, 제3 미리 결정된 문턱값을 초과하면, 프로세서(202)는 이러한 하나 이상의 연기 블록들 내의 후보 픽셀들을 비-조직 대상물을 포함하는 모션 블러링된 영역의 픽셀들로서 식별할 수 있다. 그러므로, 이전 비디오 프레임의 확장된 아티팩트(비-조직) 영역들이 연기로 포화된 것으로 검출되면, 이러한 영역들에서 검출된 연기는 이러한 아티팩트들의 움직임에 의해 야기된 모션 블러로 인한 것일 수 있다. 게다가, 일 예에서, 확장된 아티팩트 영역들은 또한, 도구들 및 거즈들과 같은, 아티팩트들의 그림자들을 포함할 수 있다. 프루닝 엔진(212)은 거짓 양성 후보 픽셀들로서 식별된 이러한 픽셀들 모두를 하나 이상의 후보 픽셀들로부터 제거할 수 있다.
일 실시예에 따르면, 프로세서(202)는 하나 이상의 후보 픽셀들에 대해, "Condition 3" 및 "Condition 4"와 같은, 하나 이상의 조건들을 검사하도록 추가로 구성될 수 있다. 프로세서(202)는 하기와 같이 표현되는 "Condition 3" 및 "Condition 4"와 같은, 하나 이상의 조건들에 기초하여 하나 이상의 후보 픽셀들을 제거할 수 있고:
Figure pct00014
여기서
Figure pct00015
는 후보 픽셀들을 포함하는 영상 블록의 평균 픽셀 강도를 나타내고;
"max(R,G,B)"는 후보 픽셀의 적색, 녹색 및 청색 색상 성분들 중의 최댓값을 나타내며;
"min(R,G,B)"는 후보 픽셀의 적색, 녹색 및 청색 색상 성분들 중의 최솟값을 나타낸다.
따라서, 프로세서(202)는, 후보 픽셀들을 포함하는 각각의 영상 블록의 평균 픽셀 강도 값들이 "30부터 240까지"와 같은, 특정의 범위에 있는지를 결정하기 위해, 조건 "Condition 3"을 검사할 수 있다. 게다가, 프로세서(202)는, 각각의 후보 픽셀의 RGB 색상 성분들의 최솟값과 최댓값 사이의 차이가, "120"과 같은, 문턱값 미만인지를 결정하기 위해, 조건 "Condition 4"를 검사할 수 있다. 프로세서(202)는 조건들 "Condition 3" 및 "Condition 4" 중 하나 이상이 충족되지 않는 후보 픽셀들을 식별할 수 있다. 프루닝 엔진(212)은 이어서 거짓 양성 후보 픽셀들로서 식별된 이러한 픽셀들을 하나 이상의 후보 픽셀들로부터 제거할 수 있다. 조건 "Condition 3"은 프루닝된 후보 픽셀들이 적당한 백색 값들을 갖도록 보장할 수 있다. 게다가, 조건 "Condition 4"는 프루닝된 후보 픽셀들이 낮은 크로마 값들을 갖도록 보장할 수 있다.
일 실시예에 따르면, 프로세서(202)는 현재 비디오 프레임 내에 일시적인 랜덤 텍스처가 있는지 검사하도록 추가로 구성될 수 있다. 프로세서(202)는 차분 영상의 각각의 영상 블록의 히스토그램에 대해 결정된 엔트로피 "Eblock_i"를, "0.9"와 같은, 제4 미리 결정된 문턱값과 비교하도록 구성될 수 있다. 게다가, 프로세서(202)는 차분 영상에서의 각각의 영상 블록의 평균 픽셀 강도들을, "0.5"와 같은, 제5 미리 결정된 문턱값과 비교하도록 구성될 수 있다. 영상 블록의 엔트로피가, "0.9"와 같은, 제4 미리 결정된 문턱값 미만이고, 그 영상 블록의 평균 픽셀 강도가, "0.5"와 같은, 제5 미리 결정된 문턱값 초과이면, 프로세서(202)는 영상 블록이 일시적인 랜덤 텍스처를 가질 수 있다고 검출할 수 있다. 일 실시예에 따르면, 프로세서(202)는 이러한 검출된 영상 블록의 픽셀들을 하나 이상의 후보 픽셀들에 추가할 수 있다. 이것은 연기를 포함할 수 있지만 그렇지 않았으면 이러한 영상 블록들의 일시적인 랜덤 텍스처로 인해 검출되지 않을 영상 블록들의 검출에 도움을 줄 수 있다.
일 실시예에 따르면, 프루닝 엔진(212)은 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들을 제거함으로써 하나 이상의 후보 픽셀들을 프루닝하도록 구성될 수 있다. 프로세서(202)는 이어서, 하나 이상의 후보 픽셀들의 프루닝에 기초하여, 현재 비디오 프레임에서의 부분적 가시 영역에서 연기 영역을 결정할 수 있다. 본 기술분야의 통상의 기술자는 다양한 미리 결정된 문턱값들의 값들이 예시적인 값들이라는 것을 이해할 것이다. 미리 결정된 문턱값들의 값들은, 본 개시내용의 범주를 벗어나지 않고, 구현 및 사용자 요구사항들에 기초하여 달라질 수 있다.
일 실시예에 따르면, 카메라 제어 유닛(218)은, 현재 비디오 프레임에서의 연기 영역의 결정에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들에 대한 최적 값들을 결정하도록 구성될 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 하나 이상의 영상 포착 설정들의 최적 값들은, 연기 영역의 크기, 연기 영역 내의 픽셀들의 평균 강도, 또는 연기 영역의 하나 이상의 특징들과 같은, 하나 이상의 조건들에 기초하여 결정될 수 있다. 일 실시예에서, 최적 값들의 결정이 또한 사용자 지정 기준들에 기초할 수 있다. 카메라 제어 유닛(218)은, 송수신기(204)를 통해, 하나 이상의 영상 포착 설정들의 최적 값들을 영상 포착 디바이스로 전송하도록 구성될 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들은 카메라 제어 유닛(218)에 의해 송신되는 각자의 최적 값들에 기초하여 조절될 수 있다.
일 실시예에 따르면, UI 관리자(216)는, 사용자 단말(108)의 UI를 통해, 하나 이상의 영상 포착 설정들의 최적 값들을 사용자에게 제시할 수 있다. UI 관리자(216)는 사용자가, 사용자 단말(108)의 UI를 통해, 최적 값들을 확인 또는 조절할 수 있게 할 수 있다. UI 관리자(216)는, 송수신기(204)를 통해, 사용자 단말(108)로부터 최적 값들의 확인 또는 조절을 나타내는 사용자 입력을 수신할 수 있다. 그 후에, 카메라 제어 유닛(218)은 사용자 입력에 기초하여 최적 값들을 업데이트하고, 업데이트된 최적 값들을 송수신기(204)를 통해 영상 포착 디바이스로 전송할 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들은 카메라 제어 유닛(218)으로부터 수신되는 업데이트된 최적 값들에 기초하여 조절될 수 있다.
일 실시예에 따르면, UI 관리자(216)는, 의사와 같은, 사용자 단말(108)의 사용자에게 수술 장면 인터페이스를 제시하도록 구성될 수 있다. 수술 장면 인터페이스는, 사용자 단말(108)의 UI를 통해, 사용자 단말(108)의 디스플레이 디바이스 상에서 사용자에게 제시될 수 있다. 일 실시예에 따르면, 수술 장면 인터페이스는 현재 비디오 프레임을 포함하는 하나 이상의 비디오 프레임들을 사용자에게 디스플레이하도록 구성될 수 있다. 검출된 연기 영역은, 수술 장면 인터페이스를 통해, 사용자에게 디스플레이되는 현재 비디오 프레임에서 마스킹되거나 하이라이트될 수 있다. 수술 장면 인터페이스의 예시적인 시나리오들이 도 5a 및 도 5b에 설명되어 있다.
일 실시예에 따르면, UI 관리자(216)는 현재 비디오 프레임에서의 연기 영역의 결정을 나타내는 통지를 생성하도록 추가로 구성될 수 있다. UI 관리자(216)는 생성된 통지를 사용자 단말(108)로 송신할 수 있다. 통지는 사용자 단말(108)의 UI를 통해 사용자에게 제시될 수 있다. 연기 영역의 결정을 위한 하나 이상의 비디오 프레임들의 실시간 또는 온라인 분석의 경우에, UI 관리자(216)는 또한 생성된 통지를 송수신기(204)를 통해 수술 디바이스(102)로 전송할 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 피드백을 포함할 수 있지만, 이들로 제한되지 않는다.
도 3은 본 개시내용의 일 실시예에 따른, 예시적인 사용자 단말을 나타낸 블록도이다. 도 3는 도 1로부터의 요소들과 관련하여 설명된다. 도 3을 참조하면, 사용자 단말(108)이 도시되어 있다. 사용자 단말(108)은 프로세서(302)와 같은 하나 이상의 프로세서들, 송수신기(304)와 같은 하나 이상의 송수신기들, 메모리(306), 클라이언트 인터페이스 유닛(308), 및 디스플레이 디바이스(314)를 포함할 수 있다. 클라이언트 인터페이스 유닛(308)은 UI 관리자(310) 및 디스플레이 어댑터(312)를 포함할 수 있다. 프로세서(302)는 송수신기(304), 메모리(306), 클라이언트 인터페이스 유닛(308), 및 디스플레이 디바이스(314)에 통신가능하게 결합될 수 있다. 송수신기(304)는, 통신 네트워크(110)를 통해, 영상 처리 서버(104) 및/또는 수술 디바이스(102)와 통신하도록 구성될 수 있다.
프로세서(302)는 메모리(306)에 저장된 명령어 세트를 실행하도록 구성될 수 있는, 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(302)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(302)의 예들은 X86 기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 및/또는 다른 프로세서들일 수 있다.
송수신기(304)는 (도 1에 도시된 바와 같이) 통신 네트워크(110)를 통해 영상 처리 서버(104) 및/또는 수술 디바이스(102)와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 송수신기(304)는 통신 네트워크(110)를 사용하여 사용자 단말(108)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 송수신기(304)는 안테나, RF(radio frequency) 송수신기, 하나 이상의 증폭기들, 하나 이상의 발진기들, 디지털 신호 프로세서, 코덱(coder-decoder) 칩셋, SIM(subscriber identity module) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다.
송수신기(304)는 무선 통신을 통해 인터넷, 인트라넷 및/또는, 셀룰러 전화 네트워크와 같은, 무선 네트워크, 무선 LAN(wireless local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들과 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징, 및/또는 SMS(Short Message Service)를 위한 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수 있다.
메모리(306)는 프로세서(302)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 메모리(306)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), HDD(Hard Disk Drive), 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
클라이언트 인터페이스 유닛(308)은 사용자 단말(108) 상에 제시되는 하나 이상의 UI들을 렌더링 및 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 클라이언트 인터페이스 유닛(308)은 프로세서(302)의 일부일 수 있다. 대안적으로, 클라이언트 인터페이스 유닛(308)은 사용자 단말(108)에서 별도의 프로세서 또는 회로부로서 구현될 수 있다. 예를 들어, 클라이언트 인터페이스 유닛(308)은 프로세서(302)에 통신가능하게 결합된 전용 그래픽 프로세서 또는 칩셋으로서 구현될 수 있다. 일 실시예에 따르면, 클라이언트 인터페이스 유닛(308) 및 프로세서(302)는 클라이언트 인터페이스 유닛(308) 및 프로세서(302)의 기능들을 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 다른 실시예에 따르면, 클라이언트 인터페이스 유닛(308)은 프로세서(302)에 의해 실행될 때 클라이언트 인터페이스 유닛(308)의 기능들을 수행할 수 있는, 메모리(306)에 저장된, 컴퓨터 프로그램 코드로서 구현될 수 있다.
UI 관리자(310)는 사용자 단말(108)의 UI를 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, UI 관리자(310)는, 사용자 단말(108)의 입력 디바이스(도 3에 도시되지 않음)를 거쳐, 사용자 단말(108)의 UI를 통해 수신되는 사용자 입력을 수신 및 처리하도록 추가로 구성될 수 있다. 일 실시예에 따르면, 입력 디바이스는 사용자 단말(108)에 통신가능하게 결합(또는 그 내에 포함)될 수 있다. 입력 디바이스의 예들은 키보드, 마우스, 조이스틱, 트랙 패드, 음성 지원(voice-enabled) 입력 디바이스, 터치 지원(touch-enabled) 입력 디바이스, 및/또는 제스처 지원(gesture-enabled) 입력 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, UI 관리자(310)는 송수신기(304)를 통해 영상 처리 서버(104)의 UI 관리자(216)와 통신하도록 추가로 구성될 수 있다. 이러한 통신은 수술 장면 인터페이스에 대응하는 정보의 수신을 용이하게 할 수 있다. 그 후에, UI 관리자(310)는 사용자 단말(108)의 UI를 통해 수술 장면 인터페이스를 제시할 수 있다.
디스플레이 어댑터(312)는 UI 관리자(310)를 디스플레이 디바이스(314)와 인터페이싱시키도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 어댑터(312)는, 디스플레이 디바이스(314)의 디스플레이 구성들에 기초하여, 사용자 단말(108)의 UI의 렌더링 및 디스플레이 속성들의 조절을 수행할 수 있다. 디스플레이 조절을 수행하기 위해 이용될 수 있는 하나 이상의 기법들의 예들은 영상 향상(image enhancement), 영상 안정화(image stabilization), 콘트라스트 조절, 밝기 조절, 해상도 조절, 및/또는 스큐/회전 조절을 포함할 수 있지만, 이들로 제한되지 않는다.
디스플레이 디바이스(314)는 UI를 렌더링하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 사용자 단말(108)의 일부로서 구현될 수 있다. 다른 실시예에서, 디스플레이 디바이스(314)는 사용자 단말(108)에 통신가능하게 결합될 수 있다. 디스플레이 디바이스(314)는 CRT(Cathode Ray Tube) 기반 디스플레이, LCD(Liquid Crystal Display), LED(Light Emitting Diode) 기반 디스플레이, 유기 LED 디스플레이 기술, 및 레티나 디스플레이 기술(이들로 제한되지 않음)과 같은 몇 가지 공지된 기술들을 통해 실현될 수 있다. 그에 부가하여, 일 실시예에 따르면, 디스플레이 디바이스(314)는 사용자로부터 입력을 수신할 수 있다. 이러한 시나리오에서, 디스플레이 디바이스(314)는 사용자가 입력을 제공할 수 있게 하는 터치 스크린일 수 있다. 일 실시예에 따르면, 터치 스크린은 저항성 터치 스크린(resistive touch screen), 용량성 터치 스크린(capacitive touch screen), 또는 열 터치 스크린(thermal touch screen) 중 적어도 하나에 대응할 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 가상 키패드, 스타일러스, 제스처 기반 입력, 및/또는 터치 기반 입력을 통해 입력을 수신할 수 있다. 이러한 경우에, 입력 디바이스는 디스플레이 디바이스(314) 내에 통합될 수 있다. 그에 부가하여, 일 실시예에 따르면, 사용자 단말(108)은 터치 스크린 기반 디스플레이 디바이스(314) 이외에 보조 입력 디바이스를 포함할 수 있다.
동작 중에, 사용자 단말(108)의 송수신기(304)는, 통신 네트워크(110)를 통해, 영상 처리 서버(104)의 UI 관리자(216)로부터 수술 장면 인터페이스에 대응할 수 있는 정보를 수신할 수 있다. 그 후에, 일 실시예에 따르면, 사용자 단말(108)의 UI 관리자(310)는, 사용자 단말(108)의 UI를 통해, 수술 장면 인터페이스를 사용자에게 제시할 수 있다. 일 실시예에 따르면, 수술 장면 인터페이스는 현재 비디오 프레임을 포함하는 하나 이상의 비디오 프레임들을 사용자에게 제시할 수 있다. 일 실시예에 따르면, 현재 비디오 프레임이 사용자에게 디스플레이될 때, 현재 비디오 프레임에서 결정된 연기 영역들은 마스킹되거나 하이라이트될 수 있다. 수술 장면 인터페이스의 일 예가 도 5b에서 보다 상세히 설명된다.
일 실시예에 따르면, 수술 장면 인터페이스에 의해 제시되는 하나 이상의 비디오 프레임들은 수술 또는 진단 절차가 수행되는 동안 영상 포착 디바이스에 의해 포착되는 실시간 비디오 장면일 수 있다. 이러한 경우에, 영상 처리 서버(104)는 하나 이상의 비디오 프레임들 중의 현재 비디오 프레임에서의 연기 영역을 결정하기 위해 하나 이상의 비디오 프레임들을 실시간으로 분석할 수 있다(온라인 처리). 결정된 연기 영역은, 수술 장면 인터페이스를 통해, 현재 비디오 프레임에서 마스킹된 또는 하이라이트된 영역으로서 사용자에게 동시에 제시될 수 있다.
일 실시예에 따르면, 수술 장면 인터페이스는 결정된 연기 영역을 나타내는 통지를 사용자에게 제시하도록 추가로 구성될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다. (의사와 같은) 사용자는 통지에 기초하여 조치를 취하도록 프롬프트(prompt)될 수 있다. 예를 들어, 수술 장면 인터페이스는 사용자에게 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절하라고 프롬프트할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 카메라 제어 유닛(218)은, 연기 영역의 결정에 기초하여, 하나 이상의 영상 포착 설정들에 대한 최적 값들을 결정하도록 구성될 수 있다. 수술 장면 인터페이스는 이러한 최적 값들을 하나 이상의 영상 포착 설정들에 대한 제안된 값들로서 사용자에게 제시할 수 있다. 사용자는, 사용자에게 제시되는 제안된 값들에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절할 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들의 조절에 부가하여, (의사와 같은) 사용자는 환자의 해부학적 영역으로부터 연기를 없애기 위해 연기 제거 절차를 수행할 수 있다.
도 4는 본 개시내용의 일 실시예에 따른, 해부학적 수술의 비디오 프레임에서의 연기 검출을 위한 방법을 나타내는 예시적인 흐름도를 예시하고 있다. 도 4는 도 1 및 도 2로부터의 요소들과 관련하여 기술되어 있다. 도 4를 참조하면, 흐름도(400)가 도시되어 있다. 흐름도(400)는 비디오 프레임(402), 해부학적 영역(404), 수술 기구(406), 하나 이상의 후보 픽셀들(410), 프루닝된 후보 픽셀들(412), 및 연기 영역(414)을 포함한다. 흐름도(400)는 수술 또는 진단 절차 동안 영상 포착 디바이스에 의해 포착될 수 있는 비디오 프레임(비디오 프레임(402)으로서 예시됨)의 스냅샷을 나타낸 것이다. 비디오 프레임(402)은 수술 기구(406)를 사용하여 수술 또는 진단 절차가 수행될 수 있는 해부학적 영역(404)을 나타내고 있다. 비디오 프레임(402)은 연기 영역을 포함할 수 있는 부분적 가시 영역(408)을 추가로 나타내고 있다.
영상 처리 서버(104)의 후보 픽셀 검출기(210)는 부분적 가시 영역(408)을 추정하기 위해 비디오 프레임(402)을 분석하도록 구성될 수 있다. 후보 픽셀 검출기(210)는 부분적 가시 영역(408)에서 하나 이상의 후보 픽셀들(410)을 검출하도록 추가로 구성될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 프로세서(202)는 하나 이상의 후보 픽셀들(410)로부터 하나 이상의 거짓 양성 후보 픽셀들을 결정하도록 구성될 수 있다. 프루닝 엔진(212)은, 결정된 하나 이상의 거짓 양성 후보 픽셀들을 하나 이상의 후보 픽셀들(410)로부터 제거하는 것에 기초하여, 하나 이상의 후보 픽셀들(410)을 프루닝하도록 구성될 수 있다. 프루닝된 후보 픽셀들은 흐름도(400)에서 412에 의해 예시되어 있다. 프로세서(202)는, 프루닝된 후보 픽셀들(412)에 기초하여, 비디오 프레임(402)에서 연기 영역(414)을 결정하도록 추가로 구성될 수 있다.
도 5a 및 도 5b는 본 개시내용의 일 실시예에 따른, 사용자 단말(108) 상에 제시될 수 있는 UI들의 예시적인 시나리오들을 나타낸 것이다. 도 5a 및 도 5b는 도 1의 요소들과 관련하여 기술되어 있다. 도 5a 및 도 5b를 참조하면, 사용자 단말(108)의 사용자에게 제시될 수 있는 사용자 인터페이스(UI)(500)의 예들이 도시되어 있다.
도 5a와 관련하여, UI(500)의 제1 예시적인 시나리오가 도시되어 있다. UI(500)는 하나 이상의 비디오 프레임들을 사용자에게 제시하기 위해 수술 장면 인터페이스(502)를 디스플레이하도록 구성될 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 수술 장면 인터페이스(502)는 환자의 해부학적 영역(504)의 투시 단면의 스냅샷을 포함하는 비디오 프레임을 디스플레이할 수 있다. 해부학적 영역(504)에 대해 수술 또는 진단 절차가 수행되는 동안 스냅샷이 포착될 수 있다. 스냅샷에 예시된 바와 같이, 수술 또는 진단 절차는, 수술 거즈(508)와 같은, 하나 이상의 수술 거즈들과, 수술 집게(506) 및 내시경 수술 기구(510)와 같은, 하나 이상의 수술 기구들을 사용하여 수행될 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 수술 또는 진단 절차가 내시경 수술 기구(510)를 사용하여 수행될 때, 해부학적 영역(504)의 표면이 수술 집게(506)를 사용하여 유지될 수 있다. 게다가, 수술 거즈(508)는 수술 또는 진단 절차가 수행되는 동안 배어 나올 수 있는 혈액 또는 다른 체액들을 흡수하는 데 사용될 수 있다. 단일의 수술 거즈 및 2개의 수술 기구들이 도 5a에 도시되어 있지만, 하나 이상의 부가 수술 거즈들 및/또는 수술 기구들이 또한, 본 개시내용의 범주를 벗어나지 않고, 수술 또는 진단 절차를 수행하는 데 사용될 수 있다. 도 5a에 도시된 바와 같이, 스냅샷은, 제1 영역(512a), 제2 영역(512b), 제3 영역(512c), 제4 영역(512d), 제5 영역(512e), 및 제6 영역(514)과 같은, 다양한 부분적 가시 영역들을 추가로 예시하고 있다.
동작 중에, 특정의 비디오 프레임을 수술 장면 인터페이스(502)에 디스플레이하기 전에, 영상 처리 서버(104)는 비디오 프레임을 분석할 수 있다. 일 실시예에서, 영상 처리 서버(104)의 후보 픽셀 검출기(210)는 영역들(512a 내지 512e 및 514)을 도 5a에 예시된 비디오 프레임의 부분적 가시 영역들로서 추정할 수 있다. 그 후에, 후보 픽셀 검출기(210)는 비디오 프레임의 각각의 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출할 수 있다. 게다가, 영상 처리 서버(104)의 프루닝 엔진(212)은, 하나 이상의 거짓 양성 후보 픽셀들을 하나 이상의 후보 픽셀들로부터 제거하는 것에 기초하여, 하나 이상의 후보 픽셀들을 프루닝할 수 있다. 일 실시예에 따르면, 하나 이상의 거짓 양성 후보 픽셀들은 비디오 프레임의 모션 블러링된 영역 또는 후광 효과가 있는 영역에 대응할 수 있다.
예를 들어, 제1 영역(512a)은 내시경 수술 기구(510)를 둘러쌀 수 있는 후광 효과가 있는 영역일 수 있다. 영역들(512b 내지 512e)은 비디오 프레임에서의 모션 블러링된 영역들일 수 있다. 제2 영역(512b)은 내시경 수술 기구(510)의 움직임에 의해 야기되는 모션 블러에 의해 영향을 받을 수 있다. 제3 영역(512c)은 수술 거즈(508)의 움직임으로 인해 모션 블러링될 수 있다. 그에 부가하여, 제4 영역(512d)은 수술 집게(506)의 근방에서 해부학적 영역(504)의 조직의 움직임으로 인한 모션 블러의 영향을 받을 수 있다. 게다가, 제5 영역(512e)은 영상 포착 디바이스로의 움직임으로 인해 모션 블러링될 수 있는 영역일 수 있다. 프로세서(202)는 영역들(512a 내지 512e)이 거짓 양성 후보 픽셀들을 포함한다고 결정할 수 있다.
도 5b를 참조하면, 프루닝 엔진(212)이 후보 픽셀들을 프루닝하기 위해 이러한 거짓 양성 후보 픽셀들을 하나 이상의 후보 픽셀들로부터 제거할 때의 UI(500)의 제2 예시적인 시나리오가 도시되어 있다. 프로세서(202)는, 후보 픽셀들의 프루닝에 기초하여, 제6 영역(514)(도 5a)만이 연기 영역이라고 결정할 수 있다. 수술 장면 인터페이스(502)는 비디오 프레임이 사용자에게 제시되는 동안 비디오 프레임에서 결정된 연기 영역을 마스킹 또는 하이라이트할 수 있다. 예를 들어, 제6 영역(514)은 비디오 프레임에서 연기 영역으로서 결정될 수 있다. 도 5b에서의 비디오 프레임의 스냅샷에 예시된 바와 같이, 제6 영역(514)은 제6 영역(514)에서의 연기를 하이라이트하기 위해 점선 경계(516)로 표시될 수 있다.
일 실시예에 따르면, 수술 장면 인터페이스(502)는, 비디오 프레임에서 점선 경계(516)에 의해 둘러싸인 제6 영역(514)과 같은, 연기 영역의 결정을 나타내는 통지를 사용자에게 제시하도록 추가로 구성될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다. 비디오 프레임이 실시간으로 제시되는 경우에, 수술 장면 인터페이스(502)는 통지에 기초하여 (의사와 같은) 사용자에게 특정의 조치를 취하라고 프롬프트할 수 있다. 예를 들어, 수술 장면 인터페이스(502)는 사용자에게 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절하라고 프롬프트할 수 있다. 수술 장면 인터페이스(502)는 하나 이상의 영상 포착 설정들에 대한 최적 값들을 제안할 수 있다. 사용자는, 사용자에게 제시되는 제안된 최적 값들에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절할 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들의 조절에 부가하여, (의사와 같은) 사용자는 환자의 해부학적 영역으로부터 연기를 없애기 위해 연기 제거 절차를 수행할 수 있다. 본 기술분야의 통상의 기술자는 UI(500)가 예시를 위해 제공되었으며 본 개시내용의 범주를 제한하는 것으로 해석되어서는 안된다는 것을 이해할 것이다.
본 개시내용의 다양한 실시예들은 다수의 장점들을 포함할 수 있다. 앞서 논의된 바와 같이, 영상 처리 서버(104)는 하나 이상의 비디오 프레임들 중의 현재 비디오 프레임에서의 연기 영역을 실시간으로 결정하기 위해 하나 이상의 비디오 프레임들을 분석할 수 있다. 하나 이상의 비디오 프레임들의 분석 동안, 영상 처리 서버(104)는 현재 비디오 프레임에서의 부분적 가시 영역을 추정하고 이어서 부분적 가시 영역에서 후보 픽셀들을 검출할 수 있다. 영상 처리 서버(104)는 이어서 연기 영역을 결정하기 위해 검출된 후보 픽셀들로부터 거짓 양성 후보 픽셀들을 제거할 수 있다. 이러한 거짓 양성 후보 픽셀들은 모션 블러 또는 후광 효과에 의해 영향을 받는 영역들에 있을 수 있고, 따라서 연기와 유사하게 보일 수 있다. 따라서, 이러한 거짓 양성 후보 픽셀들의 제거는 영상 처리 서버(104)에 의한 연기 검출의 정확성 및 강건성(robustness)을 증가시킬 수 있다.
수술 또는 진단 절차 동안, 영상 처리 서버(104)는 연기의 검출을 나타낼 수 있는 통지를 의사에게 실시간으로 제공할 수 있다. 실시간 통지에 기초하여, 의사는 수술 또는 진단 절차가 수행되는 동안 연기 제거 절차를 개시할 수 있다. 게다가, 논의된 바와 같이, 영상 처리 서버(104)는 또한 의사가, 현재 비디오 프레임에서의 연기 영역의 결정에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절할 수 있게 할 수 있다. 하나 이상의 영상 포착 설정들에서의 이러한 조절은 영상 포착 디바이스에 의해 실시간으로 포착되는 하나 이상의 비디오 프레임들의 품질의 개선에 도움을 줄 수 있다.
도 6은 본 개시내용의 일 실시예에 따른, 해부학적 수술 동안 연기 검출을 위한 예시적인 방법을 나타낸 예시적인 플로우차트이다. 도 6을 참조하면, 플로우차트(600)가 도시되어 있다. 플로우차트(600)는 도 1 및 도 2와 관련하여 기술된다. 방법은 단계(602)에서 시작하여 단계(604)로 진행한다.
단계(604)에서, 부분적 가시 영역이 하나 이상의 비디오 프레임들 중의 현재 비디오 프레임에서 추정될 수 있다. 일 실시예에 따르면, 하나 이상의 비디오 프레임들이 환자의 해부학적 영역에서 수행되는 수술 또는 진단 절차 동안 영상 포착 디바이스에 의해 포착될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 후보 픽셀 검출기(210)는 현재 비디오 프레임에서의 부분적 가시 영역을 추정하도록 구성될 수 있다. 일 실시예에 따르면, 부분적 가시 영역은 현재 비디오 프레임과 하나 이상의 비디오 프레임들 중의 이전 비디오 프레임 사이의 시간 차이에 적어도 기초하여 추정될 수 있다.
단계(606)에서, 비디오 프레임에서의 모션 블러의 정도가 미리 결정된 모션 블러 문턱값을 초과하는지를 결정하기 위해 검사가 수행된다. 일 실시예에 따르면, 영상 처리 서버(104)의 프로세서(202)는 비디오 프레임 내의 모션 블러의 정도를 미리 결정된 문턱값과 비교하도록 구성될 수 있다. 예를 들어, 프로세서(202)는 비디오 프레임 내의 모션 블러를 포함하는 영역들을 결정하기 위해 비디오 프레임을 분석할 수 있다. 그 후에, 프로세서(202)는 이러한 영역들 내의 픽셀들의 크기 및/또는 평균 강도를 결정할 수 있다. 프로세서(202)는 모션 블러링된 영역들의 크기를 크기 문턱값과 비교하고 모션 블러링된 영역들의 평균 픽셀 강도를 강도 문턱값과 비교할 수 있다. 모션 블러링된 영역들의 크기 및 평균 픽셀 강도가, 각각, 크기 문턱값 및 강도 문턱값을 초과하면, 프로세서(202)는 비디오 프레임에서의 모션 블러의 정도가 미리 결정된 모션 블러 문턱값을 초과한다고 결정할 수 있다. 비디오 프레임에서의 모션 블러의 정도가 미리 결정된 모션 블러 문턱값을 초과하면, 제어는 종료 단계(618)로 넘어간다. 따라서, 이 경우에, 비디오 프레임에서의 연기의 결정이 생략될 수 있고, 비디오 프레임이 더 이상 처리 및/또는 분석되지 않을 수 있다. 그렇지 않으면, 제어는 단계(608)로 넘어간다.
단계(608)에서, 연기가 비디오 프레임의 병존하는 영상 블록 내에 존재하는지를 결정하기 위해 검사가 수행된다. 일 실시예에 따르면, 후보 픽셀 검출기(210)는 연기가 비디오 프레임의 병존하는 영상 블록에 존재하는지를 검사하도록 구성될 수 있다. 병존하는 영상 블록은 분석 중인 특정의 영상 블록의 근방에 있을 수 있는 영상 블록에 대응할 수 있다. 연기가 병존하는 영상 블록에 존재하거나 병존하는 영상 블록이 연기를 포함할 수 있는 하나 이상의 후보 픽셀들을 가질 때, 후보 픽셀 검출기(210)는 특정의 영상 블록을 후보 블록으로 지정할 수 있다. 후보 픽셀 검출기(210)는 이러한 블록 내의 픽셀들을 후보 픽셀들로서 지정할 수 있다. 이러한 시나리오에서, 후보 픽셀 검출기(210)는 후보 픽셀들을 검출하기 위해 이 블록을 분석하지 않을 수 있다. 따라서, 단계(610)는 이러한 시나리오에서 생략될 수 있고, 제어는 단계(612)로 넘어갈 수 있다. 그렇지만, 병존하는 영상 블록에 연기가 존재하지 않으며 그리고/또는 후보 픽셀들이 병존하는 영상 블록 내에서 검출되지 않는 경우에, 제어는 단계(610)로 넘어갈 수 있다.
단계(610)에서, 하나 이상의 후보 픽셀들이 추정된 부분적 가시 영역에서 검출될 수 있다. 일 실시예에 따르면, 후보 픽셀 검출기(210)는 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하도록 구성될 수 있다. 일 실시예에서, 하나 이상의 후보 픽셀들은 현재 비디오 프레임 및 이전 비디오 프레임의 대응하는 영상 블록들의 평균 강도의 차이에 적어도 기초하여 검출될 수 있다. 일 실시예에 따르면, 하나 이상의 후보 픽셀들은 연기 블록, 조직 블록, 또는 비-조직 블록(이들로 제한되지 않음) 중 하나 이상에 대응할 수 있다.
단계(612)에서, 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들이 결정될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 프로세서(202)는 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들을 결정하도록 구성될 수 있다. 하나 이상의 거짓 양성 후보 픽셀들의 예들은 현재 비디오 프레임에서의 모션 블러링된 영역 내의 제1 픽셀 세트와 현재 비디오 프레임에서의 후광 효과가 있는 영역 내의 제2 픽셀 세트를 포함할 수 있지만, 이들로 제한되지 않는다.
단계(614)에서, 검출된 하나 이상의 후보 픽셀들이 프루닝될 수 있다. 일 실시예에 따르면, 프루닝 엔진(212)은 검출된 하나 이상의 후보 픽셀들로부터 결정된 하나 이상의 거짓 양성 후보 픽셀들을 제거함으로써 검출된 하나 이상의 후보 픽셀들을 프루닝하도록 구성될 수 있다.
단계(616)에서, 현재 비디오 프레임의 추정된 부분적 가시 영역에서 연기 영역이 결정될 수 있다. 일 실시예에 따르면, 프로세서(202)는, 검출된 하나 이상의 후보 픽셀들의 프루닝에 기초하여, 추정된 부분적 가시 영역에서 연기 영역을 결정하도록 구성될 수 있다. 제어는 종료 단계(618)로 넘어간다.
본 개시내용의 일 실시예에 따르면, 해부학적 수술 동안 연기 검출을 위한 시스템이 개시된다. 본 시스템은 통신 네트워크(110)를 통해 영상 포착 디바이스(도 1에 도시되지 않음)에 통신가능하게 결합되는 영상 처리 서버(104)를 포함할 수 있다. 영상 포착 디바이스는 해부학적 수술 동안 하나 이상의 비디오 프레임들을 포착하도록 구성될 수 있다. 영상 처리 서버(104)는, 현재 비디오 프레임과 하나 이상의 비디오 프레임들 중의 이전 비디오 프레임 사이의 시간 차이에 기초하여, 현재 비디오 프레임에서의 부분적 가시 영역을 추정하도록 구성될 수 있다. 영상 처리 서버(104)는 현재 비디오 프레임에서의 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하도록 추가로 구성될 수 있다. 그에 부가하여, 영상 처리 서버(104)는, 검출된 하나 이상의 후보 픽셀들의 프루닝에 기초하여, 부분적 가시 영역에서의 연기 영역을 결정하도록 구성될 수 있다.
본 개시내용의 다양한 실시예들은 해부학적 수술 동안 연기 검출을 위해 머신 및/또는 컴퓨터에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하고 있는, 비일시적 컴퓨터 판독가능 매체 및/또는 저장 매체, 및/또는 비일시적 머신 판독가능 매체 및/또는 저장 매체를 제공할 수 있다. 영상 처리 서버(104) 내의 적어도 하나의 코드 섹션은 머신 및/또는 컴퓨터로 하여금, 현재 비디오 프레임과 하나 이상의 비디오 프레임들 중의 이전 비디오 프레임 사이의 시간 차이에 기초하여, 현재 비디오 프레임에서의 부분적 가시 영역의 추정을 포함하는 단계들을 수행하게 할 수 있다. 하나 이상의 비디오 프레임들이, 통신 네트워크(110)를 통해 영상 처리 서버(104)에 통신가능하게 결합될 수 있는, 영상 포착 디바이스에 의해 포착될 수 있다. 일 실시예에 따르면, 하나 이상의 후보 픽셀들이 현재 비디오 프레임에서의 추정된 부분적 가시 영역에서 검출될 수 있다. 게다가, 검출된 하나 이상의 후보 픽셀들의 프루닝에 기초하여, 부분적 가시 영역에서 연기 영역이 결정될 수 있다.
본 개시내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 중앙집중 방식으로, 적어도 하나의 컴퓨터 시스템에서, 또는 상이한 요소들이 몇 개의 상호연결된 컴퓨터 시스템들에 걸쳐 확산되어 있을 수 있는 분산 방식으로 실현될 수 있다. 본원에 기술되는 방법들을 수행하도록 구성된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은, 로딩되어 실행될 때, 본원에 기술되는 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 일부분을 포함하는 하드웨어로 실현될 수 있다.
본 개시내용이 특정 실시예들을 참조하여 기술되었지만, 본 기술분야의 통상의 기술자라면 본 개시내용의 범주를 벗어남이 없이 다양한 변경들이 행해질 수 있고 등가물들로 대체될 수 있다는 것을 잘 알 것이다. 그에 부가하여, 본 개시내용의 범주를 벗어남이 없이 본 개시내용의 교시내용에 따라 특정의 상황 또는 재료를 조정하기 위해 많은 수정들이 행해질 수 있다. 따라서, 본 개시내용이 개시된 특정의 실시예로 제한되지 않고 본 개시내용이 첨부된 청구항들의 범주 내에 속하는 모든 실시예들을 포함하는 것으로 의도되어 있다.

Claims (21)

  1. 해부학적 수술 동안 연기 검출을 위한 시스템으로서, 상기 시스템은:
    영상 포착 디바이스에 통신가능하게 결합된 영상 처리 엔진 내의 하나 이상의 회로들을 포함하고, 상기 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성되며, 상기 하나 이상의 회로들은:
    현재 비디오 프레임과 상기 영상 포착 디바이스로부터 수신되는 이전 비디오 프레임 사이의 시간 차이에 기초하여, 상기 현재 비디오 프레임에서의 부분적 가시 영역(partially visible region)을 추정하고;
    상기 현재 비디오 프레임에서의 상기 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하며;
    상기 검출된 하나 이상의 후보 픽셀들의 프루닝(pruning)에 기초하여 상기 부분적 가시 영역에서의 연기 영역(smoke region)을 결정하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 하나 이상의 후보 픽셀들은 연기 블록(smoke block), 조직 블록(tissue block) 또는 비-조직 블록(non-tissue block) 중 하나 이상에 대응하는, 시스템.
  3. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들을 결정하도록 추가로 구성되고, 상기 검출된 하나 이상의 후보 픽셀들의 상기 프루닝은 상기 하나 이상의 거짓 양성 후보 픽셀들을 상기 검출된 하나 이상의 후보 픽셀들로부터 제거하는 것을 추가로 포함하는, 시스템.
  4. 제3항에 있어서, 상기 하나 이상의 거짓 양성 후보 픽셀들은 적어도 상기 현재 비디오 프레임에서의 모션 블러링된 영역(motion-blurred region) 내의 제1 픽셀 세트 및 상기 현재 비디오 프레임에서의 후광 효과가 있는 영역(halo-effected region) 내의 제2 픽셀 세트를 포함하는, 시스템.
  5. 제4항에 있어서, 상기 모션 블러링된 영역은 상기 영상 포착 디바이스, 비-조직 대상물(non-tissue object), 또는 조직 부분 중 하나 이상의 움직임을 포함하는 상기 현재 비디오 프레임 내의 영역에 대응하는, 시스템.
  6. 제4항에 있어서, 상기 하나 이상의 회로들은 광학 흐름 기반 기법 또는 아티팩트 검출 기법 중 하나 이상을 사용하여 상기 모션 블러링된 영역을 검출하도록 추가로 구성되는, 시스템.
  7. 제6항에 있어서, 상기 하나 이상의 회로들은 에지 검출 기법을 사용하여 상기 현재 비디오 프레임 내의 하나 이상의 제1 에지 픽셀들 및 상기 이전 비디오 프레임 내의 하나 이상의 제2 에지 픽셀들을 식별하도록 추가로 구성되고, 상기 모션 블러링된 영역은 상기 하나 이상의 제2 에지 픽셀들로부터 상기 하나 이상의 제1 에지 픽셀들의 위치 차이에 적어도 기초하여 검출되는, 시스템.
  8. 제4항에 있어서, 상기 하나 이상의 회로들은 영역 증가 속도 추정 기법(region growth rate estimation technique)을 사용하여 상기 후광 효과가 있는 영역을 검출하도록 추가로 구성되는, 시스템.
  9. 제1항에 있어서, 상기 부분적 가시 영역의 상기 추정은 상기 현재 비디오 프레임과 상기 이전 비디오 프레임 사이의 상기 시간 차이의 히스토그램의 엔트로피에 기초하는, 시스템.
  10. 제1항에 있어서, 상기 하나 이상의 후보 픽셀들의 상기 검출은 상기 현재 비디오 프레임과 상기 이전 비디오 프레임의 대응하는 영상 블록들의 평균 강도의 차이에 기초하는, 시스템.
  11. 제1항에 있어서, 상기 영상 포착 디바이스의 하나 이상의 영상 포착 설정들은 상기 연기 영역의 상기 결정에 기초하여 조절되고, 상기 하나 이상의 영상 포착 설정들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명 중 하나 이상을 포함하는, 시스템.
  12. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 해부학적 수술 동안 사용자 인터페이스를 통해 상기 현재 비디오 프레임을 디스플레이하도록 추가로 구성되고, 상기 결정된 연기 영역은 상기 디스플레이된 현재 비디오 프레임에서 마스킹되거나 하이라이트되는, 시스템.
  13. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 연기 영역의 상기 결정을 나타내는 통지를 생성하도록 추가로 구성되고, 상기 통지는 오디오 경보, 텍스트 경보, 시각적 경보, 또는 햅틱 경보 중 하나 이상에 대응하는, 시스템.
  14. 해부학적 수술 동안 연기 검출을 위한 방법으로서, 상기 방법은:
    영상 포착 디바이스에 통신가능하게 결합된 영상 처리 엔진에서:
    현재 비디오 프레임과 상기 영상 포착 디바이스로부터 수신되는 이전 비디오 프레임 사이의 시간 차이에 기초하여, 상기 현재 비디오 프레임에서의 부분적 가시 영역을 추정하는 단계 - 상기 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성됨 -;
    상기 현재 비디오 프레임에서의 상기 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하는 단계; 및
    상기 검출된 하나 이상의 후보 픽셀들의 프루닝에 기초하여 상기 부분적 가시 영역에서의 연기 영역을 결정하는 단계를 포함하는, 방법.
  15. 제14항에 있어서, 상기 하나 이상의 후보 픽셀들은 연기 블록, 조직 블록 또는 비-조직 블록 중 하나 이상에 대응하는, 방법.
  16. 제14항에 있어서, 상기 검출된 하나 이상의 후보 픽셀들로부터 하나 이상의 거짓 양성 후보 픽셀들을 결정하는 단계를 추가로 포함하고, 상기 검출된 하나 이상의 후보 픽셀들의 상기 프루닝은 상기 하나 이상의 거짓 양성 후보 픽셀들을 상기 검출된 하나 이상의 후보 픽셀들로부터 제거하는 것을 추가로 포함하는, 방법.
  17. 제16항에 있어서, 상기 하나 이상의 거짓 양성 후보 픽셀들은 적어도 상기 현재 비디오 프레임에서의 모션 블러링된 영역 내의 제1 픽셀 세트 및 상기 현재 비디오 프레임에서의 후광 효과가 있는 영역 내의 제2 픽셀 세트를 포함하는, 방법.
  18. 제14항에 있어서, 상기 영상 포착 디바이스의 하나 이상의 영상 포착 설정들은 상기 연기 영역의 상기 결정에 기초하여 조절되고, 상기 하나 이상의 영상 포착 설정들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명 중 하나 이상을 포함하는, 방법.
  19. 제14항에 있어서, 상기 해부학적 수술 동안 사용자 인터페이스를 통해 상기 현재 비디오 프레임을 디스플레이하는 단계를 추가로 포함하고, 상기 결정된 연기 영역은 상기 디스플레이된 현재 비디오 프레임에서 마스킹되거나 하이라이트되는, 방법.
  20. 제14항에 있어서, 상기 연기 영역의 상기 결정을 나타내는 통지를 생성하는 단계를 추가로 포함하고, 상기 통지는 오디오 경보, 텍스트 경보, 시각적 경보, 또는 햅틱 경보 중 하나 이상에 대응하는, 방법.
  21. 컴퓨터로 하여금 단계들을 수행하게 하는 컴퓨터 실행가능 명령어 세트를 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 단계들은:
    현재 비디오 프레임과 영상 포착 디바이스로부터 수신되는 이전 비디오 프레임 사이의 시간 차이에 기초하여, 상기 현재 비디오 프레임에서의 부분적 가시 영역을 추정하는 단계 - 상기 영상 포착 디바이스는 상기 컴퓨터에 통신가능하게 결합되고, 상기 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성됨 -;
    상기 현재 비디오 프레임에서의 상기 추정된 부분적 가시 영역에서 하나 이상의 후보 픽셀들을 검출하는 단계; 및
    상기 검출된 하나 이상의 후보 픽셀들의 프루닝에 기초하여 상기 부분적 가시 영역에서의 연기 영역을 결정하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020177022241A 2015-02-18 2016-02-09 해부학적 수술 동안 연기 검출을 위한 시스템 및 방법 KR101945654B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562117815P 2015-02-18 2015-02-18
US62/117,815 2015-02-18
US14/862,437 2015-09-23
US14/862,437 US9805472B2 (en) 2015-02-18 2015-09-23 System and method for smoke detection during anatomical surgery
PCT/US2016/017106 WO2016133741A1 (en) 2015-02-18 2016-02-09 System and method for smoke detection during anatomical surgery

Publications (2)

Publication Number Publication Date
KR20170104553A true KR20170104553A (ko) 2017-09-15
KR101945654B1 KR101945654B1 (ko) 2019-02-07

Family

ID=56622211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022241A KR101945654B1 (ko) 2015-02-18 2016-02-09 해부학적 수술 동안 연기 검출을 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US9805472B2 (ko)
EP (1) EP3243325A4 (ko)
JP (1) JP6573084B2 (ko)
KR (1) KR101945654B1 (ko)
CN (1) CN107431784B (ko)
WO (1) WO2016133741A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240002856A (ko) 2022-06-30 2024-01-08 (주)메드브릿지 체내 영상 처리 시스템 및 방법

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
DE102016121668A1 (de) * 2016-11-11 2018-05-17 Karl Storz Se & Co. Kg Automatische Identifizierung medizinisch relevanter Videoelemente
WO2018175583A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
US11141226B2 (en) * 2017-06-23 2021-10-12 Asensus Surgical Us, Inc. Method of graphically tagging and recalling identified structures under visualization for robotic surgery
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11564703B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Surgical suturing instrument comprising a capture width which is larger than trocar diameter
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11045197B2 (en) 2017-10-30 2021-06-29 Cilag Gmbh International Clip applier comprising a movable clip magazine
US10594931B2 (en) * 2017-12-12 2020-03-17 Verily Life Sciences Llc Reducing smoke occlusion in images from surgical systems
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
CN111512389A (zh) * 2017-12-28 2020-08-07 爱惜康有限责任公司 在用于交互式外科平台的排烟模块中将排烟系统参数传送到集线器或云
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US20190201087A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Smoke evacuation system including a segmented control circuit for interactive surgical platform
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11298148B2 (en) 2018-03-08 2022-04-12 Cilag Gmbh International Live time tissue classification using electrical parameters
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11213294B2 (en) 2018-03-28 2022-01-04 Cilag Gmbh International Surgical instrument comprising co-operating lockout features
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11488304B2 (en) * 2018-05-01 2022-11-01 Eizo Corporation Gauze detection system and gauze detection method
US11050945B2 (en) * 2018-07-06 2021-06-29 Samsung Electronics Co., Ltd. Method and apparatus for capturing dynamic images
CN109028234B (zh) * 2018-09-29 2020-11-10 佛山市云米电器科技有限公司 一种能够对烟雾等级进行标识的油烟机
CN109028233B (zh) * 2018-09-29 2020-11-10 佛山市云米电器科技有限公司 厨房油烟浓度划分方法及油烟图像识别系统及油烟机
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11259807B2 (en) 2019-02-19 2022-03-01 Cilag Gmbh International Staple cartridges with cam surfaces configured to engage primary and secondary portions of a lockout of a surgical stapling device
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
US11594116B2 (en) 2019-06-27 2023-02-28 Carrier Corporation Spatial and temporal pattern analysis for integrated smoke detection and localization
US11625834B2 (en) * 2019-11-08 2023-04-11 Sony Group Corporation Surgical scene assessment based on computer vision
EP4084728A1 (en) * 2019-12-31 2022-11-09 Stryker Corporation Systems and methods for surgical smoke management
US20220346855A1 (en) * 2021-04-30 2022-11-03 Sony Group Corporation Electronic device and method for smoke level estimation
US20230153956A1 (en) * 2021-11-12 2023-05-18 Verily Life Sciences Llc Dynamic smoke reduction in images from a surgical system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120126679A (ko) * 2011-05-12 2012-11-21 주식회사 이턴 수술 상황 판단 및 대응을 위한 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템
KR20150008394A (ko) * 2012-04-11 2015-01-22 퀄컴 인코포레이티드 모션 벡터 라운딩

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2690031A1 (fr) * 1992-04-14 1993-10-15 Philips Electronique Lab Dispositif de segmentation d'images.
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
JPH11318909A (ja) * 1998-05-14 1999-11-24 Olympus Optical Co Ltd 煙除去システム
US6842196B1 (en) 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
TWI264684B (en) * 2004-11-16 2006-10-21 Univ Nat Kaohsiung Applied Sci Fire detection method and system applying with image acquisition
US20080013809A1 (en) * 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
US8009932B2 (en) * 2006-09-13 2011-08-30 Providence Engineering and Environmental Group LLC Automatic alignment of video frames for image processing
WO2008037293A1 (de) * 2006-09-25 2008-04-03 Siemens Schweiz Ag Detektion von rauch mit einer videokamera
WO2008088324A1 (en) * 2007-01-16 2008-07-24 Utc Fire & Security Corporation System and method for video detection of smoke and flame
US8280157B2 (en) * 2007-02-27 2012-10-02 Sharp Laboratories Of America, Inc. Methods and systems for refining text detection in a digital image
US8045140B2 (en) * 2007-10-18 2011-10-25 Stc.Unm Method for multivariate analysis of confocal temporal image sequences for velocity estimation
US7609856B2 (en) * 2007-11-13 2009-10-27 Huper Laboratories Co., Ltd. Smoke detection method based on video processing
US7786877B2 (en) * 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system
ES2341079B1 (es) * 2008-12-11 2011-07-13 Fundacio Clinic Per A La Recerca Biomedica Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision.
US9066658B2 (en) 2010-03-23 2015-06-30 Stryker Corporation Method and system for video based image detection/identification analysis for fluid and visualization control
JP5622192B2 (ja) * 2010-06-08 2014-11-12 日本信号株式会社 画像処理装置
EP2508143B1 (en) 2010-06-17 2014-02-26 Olympus Medical Systems Corp. Ultrasound suction system
WO2012035923A1 (ja) * 2010-09-14 2012-03-22 オリンパスメディカルシステムズ株式会社 内視鏡システム及び視界不良判定方法
JP5325341B2 (ja) 2011-03-03 2013-10-23 パナソニック株式会社 立体映像処理装置および方法ならびに立体映像表示装置
CN102645555A (zh) * 2012-02-22 2012-08-22 佛山科学技术学院 一种微运动测量方法
EP2754383B1 (en) 2013-01-10 2021-03-10 TransEnterix Europe Sàrl Device and method for assisting laparoscopic surgery - rule based approach
CN104287825B (zh) * 2014-10-11 2016-04-27 黄东晓 集约式腹腔镜手术工具

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120126679A (ko) * 2011-05-12 2012-11-21 주식회사 이턴 수술 상황 판단 및 대응을 위한 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템
KR20150008394A (ko) * 2012-04-11 2015-01-22 퀄컴 인코포레이티드 모션 벡터 라운딩

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240002856A (ko) 2022-06-30 2024-01-08 (주)메드브릿지 체내 영상 처리 시스템 및 방법

Also Published As

Publication number Publication date
CN107431784A (zh) 2017-12-01
JP6573084B2 (ja) 2019-09-11
CN107431784B (zh) 2020-02-18
EP3243325A4 (en) 2019-01-09
US9805472B2 (en) 2017-10-31
WO2016133741A1 (en) 2016-08-25
JP2018515857A (ja) 2018-06-14
US20160239967A1 (en) 2016-08-18
EP3243325A1 (en) 2017-11-15
KR101945654B1 (ko) 2019-02-07

Similar Documents

Publication Publication Date Title
KR101945654B1 (ko) 해부학적 수술 동안 연기 검출을 위한 시스템 및 방법
US10147188B2 (en) Method and system for surgical tool localization during anatomical surgery
KR102021682B1 (ko) 해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템
KR102265104B1 (ko) 해부학적 영역들의 비디오 영상들의 콘텐츠 관리를 위한 방법 및 시스템
US10478079B2 (en) Pulse estimation device, pulse estimation system, and pulse estimation method
CN112514362B (zh) 用于基于图像分数的视频质量增强的图像捕获设备和方法
US20190012838A1 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
KR101385743B1 (ko) 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템
WO2018158817A1 (ja) 画像診断装置、画像診断方法、及びプログラム
US11715199B2 (en) Systems and methods for surgical smoke management
EP4272425A1 (en) Systems and methods for low-light image enhancement
JP7127637B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20200160514A1 (en) Image processing apparatus and computer-readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant