KR102545980B1 - 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법 - Google Patents

자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102545980B1
KR102545980B1 KR1020217004565A KR20217004565A KR102545980B1 KR 102545980 B1 KR102545980 B1 KR 102545980B1 KR 1020217004565 A KR1020217004565 A KR 1020217004565A KR 20217004565 A KR20217004565 A KR 20217004565A KR 102545980 B1 KR102545980 B1 KR 102545980B1
Authority
KR
South Korea
Prior art keywords
depth
delete delete
weight
markers
image
Prior art date
Application number
KR1020217004565A
Other languages
English (en)
Other versions
KR20210035831A (ko
Inventor
토마스 제이. 칼레프
티나 피. 첸
에마누엘 드마이오
토니 첸
바실리 에브게니에비치 부하린
마이클 지. 루엘만
Original Assignee
액티브 서지컬, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액티브 서지컬, 인크. filed Critical 액티브 서지컬, 인크.
Publication of KR20210035831A publication Critical patent/KR20210035831A/ko
Application granted granted Critical
Publication of KR102545980B1 publication Critical patent/KR102545980B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3933—Liquid markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

오브젝트 표면의 삼차원 위치 정보의 다중 모달 감지를 위한 시스템 및 방법이 개시된다. 특히, 다수의 시각화 양식 각각은 오브젝트의 표면의 독특한 위치 정보를 수집하기 위해 사용된다. 계산된 위치 정보의 각각은, 최종 가중된 삼차원 위치를 계산하기 위해, 가중 인자를 사용하여 결합된다. 다양한 실시형태에서, 제1 깊이는 기점 마커를 사용하여 레코딩될 수도 있고, 제2 깊이는 구조화된 광 패턴을 사용하여 레코딩될 수도 있으며, 제3 깊이는 라이트 필드 카메라를 사용하여 레코딩될 수도 있다. 가중 인자는 레코딩된 깊이의 각각에 적용될 수도 있고 최종 가중된 깊이가 계산될 수도 있다.

Description

자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
본 출원은 2018년 7월 19일자로 출원된 미국 가출원 번호 제62/700,700호의 이익을 주장하는데, 그 가출원은 참조에 의해 그 전체가 본원에 통합된다.
본 개시의 실시형태는 일반적으로 오브젝트의 표면의 삼차원 위치 정보의 다중 모달 감지(multi-modal sensing)에 관한 것이다.
선행문헌
미국 특허공개공보 US 2018/0256264 A1 (2018.9.13.)
본 개시의 실시형태에 따르면, 오브젝트 상에서 삼차원 좌표를 결정하기 위한 시스템, 방법, 및 컴퓨터 프로그램 제품이 제공된다. 방법에서, 이미지가 레코딩된다. 이미지는 오브젝트, 오브젝트 상에 배치되는 제1 복수의 마커, 오브젝트 상에 배치되는 제2 복수의 마커, 및 오브젝트 상에 배치되는 제3 복수의 마커를 포함한다. 이미지 및 제1 복수의 마커를 사용하여 제1 깊이가 계산된다. 이미지 및 제2 복수의 마커를 사용하여 제2 깊이가 계산된다. 이미지 및 제3 복수의 마커를 사용하여 제3 깊이가 계산된다. 제1 가중치가 제1 깊이에 할당되고, 제2 가중치가 제2 깊이에 할당되며, 제3 가중치가 제3 깊이에 할당된다. 제1 깊이, 제2 깊이, 제3 깊이, 제1 가중치, 제2 가중치 및 제3 가중치에 기초하여 가중된 평균 깊이가 계산된다.
다양한 실시형태에서, 오브젝트 상에서 삼차원 좌표를 결정하기 위한 시스템이 제공된다. 시스템은, 프로그램 명령어가 구현된 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨팅 노드 및 이미징 디바이스를 포함한다. 프로그램 명령어는, 이미징 디바이스에 의해 이미지가 레코딩되는 방법을 프로세서로 하여금 수행하게 하도록, 컴퓨팅 노드의 프로세서에 의해 실행 가능하다. 이미지는 오브젝트, 오브젝트 상에 배치되는 제1 복수의 마커, 오브젝트 상에 배치되는 제2 복수의 마커, 및 오브젝트 상에 배치되는 제3 복수의 마커를 포함한다. 이미지 및 제1 복수의 마커를 사용하여 제1 깊이가 계산된다. 이미지 및 제2 복수의 마커를 사용하여 제2 깊이가 계산된다. 이미지 및 제3 복수의 마커를 사용하여 제3 깊이가 계산된다. 제1 가중치가 제1 깊이에 할당되고, 제2 가중치가 제2 깊이에 할당되며, 제3 가중치가 제3 깊이에 할당된다. 제1 깊이, 제2 깊이, 제3 깊이, 제1 가중치, 제2 가중치 및 제3 가중치에 기초하여 가중된 평균 깊이가 계산된다.
다양한 실시형태에서, 오브젝트 상에서 삼차원 좌표를 결정하기 위한 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 프로그램 명령어가 구현된 컴퓨터 판독 가능 저장 매체를 포함한다. 프로그램 명령어는, 이미지가 레코딩되는 방법을 프로세서로 하여금 수행하게 하도록, 프로세서에 의해 실행 가능하다. 이미지는 오브젝트, 오브젝트 상에 배치되는 제1 복수의 마커, 오브젝트 상에 배치되는 제2 복수의 마커, 및 오브젝트 상에 배치되는 제3 복수의 마커를 포함한다. 이미지 및 제1 복수의 마커를 사용하여 제1 깊이가 계산된다. 이미지 및 제2 복수의 마커를 사용하여 제2 깊이가 계산된다. 이미지 및 제3 복수의 마커를 사용하여 제3 깊이가 계산된다. 제1 가중치가 제1 깊이에 할당되고, 제2 가중치가 제2 깊이에 할당되며, 제3 가중치가 제3 깊이에 할당된다. 제1 깊이, 제2 깊이, 제3 깊이, 제1 가중치, 제2 가중치 및 제3 가중치에 기초하여 가중된 평균 깊이가 계산된다.
다양한 실시형태에서, 오브젝트 상에서 삼차원 좌표를 결정하기 위한 시스템, 방법, 및 컴퓨터 프로그램 제품이 제공된다. 방법에서, 이미지가 레코딩된다. 이미지는 오브젝트, 오브젝트 상에 배치되는 제1 복수의 마커, 및 오브젝트 상에 배치되는 제2 복수의 마커를 포함한다. 이미지 및 제1 복수의 마커를 사용하여 제1 깊이가 계산된다. 이미지 및 제2 복수의 마커를 사용하여 제2 깊이가 계산된다. 제1 가중치가 제1 깊이에 할당되고 제2 가중치가 제2 깊이에 할당된다. 제1 깊이, 제2 깊이, 제1 가중치, 및 제2 가중치에 기초하여 가중된 평균 깊이가 계산된다.
다양한 실시형태에서, 근위 단부(proximal end) 및 원위 단부(distal end)를 갖는 내시경, 내시경의 원위 단부에 광학적으로 커플링되는 이미징 디바이스, 및 프로그램 명령어가 구현된 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨팅 노드를 포함하는 통합 수술 디바이스가 제공된다. 프로그램 명령어는, 이미지가 레코딩되는 방법을 프로세서로 하여금 수행하게 하도록, 컴퓨팅 노드의 프로세서에 의해 실행 가능하다. 이미지는 오브젝트, 오브젝트 상에 배치되는 제1 복수의 마커, 오브젝트 상에 배치되는 제2 복수의 마커, 및 오브젝트 상에 배치되는 제3 복수의 마커를 포함한다. 이미지 및 제1 복수의 마커를 사용하여 제1 깊이가 계산된다. 이미지 및 제2 복수의 마커를 사용하여 제2 깊이가 계산된다. 이미지 및 제3 복수의 마커를 사용하여 제3 깊이가 계산된다. 제1 가중치가 제1 깊이에 할당되고, 제2 가중치가 제2 깊이에 할당되며, 제3 가중치가 제3 깊이에 할당된다. 제1 깊이, 제2 깊이, 제3 깊이, 제1 가중치, 제2 가중치 및 제3 가중치에 기초하여 가중된 평균 깊이가 계산된다.
도 1은 본 개시의 실시형태에 따른 기점 마커(fiducial marker)를 갖는 표면의 예시적인 이미지를 예시하는데, 그 이미지는 기준 이미지(baseline image)로서 사용될 수도 있다.
도 2는 본 개시의 실시형태에 따른 기준 이미지를 오버레이하는 구조화된 광 마커(structured light marker)의 매트릭스를 갖는 표면의 예시적인 이미지를 예시한다.
도 3a는 본 개시의 실시형태에 따른 시뮬레이팅된 생물학적 조직의 예시적인 이미지를 예시한다.
도 3b는 본 개시의 실시형태에 따른 시뮬레이팅된 생물학적 조직의 깊이 맵의 예시적인 이미지를 예시한다.
도 4a는 본 개시의 실시형태에 따른 조영제(contrast agent)가 표면에 도포된 시뮬레이팅된 생물학적 조직의 예시적인 이미지를 예시한다.
도 4b는 본 개시의 실시형태에 따른 조영제가 표면에 도포된 시뮬레이팅된 생물학적 조직의 깊이 맵의 예시적인 이미지를 예시한다.
도 5는 본 개시의 실시형태에 따른 조직을 이미지화하는 3D 표면 이미징 시스템을 예시한다.
도 6은 본 개시의 실시형태에 따른 3D 표면 이미징 시스템을 예시하는 다이어그램을 도시한다.
도 7은 본 개시의 실시형태에 따른 오브젝트 상에서 삼차원 좌표를 결정하기 위한 방법의 예시적인 플로우차트를 도시한다.
도 8은 본 개시의 실시형태에 따른 분석된 센서 및 그들의 명세의 표를 도시한다.
도 9a 내지 도 9c는 본 개시의 실시형태에 따른 센서 편향(sensor bias)의 결과의 그래프를 예시한다.
도 10a 내지 도 10c는 본 개시의 실시형태에 따른 센서 정밀도의 결과의 그래프를 예시한다.
도 11은 본 개시의 실시형태에 따른 다양한 센서의 횡방향 노이즈(lateral noise)의 표를 도시한다.
도 12a 내지 도 12d는 본 개시의 실시형태에 따른 상이한 재료 및 조명 조건(더 낮을수록 더 좋음)에 대한 정밀도 비율의 그래프를 예시한다.
도 13a는 정밀도의 그래프를 예시하고, 도 13b는 본 개시의 실시형태에 따른 인덱스가 타겟까지의 거리를 나타내는 다중 센서 셋업에서 nan 비율(nan ratio)(더 낮을수록 더 좋음)의 그래프를 예시한다.
도 14a 내지 도 14c는 본 개시의 실시형태에 따른 추가적인 센서의 영향의 그래프를 예시한다.
도 15는 본 개시의 실시형태에 따른 예시적인 컴퓨팅 노드의 개략도를 도시한다.
타겟 오브젝트(예를 들면, 생물학적 조직)의 삼차원 위치 정보(X, Y, Z)를 정확하게 식별하는 능력은 자동화된 수술 로봇 시스템의 필수적이고 중요한 요건이다. 한 가지 접근법은 오브젝트의 표면에 직접적으로 부착되는 공지된 사이즈 및 형상의 기점 마커를 사용하여 표면에 대한 위치 정보를 결정하는 것이다; 그러나, 기점 마커를 사용하는 임의의 방법의 공간 해상도는 조직에 도포되는 기점의 수로 제한된다. 기점 마커는 컴퓨터 비전 시스템이 검출할 만큼 충분히 커야 하지만, 그러나 또한 그들이 부착되는 표면의 공간 해상도를 최대화할 만큼 충분히 작아야 한다. 이들 상충하는 요건 때문에, 특히 자동화된 수술 로봇 시스템이 작고 제한된 공간에서 동작하고 있을 수도 있는 수술 환경에서, 기점 마커에 의해 제공되는 공간 해상도에 대한 상한이 존재한다.
많은 수술 조작(예를 들면, 봉합)은 만족스러운 수술 결과를 달성하기 위해 수술 도구의 고도로 능란하고 고도로 정확한 모션을 필요로 한다. 적극적인 인간 제어가 없는 완전 자동화된 로봇 수술 프로시져에서, 로봇에 의해 제어되는 수술 도구의 정확도는 컴퓨터 비전 시스템의 공간 해상도에 크게 의존한다. 수술 결과가 로봇 도구를 안내하는 컴퓨터 비전 시스템의 위치 정확도에 크게 의존하기 때문에, 수술 부위의 공간 해상도는 완전 자동화된 로봇 수술 프로시져에서 더욱 더 중요하다. 완전 자동화된 수술 로봇을 안내하기 위해 기점 마커만을 사용하는 것은 만족스러운 결과를 보장하기 위한 수술 부위의 적절한 공간 해상도를 제공하지 않는다.
따라서, 정확한 수술 계획 및 실행을 가능하게 하는 고해상도를 갖는 위치 정보를 정확하고 신뢰성 있게 감지하여 로봇 지원 수술을 향상시키기 위한 시스템 및 방법에 대한 필요성이 존재한다.
본 개시의 실시형태는 일반적으로 오브젝트 표면의 삼차원 위치 정보의 다중 모달 감지에 관한 것이다. 특히, 본 개시는 오브젝트의 표면의 독특한 위치 정보를 수집하기 위해 사용되는 다수의 시각화 양식(visualization modality)을 설명하는데, 그 정보는, 그 다음, 최종 삼차원 위치를 계산하기 위해 가중 인자(weighting factor)를 사용하여 결합된다. 본 개시가 자동화된 수술 로봇과 관련하여 삼차원 위치를 감지하는 것에 일반적으로 초점을 맞추고 있지만, 시스템, 방법, 및 컴퓨터 프로그램 제품은, 가상 현실 또는 증강 현실 애플리케이션과 같은, 삼차원 위치를 식별하기 위해 컴퓨터 비전 기술을 활용하는 다른 분야에서의 사용에 대해서도 적합하다.
오브젝트(예를 들면, 생물학적 조직)의 표면 상에서 삼차원 좌표를 결정하기 위한 시스템은 오브젝트의 기준 이미지를 확립하기 위해 사용되는 제1 이미징 시스템을 일반적으로 포함한다. 기준 이미지는, 예를 들면, 오브젝트의 표면에 대한 위치 정보를 생성하기 위해 오브젝트의 표면에 부착되는 일련의 기점 마커를 사용하여 확립될 수도 있다. 예를 들면, 기점 마커는 스프레이 도포기(spray applicator)(예를 들면, 스프레이 카테터(spray catheter))를 통해 조직의 표면 상에 배치될 수도 있다. 일반적으로, 기점 마커는, 그들이 부착되는 표면에 대한 특정한 위치 정보를 결정하기 위해 컴퓨터 비전 시스템에 의해 인식될 수도 있는 특수 마커이다. 기점 마커의 비제한적인 예는 심볼(예를 들면, 영숫자), 패턴(예를 들면, QR 코드), 액체(예를 들면, 적외선 잉크), 또는 물리적 형상(2D 또는 3D)을 포함할 수도 있다. 이 위치 정보는 오브젝트의 표면을 매핑하고 삼차원에서 그 표면의 컴퓨터 시뮬레이션을 생성하기 위해 사용될 수도 있다. 기점 마커는 특정한 패턴(예를 들면, 그리드 패턴)으로 또는 특정한 패턴 없이(예를 들면, 무작위 배치) 오브젝트에 부착될 수도 있다.
다양한 실시형태에서, 기점 마커는 주사기 바늘을 통해 액체 상태로 타겟 조직에 도포된다. 액체 마커를 타겟 조직에 도포하는 것은 다수의 이점을 갖는다. 첫째, 마커는 현장에서 혼합될 수 있는데, 이것은 마커의 안정성을 향상시킨다. 둘째, 액체 마커는 타겟 조직에 대한 도포 및 위치에 대한 정확한 제어를 허용한다. 셋째, 마커는 임의의 불규칙한 형상으로서 도포될 수 있다. 주사기를 사용하여 액체 마커를 도포하는 것에 의해, 관주식 수술 영역(irrigated surgical field)은 발열 반응을 야기하여 마커를 타겟 조직에 대해 원형 형상으로 응고시킨다. 원형 마커는 수술 프로시져에서 타겟 조직 상의 단일의 주목 지점을 추적하는 데 유용할 수도 있다.
다양한 실시형태에서, 기점 마커를 선형 패턴으로 분배하기 위해, 주사기 바늘 또는 펠트 펜촉(felt nib)과 같은 마킹 팁이 사용될 수도 있다. 기점 마커를 연속적인 라인으로서 도포하는 것에 의해, 마커를 사용하여 타겟 조직의 경계를 정의할 수 있다. 경계를 정의하는 것은 병든 조직의 영역 또는 수술 프로시져를 수행하지 않아야 하는 영역을 식별하는 데 유용할 수도 있다. 또 다른 실시형태에서, 액체 마커는 타겟 조직 상으로 분무되어 중합시 반점 패턴(speckled pattern)을 생성할 수도 있다. 반점 패턴은 서로로부터 조직의 큰 영역을 정의하는 데 중요할 수도 있다. 하나의 예에서, 배경(background) 조직은, 그것을 전경(foreground) 조직과 구별하기 위해, 반점이 있을 수도 있다. 로봇 또는 반자율 워크플로우에서의 다른 컴포넌트는 그들의 모션 또는 제안을 계획하거나 또는 제어하기 위해 배경 및 전경 정보를 사용할 수도 있다.
다른 실시형태에서, 액체 마커는, 타겟 조직 상에서 어떤 임의의 그리고 미리 정의된 형상으로 마커를 도포하기 위해, 미리 정의된 마스크를 통해 도포될 수도 있다.
기점 마커를 사용하여 오브젝트 표면의 위치 정보를 획득하기 위해, 제1 이미징 시스템은 하나 이상의 카메라(예를 들면, 한 개, 두 개, 세 개, 네 개, 또는 다섯 개)를 포함할 수도 있다. 다양한 실시형태에서, 하나 이상의 카메라는 입체 카메라(stereoscopic camera)를 포함할 수도 있다. 다양한 실시형태에서, 입체 카메라는 두 개의 별개의 카메라에 의해 구현될 수도 있다. 다양한 실시형태에서, 두 개의 별개의 카메라는 서로로부터 미리 결정된 거리에서 배치될 수도 있다. 다양한 실시형태에서, 입체 카메라는 수술 기구(예를 들면, 복강경, 내시경, 등등)의 최원위 단부(a distal-most end)에 위치될 수도 있다. 카메라(들)는, 기점 마커의 각각에 대한 위치 정보(예를 들면, 깊이)를 결정하기 위해, 기점 마커의 각각에 대한 검출된 위치를 공지된 기준(예를 들면, 기점의 공지된 사이즈 및 형상)에 대해 교차 참조할 수도 있다. 위치 정보는, 본원에서 사용될 때, 삼차원 좌표 시스템에서 (X, Y, Z)로서 일반적으로 정의될 수도 있다.
하나 이상의 카메라는, 예를 들면, 적외선을 방출하고 방출된 적외선의 반사를 검출하는 적외선 카메라일 수도 있다. 다른 실시형태에서, 하나 이상의 카메라는 본 기술 분야에서 공지되어 있는 디지털 카메라일 수도 있다. 다른 실시형태에서, 하나 이상의 카메라는 플렌옵틱(plenoptic) 카메라일 수도 있다. 하나 이상의 카메라는 하기에서 더 상세하게 설명되는 바와 같이 컴퓨팅 노드에 연결될 수도 있다.
본 개시는, 결과적으로 나타나는 위치 정보의 정확도를 향상시키기 위해, 기점 마커 추적에 더하여, 다른 시각화 양식을 또한 통합하는 것에 의해 오로지 기점 마커만을 활용하는 싱글 모드 접근법을 향상시킨다. (예를 들면, 기준 이미지가 제1 이미징 시스템을 사용하여 레코딩되고 기점 마커의 각각에 대해 위치 정보가 획득된 이후) 오브젝트의 표면에 대한 위치 정보를, 개별적으로 또는 본원에서 설명되는 다른 이미징 시스템과 조합하여, 생성하기 위해, 제2 이미징 시스템이 사용될 수도 있다. 구조화된 광원(structured light source)으로부터 투사되는 구조화된 패턴은, 표면 상에 투사될 때, 패턴 피쳐(pattern feature)의 형상, 사이즈, 및/또는 간격을 변경할 수도 있다. 제2 이미징 시스템은 이들 변화를 검출할 수도 있고, 제2 이미징 시스템에 의해 저장되는 공지된 패턴이 주어지면, 구조화된 광 패턴에 대한 변화에 기초하여 위치 정보를 결정할 수도 있다. 예를 들면, 제2 이미징 시스템은, 라인의 특정한 구조화된 패턴(예를 들면, 도트의 매트릭스 또는 일련의 스트라이프)을 오브젝트의 표면 상으로 투사하는 구조화된 광원(예를 들면, 프로젝터)를 포함할 수도 있다. 라인의 패턴은, 광원의 것 이외의 다른 관점에서 왜곡되어 보이는 조명의 라인을 생성하며 이들 라인은 표면 형상의 기하학적 재구성을 위해 사용될 수 있고, 따라서, 오브젝트의 표면에 대한 위치 정보를 제공할 수 있다.
제2 이미징 시스템은 구조화된 광의 소스로부터의 투사된 패턴을 검출할 수 있는 하나 이상의 카메라(예를 들면, 한 개, 두 개, 세 개, 네 개, 또는 다섯 개)를 포함할 수도 있다. 하나 이상의 카메라는 기술 분야에서 공지되어 있는 디지털 카메라(들)일 수도 있고 제1 이미징 시스템과 함께 사용되는 것과 동일한 또는 상이한 카메라(들)일 수도 있다. 하나 이상의 카메라는 하기에서 더 상세하게 설명되는 바와 같이 컴퓨팅 노드에 연결될 수도 있다. 하나 이상의 카메라로부터의 이미지를 사용하여, 컴퓨팅 노드는 오브젝트의 표면을 따라 임의의 적절한 수의 포인트에 대한 위치 정보(X, Y, Z)를 계산할 수도 있고, 그에 의해, 표면의 깊이 맵을 생성할 수도 있다.
제3 이미징 시스템은 오브젝트의 표면에 대한 추가적인 위치 정보를 생성하기 위해 사용될 수도 있다. 제3 이미징 시스템은, 라이트 필드 카메라(예를 들면, 플렌옵틱 카메라(plenoptic camera))와 같은 하나 이상의 카메라를 포함할 수도 있고, 제1 이미징 시스템 및 제2 이미징 시스템에 대해 사용되는 카메라(들)와 동일한 또는 상이한 카메라(들)일 수도 있다. 플렌옵틱 카메라는, 적절한 줌 및 초점 깊이 설정을 갖는 것에 의해 오브젝트의 표면에 대한 정확한 위치 정보를 생성하기 위해 사용될 수도 있다.
본 개시에 따라 사용될 수도 있는 하나의 타입의 라이트 필드(예를 들면, 플렌옵틱) 카메라는, 강도, 컬러, 및 방향 정보를 감지하기 위해, 다른 종래의 이미지 센서의 전방에 배치되는 마이크로 렌즈의 어레이를 사용한다. 다중 카메라 어레이는 다른 타입의 라이트 필드 카메라이다. "표준 플렌옵틱 카메라"는, 상이한 타입의 플렌옵틱(또는 라이트 필드) 카메라를 비교하기 위해 연구원에 의해 사용되는 표준화된 수학적 모델이다. 정의에 의해, "표준 플렌옵틱 카메라"는 센서의 이미지 평면으로부터 하나의 초점 거리 떨어져 배치되는 마이크로 렌즈를 갖는다. 연구는, 그것의 최대 기준이, 입체 셋업과 비교하여 작은 것으로 입증되는 메인 렌즈 입구 동공 사이즈로 제한된다는 것을 보여주었다. 이것은, "표준 플렌옵틱 카메라"가 카메라의 파라미터에 기초하여 측량법으로 예측될 수 있는 매우 가까운 거리에서 증가된 깊이 해상도를 나타내기 때문에, "표준 플렌옵틱 카메라"가 근거리 애플리케이션에 대해 의도될 수도 있다는 것을 암시한다. 집속형 플렌옵틱 카메라(focused plenoptic camera), 코딩된 어퍼쳐 카메라(coded aperture camera), 및/또는 플렌옵틱 카메라를 갖는 스테레오와 같은 다른 타입/방위의 플렌옵틱 카메라가 사용될 수도 있다.
일단 제1 이미징 시스템, 제2 이미징 시스템 및 제3 이미징 시스템을 사용하여 위치 정보가 생성되면, 결합된 위치는 세 개의 이미징 시스템의 가중된 평균을 계산하는 것에 의해 계산될 수도 있다. 하기의 수학식 1에서 나타내어지는 바와 같이, 결합된 픽셀 깊이는 세 개의 이미징 시스템의 각각으로부터 생성되는 깊이의 가중된 평균에 의해 계산될 수도 있다.
Figure 112021018648408-pct00001
수학식 1에서 CM은 제1 이미징 시스템(예를 들면, 마커 기반의 시스템)에 할당되는 가중치를 나타내고, CSL은 제2 이미징 시스템(예를 들면, 구조화된 광 기반의 시스템)에 할당되는 가중치를 나타내고, CP는 제3 이미징 시스템(예를 들면, 구조화된 광 기반의 시스템)에 할당되는 가중치를 나타내고, DepthM은 제1 이미징 시스템으로부터 생성되는 픽셀의 깊이를 나타내고, DepthSL은 제2 이미징 시스템으로부터 생성되는 픽셀의 깊이를 나타내며, DepthP는 제3 이미징 시스템으로부터 생성되는 픽셀의 깊이를 나타낸다. 다양한 실시형태에서, 가중치의 각각은 제로(0)와 일(1) 사이의 값일 수도 있고, 모든 가중치 값의 합은 합산되어 일(1)이 될 수도 있다.
다양한 실시형태에서, 제1 이미징 시스템에 할당되는 가중치(CM)는 제2 이미징 시스템에 할당되는 가중치(CSL) 및 제3 이미징 시스템에 할당되는 가중치(CP)와 동일할 수도 있다. 다른 실시형태에서, 제2 이미징 시스템에 할당되는 가중치(CSL)는 제1 이미징 시스템에 할당되는 가중치(CM) 및/또는 제3 이미징 시스템에 할당되는 가중치(CP)보다 더 크다. 또 다른 실시형태에서, 제3 이미징 시스템에 할당되는 가중치(CP)는 제1 이미징 시스템에 할당되는 가중치(CM) 및/또는 제2 이미징 시스템에 할당되는 가중치(CSL)보다 더 크다.
다양한 실시형태에서, 수학식 1의 각각의 변수에 대한 가중치는 사용되는 이미징 시스템(들)의 타입에 기초하여 선택되는 하나 이상의 인자에 기초하여 결정될 수도 있다. 예를 들면, 라이트 필드 이미징이 사용되는 경우, 인자는 다음의 것을 포함할 수도 있다: (1) 이미지에서의 대비(contrast)의 양, (2) 포화된 픽셀의 수 (이것은 광 강도를 측정하기 위해 사용될 수도 있음), 및 (3) 이미지의 특정한 영역의 깊이에서의 국소적 변화. 높은 가중치 값은 장면 내에서 높은 대비를 갖는, 포화된 픽셀이 거의 또는 전혀 없는, 그리고 깊이에서 낮은 국소적 변화를 갖는 이미지에 대응할 수도 있다.
다른 예에서, 구조화된 광 이미징이 사용되는 경우, 인자는 다음의 것을 포함할 수도 있다: (1) 인식되는 패턴의 양 및 (2) 포화된 픽셀의 수. 높은 가중치 값은, 패턴의 대부분 또는 모두가 인식된 그리고 포화된 픽셀이 거의 또는 전혀 없는 이미지에 대응할 수도 있다.
또 다른 예에서, 기점 마커가 사용되는 경우, 인자는, (1) 포화된 픽셀의 수, (2) 기점 마커(들)의 형상/사이즈를 인식하는 능력, 및 (3) 주변 환경으로부터 기점 마커(들)를 식별하는 능력을 포함할 수도 있다. 높은 가중치 값은, 포화된 픽셀이 거의 없는 또는 전혀 없는, 기점 마커의 대부분 또는 모두를 인식하는 능력을 갖는, 그리고 주변 환경으로부터 기점을 식별하는 능력을 갖는 이미지에 대응할 수도 있다.
다양한 실시형태에서, 오브젝트 표면의 제1 및 제2 깊이를 계산하기 위해, 본원에서 설명되는 두 개의 이미징 양식(imaging modality)의 임의의 조합이 사용될 수도 있다. 이 실시형태에서, 두 개의 이미징 양식의 각각은, 그 특정한 양식에 의해 결정되는 깊이에 적용되는 각각의 가중 인자를 가질 수도 있다. 다양한 실시형태에서, 두 개의 가중 인자는 합산되어 1이 될 수도 있다. 다양한 실시형태에서, 픽셀 깊이 함수는 상기의 수학식 1에서 설명되는 것과 유사한 방식으로서 계산되지만, 그러나, 대조적으로, 두 개의 양식에 대한 픽셀 깊이는 (세 개 대신) 단지 두 개의 가중된 깊이 계산에만 의존한다.
다양한 실시형태에서, 각각의 이미징 시스템과 관련되는 가중치는 특정한 이미징 시스템의 전체 품질에 의존할 수도 있다. 예를 들면, 하나의 특정한 이미징 시스템은 다른 이미징 시스템보다 전체적으로 더 정확한 데이터를 제공할 수도 있다. 이 예에서, 더 높은 정확도를 갖는 이미징 시스템으로부터 수신되는 데이터는 더 낮은 정확도를 갖는 이미징 시스템으로부터 수신되는 데이터보다 더 높은 가중치를 제공받을 것이다. 다양한 실시형태에서, 다양한 이미징 시스템의 정확도 및/또는 정밀도는 이미지화될 오브젝트로부터 떨어진 거리, 이미지화되고 있는 재료, 및/또는 동작 환경의 조명에 의존할 수도 있다. 다양한 실시형태에서, 다양한 이미징 시스템의 정확도 및/또는 정밀도는 이미징 시스템의 시야 내의 위치에 의존할 수도 있다 - 예를 들면, 제1 이미징 시스템은 에지를 향하는 급격한 경사를 갖는 시야의 중심에서 가장 높은 정확도를 가질 수도 있고, 한편 다른 이미징 시스템은 시야 전체에 걸쳐 일정한 정확도를 가질 수도 있다.
상이한 상황에서 다양한 센서가 어떻게 수행되는지에 대한 논의는, 참조에 의해 그 전체가 본원에 통합되는 Halmetschlager-Funek 등등에 의한 "An Empirical Evaluation of Ten Depth Cameras"에서 발견될 수 있다. 도 8은 Halmetschlager-Funek 논문에서의 분석된 센서의 표를 도시한다. 도 9 내지 도 14는, 편향, 정밀도, 횡방향 노이즈, 재료의 영향/조명/거리의 영향, 및 추가적인 센서의 영향에 관한 Halmetschlager-Funek 논문으로부터의 다양한 그래프를 예시한다. 특히, (도 9a 내지 도 9c에서 도시되는) 편향과 관련하여, 그 논문은, Kinectv2가 전체 범위에 걸쳐 낮은 편향을 제공하지만, 구조화된 광을 사용하는 센서에 대한 편향의 상당한 증가가 d > 3 m에서부터 시작하여 관찰되었다는 것을 설명한다. 모든 세 개의 구조화된 광 센서 및 두 개의 능동형 스테레오 카메라(active stereo camera)(ZR300 및 D435)가 거리(d < 1 m)에 대해 Kinectv2보다 더 낮은 편향을 제공하지만, 세 개의 센서(ZR300, Orbbec, 및 Structure IO)는 깊이 값(d < 2.5 m)에 대해 더욱더 낮은 편향을 제공한다. 모든 센서에 대해 편향의 2차 증가가 관찰되었다[전체 범위: d = 0 내지 8 m, 도 9a; 확대: d = 0 내지 3 m, 도 9b]. 근거리 센서인 F200 및 SR300[도 9c]은 그들의 원거리 센서보다 약간 더 높은 편향을 나타내고, 한편 Ensenso N35는 전체 측정 범위에 걸쳐 낮은 편향을 제공한다.
(도 10a 내지 도 10c에서 도시되는 바와 같은) 정밀도에 관해서, 모든 원거리 센서에서 정밀도의 2차적 감소가 발견되었지만[전체 범위: d = 0 내지 8 m, 도 10a; 확대: d = 0 내지 3 m, 도 10b], 그러나 구조화된 광 센서는 Kinectv2와 비교하여 스케일에서 상이하다. 전반적으로, R200 및 ZR300 센서는 최악의 성능을 가지며, 한편 Structure IO 및 Orbbec 센서는 매우 유사하게 작동한다. 거리(d < 2 m)에서, 모든 구조화된 광 센서는 Kinec-tv2보다 노이즈가 더 적은 측정치를 생성하는 것이 관찰되었다. 또한, D435는 거리(d < 1 m)에서 Kinectv2보다 더 정확한 결과를 수집할 수 있었다. D435에 대한 정밀도 결과는 다른 센서에 대한 것보다 더 많이 산란되는 것이 관찰되었다. 근거리 센서[도 10c]는 최대 0.0007 m의 노이즈 레벨을 경험한다. 제조자에 의해 명시되는 범위에서, 0.004 m 미만의 정밀도 값이 획득될 수 있었다.
횡방향 노이즈(도 11)에 관해서, 횡방향 노이즈의 분석은 세 개의 원거리 구조화된 광 센서 및 거리에 대해 유사한 결과를 나타낸다. d < 3 m의 경우, 구조화된 광 센서의 경우 세 개의 픽셀 그리고 Kinectv2의 경우 하나에서, 노이즈 레벨은 거리와 무관하였다(도 11). 두 개의 능동형 스테레오 센서(D435 및 ZR300)는 Kinectv2의 것과 유사한 낮은 횡방향 노이즈 레벨을 제공한다. R200은 2 m보다 더 가까운 거리에 대해 두 개의 픽셀의 더 낮은 횡방향 노이즈를 달성한다. 근거리 센서에서, Ensenso N35는 가장 높은 횡방향 노이즈 값을 달성한다.
재료/조명/거리(도 12a 내지 도 12d)에 관해서, 4.2에서부터 535.75 룩스(lux)까지의 네 개의 상이한 조명 조건과 조합한 여섯 개의 상이한 재료의 반사 및 흡수 속성(property)에 의해 센서의 정밀도가 어떻게 영향을 받았는지를 결정하기 위해, 총 384 개의 데이터 포인트가 수집되었다(도 12a 내지 도 12d). 테스트는, Structure IO 센서가 다양한 오브젝트 반사율과 조명 조건을 가장 잘 핸들링한다는 것을 나타낸다. 비록 그것이 거리(d > 1.5 m)에 대해 다른 센서와 비교하여 더 낮은 정밀도를 가지지만, 그것은 알루미늄과 같은 높은 반사 표면에 대해, 그리고 밝은 조명 조건 하에서 정보를 수집할 수 있었다. Structure IO 센서가 조밀한 깊이 추정치를 제공하지만, Xtion은 깊이 값을 결정할 수 없었다. Orbbec은 밝은 조명 조건 하에서 여섯 개의 표면 중 네 개에 대한 깊이 정보를 수집하지 못할 수도 있다. Kinectv2는 d = 1 m 및 d = 1.5 m의 거리에서 그리고 밝은 조명 조건 하에서 알루미늄에 대해 신뢰 가능한 깊이 데이터를 수집하지 못할 수도 있다. F200 및 SR300 센서는 밝은 조명 조건에 대해 훨씬 더 낮은 정밀도를 가질 수도 있다. 실험의 셋업 동안, 능동형 스테레오 카메라(Ensenso 및 R200)는, 그들의 기술의 본질에 기인하여, 상이한 조명 조건을 구조화된 광 센서보다 더 잘 핸들링할 수 있을 것으로 예상되었다. 도 12a 내지 도 12d에서, 제로의 정밀도는, 센서가 어떠한 깊이 정보도 수집할 수 없다는 것을 나타낸다.
추가적인 센서(도 13a, 도 13b 및 도 14a-도 14c)에 의해 유도되는 노이즈에 관해서, 결과(도 13a 및 도 13b)는, 원거리 구조화된 광 센서가 한 개 및 두 개의 추가적인 센서에 의해 유도되는 노이즈를 핸들링할 수 있다는 것을 나타낸다. 타겟까지의 거리가 d = 1.5 m이고 두 개의 추가적인 센서가 장면에 도입되면 예외가 발생한다. Kinectv2에 대해서는 유사한 효과가 관찰되지 않았다. 센서는 한 개 또는 두 개의 추가적인 센서에 관계없이 정밀도에 대해 안정적인 결과를 제공할 수도 있다. 근거리 센서(F200 및 SR300)는 추가적인 센서로 인해 덜 정확할 수도 있고, Ensenso N35는 제3 관찰 센서에 의해서만 약간의 영향을 받는다. 이 시점에서, 우리는 근거리 디바이스의 높은 nan 비율이 우리의 셋업으로부터 부분적으로 유도될 수 있다는 것을 유의한다. 장면의 절반이 센서의 범위 밖에 있다(도 14a 내지 도 14c). 요약하면, 하나의 센서를 사용하는 제1 실험은 장면을 관찰하는 두 개 및 세 개의 센서를 사용하는 측정에 대한 기준을 제공한다. 단지 하나의 센서만이 추가되는 경우, 제1 차이가 보일 수도 있다. 특히, SR300 및 F200 센서는, 다른 Realsense 디바이스가 장면에 추가되는 경우, nan 비율에서 상당한 증가를 가질 수도 있다. 더 면밀한 분석을 위해, 대응하는 깊이 이미지가 나타내어진다. 도 14a 내지 도 14c에서, 깊이 추출은 추가적인 센서에 의해 심하게 영향을 받는다는 것이 분명하다. Ensenso 및 Kinectv2 센서는 추가적인 센서의 영향을 받지 않을 수도 있다.
다양한 실시형태에서, 상기에서 설명되는 바와 같이, 하나 이상의 카메라로부터 수신되는 깊이 데이터는, 이미징 시스템의 다른 카메라로부터의 깊이 데이터보다 더 높은 품질(예를 들면, 더 많이 신뢰 가능함)일 수도 있다. 다양한 실시형태에서, 깊이 데이터의 품질은 이미징 시스템 외부에 있는 지원 피쳐(supporting feature)에 의존할 수도 있다. 예를 들면, 깊이 데이터는 더 높은 품질일 수도 있고 따라서 카메라(예를 들면, 적외선 카메라)가 조직 상에서 미리 결정된 수의 기점 마커를 명확하게 판독할 수 있는 경우, 더 높은 가중치를 제공받을 수도 있다. 다양한 실시형태에서, 카메라가 미리 결정된 수의 마커를 판독할 수 없는 경우, 깊이 데이터는 더 낮은 품질의 것일 수도 있고, 따라서, 카메라로부터의 깊이 데이터는 더 낮은 가중치를 제공받을 수도 있다. 유사한 예에서, 카메라가 구조화된 광 프로젝터로부터 구조화된 광 패턴을 명확하게 판독할 수 있는 경우, 구조화된 광으로부터 유래하는 깊이 데이터는 더 높은 품질일 수도 있고, 따라서, 더 높은 가중치를 제공받을 수도 있다.
다양한 실시형태에서, 각각의 이미징 시스템과 관련되는 가중치는 각각의 픽셀의 깊이 및/또는 품질의 신뢰도에 의존할 수도 있다. 다양한 실시형태에서, 몇몇 이미징 시스템이 더 높은 품질의 이미지 데이터를 갖는 이미지에 하나 이상의 "스윗 스팟(sweet-spot)" 및 더 낮은 품질의 이미지 데이터를 갖는 하나 이상의 "데드 존(dead-zone)"을 가지기 때문에, 이미징 시스템(들)과 관련되는 가중치의 각각은 이미지의 픽셀 레벨에서 파라미터화될 수도 있다. 다양한 실시형태에서, 가중치 중 하나 이상(예를 들면, 모두)은 이미지에서 픽셀을 나타내는 2차원 포인트(x, y)의 함수일 수도 있다. 다양한 실시형태에서, 이미지 내의 픽셀은 기술 분야에서 공지되어 있는 임의의 적절한 방식으로 좌표 포인트를 할당받을 수도 있다. 예를 들면, 이미지의 좌측 하단 코너는 (0, 0)의 좌표를 할당받을 수도 있고 이미지의 우측 상단 코너는 각기 각각의 축에서의 픽셀의 최대 수(최대 x 픽셀, 최대 y 픽셀)를 할당받을 수도 있다. 한 예에서, 하나의 이미징 시스템(예를 들면, 입체 카메라)은 이미지의 중앙에서 고품질 이미지 데이터를 그리고 주변 상에서 저품질 이미지 데이터를 가질 수도 있다. 이 특정한 예에서, 이미지의 중앙에 있는 픽셀에 더 높은 가중치가 할당될 수도 있고, 픽셀이 이미지의 중심으로부터 반경 방향으로 멀어지게 이동함에 따라 가중치는 감소할 수도 있다. 다양한 실시형태에서, 파라메트릭 함수(parametric function)는 연속 함수일 수도 있다. 다양한 실시형태에서, 파라메트릭 함수는 불연속 함수(예를 들면, 구분 함수(piece-wise function))일 수도 있다. 다양한 실시형태에서, 파라메트릭 함수는 선형 함수를 포함할 수도 있다. 다양한 실시형태에서, 파라메트릭 함수는 지수 함수를 포함할 수도 있다.
다양한 실시형태에서, 이미징 시스템이 특정한 픽셀에서 깊이를 계산할 수 없는 경우, 그 특정한 픽셀은 그 특정한 이미징 시스템에 대해 제로의 가중치를 할당받을 수도 있다(즉, 특정한 이미징 시스템은 그 특정한 픽셀에서 깊이의 결정에 기여하지 않을 것이다).
다양한 실시형태에서, 이미징 시스템은 입체 깊이 감지를 포함할 수도 있다. 다양한 실시형태에서, 입체 깊이 감지는 이미지(또는 비디오 프레임)에서 하나 이상의 고유하게 식별 가능한 피쳐가 있을 때 가장 잘 작동할 수도 있다. 다양한 실시형태에서, 입체 깊이 감지는 두 개의 카메라(예를 들면, 디지털 카메라)를 사용하여 수행될 수도 있다. 다양한 실시형태에서, 카메라는 서로 교정될(calibrated) 수도 있다. 예를 들면, 이미징 시스템은, 레이턴시, 프레임 레이트, 두 카메라 사이의 삼차원 거리, 이미징 시스템으로부터 떨어진 다양한 거리, 다양한 조명 레벨, 마커 타입/형상/컬러, 등등에 기초하여 교정될 수도 있다. 다양한 실시형태에서, 기술 분야에서 공지되어 있는 소프트웨어는 두 개의 카메라를 제어하기 위해 그리고 입체 깊이 감지를 구현하기 위해 사용될 수도 있다. 다양한 실시형태에서, 제1 이미지(또는 비디오의 프레임)는 제1 카메라에서 캡쳐되고 제2 이미지(또는 비디오의 프레임)는 제1 카메라로부터 떨어진 미리 결정된 거리에 위치되는 제2 카메라에서 캡쳐된다. 다양한 실시형태에서, 픽셀 디스패리티는 제1 이미지(또는 비디오의 프레임)와 제2 이미지(또는 비디오의 프레임) 사이에서 계산된다. 다양한 실시형태에서, 픽셀 디스패리티 값으로부터 깊이가 결정될 수도 있다. 다양한 실시형태에서, 더 가까운 오브젝트는 더 높은 픽셀 디스패리티 값을 가지며 추가적인 오브젝트는 더 낮은 픽셀 디스패리티 값을 갖는다. 다양한 실시형태에서, 결정된 깊이 및 카메라 교정 파라미터로부터 삼차원 좌표(x, y, z)가 계산될 수도 있다. 다양한 실시형태에서, 입체 깊이 감지는 깊이를 결정하기 위해 기점 마커와 함께 사용될 수도 있다.
다양한 실시형태에서, 이미징 시스템은 능동형 입체 깊이 감지(active stereoscopic depth sensing)를 포함할 수도 있다. 다양한 실시형태에서, 프로젝터는 로컬 규모에서 고유한 패턴을 투사할 수도 있다. 다양한 실시형태에서, 임의의 적절한 패턴이 사용될 수도 있으며 패턴은 이미징 시스템에게 미리 공지될 필요는 없다. 다양한 실시형태에서, 패턴은 시간이 지남에 따라 변할 수도 있다. 다양한 실시형태에서, 프로젝터를 사용한 능동형 입체 깊이 감지는 구조화되지 않은 환경에서 피쳐가 없는 이미지에 대한 깊이 정보를 제공할 수도 있다.
다양한 실시형태에서, 장면 내의 오브젝트(예를 들면, 조직)의 표면 상으로 정적 마스크가 투사될 수도 있다. 예를 들면, 광의 소스 전방에 물리적 패턴(예를 들면, 와이어 메쉬)이 위치될 수도 있고, 광 패턴을 표면 상으로 집속시키기 위해 렌즈가 사용될 수도 있다.
다양한 실시형태에서, 오브젝트의 표면 상에 패턴을 투사하기 위해, 디지털 마이크로미러(digital micromirror; DMD) 프로젝터가 사용될 수도 있다. 이 실시형태에서, 광은 마이크로미러의 어레이(예를 들면, 직사각형으로 배열되는 1,000,000 개의 미러) 상으로 비춰진다. 미러는 광이 장면에 진입하여 조명하는 것을 허용하도록 또는 방지하도록 제어될 수도 있다. 광 패턴을 장면 상으로 집속시키기 위해, 렌즈가 사용될 수도 있다. 다양한 실시형태에서, DMD 프로젝터는 프로그래머블 패턴(예를 들면, QR 코드, 문자, 원형, 정사각형, 등등)을 허용할 수도 있다. DMD 대신 광학적 메타표면(optical metasurface)을 사용하여 유사한 효과가 획득될 수도 있다는 것이 인식될 것이다.
다양한 실시형태에서, 오브젝트의 표면 상에 패턴을 투사하기 위해, 스캔된 레이저 프로젝터가 사용될 수도 있다. 이 실시형태에서, 표면 상에 단일의 픽셀을 투사하기 위해 하나 이상의 레이저 소스가 사용된다. 고주파수에서 한 번에 하나의 픽셀을 비추는 것에 의해 고화질 이미지가 생성될 수도 있다. 다양한 실시형태에서, 스캔된 레이저 프로젝터에 대서는 패턴의 포커싱이 필요하지 않을 수도 있다. 다양한 실시형태에서, 스캔된 레이저 프로젝터는 프로그래머블 패턴(예를 들면, QR 코드, 문자, 원형, 정사각형, 등등)을 허용할 수도 있다.
다양한 실시형태에서, 입체 카메라가 공지된 프로그래머블 패턴을 검출하기 위해 그리고 패턴이 투사되는 표면으로부터 깊이 데이터를 결정하기 위해 맞춤형 알고리즘(custom algorithm)이 개발될 수도 있다. 다양한 실시형태에서, 깊이 데이터는 제1 카메라로부터의 제1 이미지(또는 비디오 프레임)와 제2 카메라로부터의 제2 이미지(또는 비디오 프레임) 사이의 디스패리티 값을 결정하는 것에 의해 계산된다.
다양한 실시형태에서, 표면의 재료에 따라 미리 결정된 파장의 광이 오브젝트의 표면 상으로 투사될 수도 있다. 상이한 재료는 광의 연속적인 파장에 걸쳐 상이한 흡수 및/또는 반사 속성을 가질 수도 있다. 다양한 실시형태에서, 파장은, 광이 오브젝트의 가장 바깥쪽 표면에서 반사되도록 선택된다. 다양한 실시형태에서, 오브젝트의 표면을 투과하는 광의 파장이 선택되는 경우, 결과적으로 나타나는 이미지는 부정확한 깊이 데이터(예를 들면, 더 낮은 정확도, 높은 시공간 노이즈)를 초래하는 바래진 외관을 가질 수도 있다.
다양한 실시형태에서, 이미징 시스템은 간섭계(interferometer)를 포함할 수도 있다. 다양한 실시형태에서, 광원은 오브젝트를 갖는 장면을 비출 수도 있고 센서는 방출된 광과 반사된 광 사이의 위상 차이를 측정할 수도 있다. 다양한 실시형태에서, 깊이는 센서 측정으로부터 직접적으로 계산될 수도 있다. 다양한 실시형태에서, 이 접근법은 낮은 계산 리소스 요건, 더 빠른 프로세싱, 피쳐가 없는 장면에 대한 작업, 및/또는 다양한 조명 레벨에서의 작업을 가질 수도 있다.
다양한 실시형태에서, 각각의 픽셀에서의 계산된 깊이를 포함하는 결과적으로 나타나는 깊이 맵은 사후 프로세싱될 수도 있다. 깊이 맵 사후 프로세싱은, 그것이 특정한 애플리케이션에 대해 사용 가능하도록 하는 깊이 맵의 프로세싱을 지칭한다. 다양한 실시형태에서, 깊이 맵 사후 프로세싱은 정확도 향상을 포함할 수도 있다. 다양한 실시형태에서, 깊이 맵 사후 프로세싱은 성능을 가속화하기 위해 및/또는 미적 이유 때문에 사용될 수도 있다. 본 개시의 시스템 및 방법과 함께 사용하기에 적절한 많은 전문화된 사후 프로세싱 기술이 존재한다. 예를 들면, 이미징 디바이스/센서가 애플리케이션에 대해 기술적으로 필요한 것보다 더 높은 해상도에서 실행되는 경우, 깊이 맵의 서브샘플링은 깊이 맵의 사이즈를 감소시킬 수도 있고, 스루풋 향상 및 더 짧은 프로세싱 시간으로 이어질 수도 있다. 다양한 실시형태에서, 서브샘플링은 편향될 수도 있다. 예를 들면, 서브샘플링은 깊이 값이 없는(예를 들면, 계산될 수 없는 및/또는 제로의 값을 갖는) 깊이 픽셀을 제거하기 위해 편향될 수도 있다. 다양한 실시형태에서, 단일의 깊이 프레임에서 노이즈를 감소시키기 위해 공간 필터링(예를 들면, 평활화(smoothing))이 사용될 수 있는데, 이것은 단순한 공간 평균화뿐만 아니라 비선형 에지 보존 기술을 포함할 수도 있다. 다양한 실시형태에서, 다수의 프레임으로부터의 데이터를 사용하여 시간적 깊이 노이즈를 감소시키기 위해 시간적 필터링이 수행될 수도 있다. 다양한 실시형태에서, 단순한 또는 시간 편향 평균이 활용될 수도 있다. 다양한 실시형태에서, 깊이 맵에서의 구멍은, 예를 들면, 픽셀이 일관되지 않은 깊이 값을 나타낼 때, 충전될 수 있다. 다양한 실시형태에서, 신호에서의 시간적 변화(예를 들면, 장면에서의 모션)는 블러(blur)로 이어질 수도 있고 블러를 감소하기 위한 및/또는 제거하기 위한 프로세싱을 필요로 할 수도 있다. 다양한 실시형태에서, 몇몇 애플리케이션은 모든 픽셀에서 존재하는 깊이 값을 필요로 할 수도 있다. 그러한 상황의 경우, 정확도가 높게 평가되지 않는 경우, 깊이 맵을 모든 픽셀로 외삽하기(extrapolate) 위해 사후 프로세싱 기술이 사용될 수도 있다. 다양한 실시형태에서, 외삽(extrapolation)은 임의의 적절한 형태의 외삽(예를 들면, 선형, 지수, 로그, 등등)을 사용하여 수행될 수도 있다.
다양한 실시형태에서, 제1 이미징 시스템, 제2 이미징 시스템, 및 제3 이미징 시스템은 컴퓨팅 노드에 연결되는 동일한 하나 이상의 카메라(예를 들면, 플렌옵틱 카메라)를 사용한다. 컴퓨팅 노드는 단일의 레코딩된 이미지를 프로세싱하여 기점 마커, 구조화된 광 패턴, 및 라이트 필드 데이터를 별개의 컴포넌트로 추출할 수도 있다. 별개의 컴포넌트의 각각은 오브젝트의 표면의 위치 정보(예를 들면, 깊이 맵)를 계산하기 위해 사용될 수도 있다. 가중된 평균 깊이를 계산하기 위해 계산된 위치 정보의 각각에 가중 인자가 적용될 수도 있다.
다양한 실시형태에서, 시스템은 조직의 표면에 대한 위치 정보를 결정하기 위해 상기 언급된 이미징 양식/시스템의 임의의 조합을 사용할 수 있다. 다양한 실시형태에서, 시스템은 수학식 1의 가중치 값이 제로(0)이다는 것을 결정할 수도 있다. 이 경우, 시스템은 위치 데이터를 획득하기 위해 다수의 이미징 양식/시스템을 사용하지만, 그러나 그들 이미징 양식/시스템(들) 중 적어도 하나가 신뢰 가능한 위치 데이터를 제공하지 않는다는 것을 결정하고 따라서 수학식 1을 적용할 때 신뢰 가능한 데이터를 제공하지 않는 특정한 이미징 양식/시스템을 무시한다.
몇몇 실시형태에서, 입체 카메라는 그 자체에 의해 또는 상기 언급된 이미징 시스템 중 임의의 것과 조합하여 이미징 시스템으로서 사용될 수도 있다.
위치 정보가 획득되는 오브젝트는 임의의 적절한 생물학적 조직일 수도 있다. 예를 들면, 오브젝트는, 식도 조직, 위 조직, 소장/대장 조직 및/또는 근육 조직과 같은 내부 신체 조직일 수도 있다. 다른 실시형태에서, 오브젝트는, 복부, 등, 팔, 다리 또는 임의의 다른 외부 신체 부위 상의 피부 조직과 같은 외부 조직일 수도 있다. 또한, 오브젝트는 뼈, 내부 장기, 또는 다른 내부 신체 구조체일 수도 있다. 본 개시의 시스템 및 방법은 수의학 애플리케이션에서 동물에 대해 유사하게 작동할 것이다.
다양한 실시형태에서, 본원에서 설명되는 시스템 및 방법은, 예를 들면, 진단 애플리케이션 및/또는 수술 애플리케이션과 같은 임의의 적절한 애플리케이션에서 사용될 수도 있다. 진단 애플리케이션의 예로서, 본원에서 설명되는 시스템 및 방법은 위장관에서 폴립을 이미지화하고 폴립의 치수를 결정하기 위해 대장 내시경 검사에서 사용될 수도 있다. 폴립의 치수와 같은 정보는 환자에 대한 치료 계획(예를 들면, 수술, 화학 요법, 추가적인 테스트, 등등)을 결정하기 위해 건강 관리 전문가에 의해 사용할 수도 있다. 다른 예에서, 본원에서 설명되는 시스템 및 방법은 내부 장기의 일부 또는 전체를 추출할 때 절개 또는 구멍의 사이즈를 측정하기 위해 사용될 수도 있다. 수술 애플리케이션의 예로서, 본원에서 설명되는 시스템 및 방법은, 예를 들면, 핸드헬드 복강경 수술, 핸드헬드 내시경 프로시져, 및/또는 이미징 및 깊이 감지가 필요할 수도 있는 임의의 다른 적절한 수술 애플리케이션과 같은 핸드헬드 수술 애플리케이션에서 사용될 수도 있다. 다양한 실시형태에서, 본원에서 설명되는 시스템 및 방법은 조직, 장기, 실(thread), 및/또는 임의의 기구를 포함하는 수술 영역의 깊이를 계산하기 위해 사용될 수도 있다. 다양한 실시형태에서, 본원에서 설명되는 시스템 및 방법은 절대 단위(예를 들면, 밀리미터)로 측정을 행할 수 있을 수도 있다.
다양한 실시형태가 내시경과 같은 위장(gastrointestinal; GI) 카테터에서의 사용을 위해 적응될 수도 있다. 특히, 내시경은 분무식 스프레이기(atomized sprayer), IR 소스, 카메라 시스템 및 광학기기(optics), 로봇 팔, 및 이미지 프로세서를 포함할 수도 있다.
다양한 실시형태에서, 컴퓨터 비전 시스템에 의해 삼차원 위치 정보가 생성될 표면에 대비를 제공하기 위해, 생물학적 조직의 표면과 같은 오브젝트의 표면에 조영제가 도포될 수도 있다. 정밀도가 대비 및 질감(texture)에 정비례하는 몇몇 시각화 양식(예를 들면, 라이트 필드 이미징)을 사용하는 경우, 조영제는 표면에 대비를 제공하기 위해 활용될 수도 있다. 연조직이 이미지화되고 있는 다양한 실시형태에서, 표면은 컬러에서 실질적으로 균일할 수도 있고 질감이 거의 없을 수도 있다. 이 경우, 조직(예를 들면, 장액막(serous membrane))에 부착되는 분무된 염료와 같은 조영제가 조직에 도포될 수도 있다. 염료는, 라이트 필드 이미징 시스템에서의 정밀도의 레벨을 크게 향상시키기 위해, 형광 처리되어 인공적인 대비를 제공할 수도 있다.
조직의 표면 상에서 대비가 사용되는 경우, 깊이 정보를 결정하기 위해 조영제의 도포 이전에 교정이 획득될 수도 있다.
도 1은 이미지가 기준 이미지로서 사용될 수도 있는 기점 마커(104)를 갖는 표면(102)의 예시적인 이미지(100)를 예시한다. 도 1에서, 기점 마커(104)는 액체 마커의 형태로 표면(102) 상에서 제공된다. 기점 마커(104)는, 컴퓨팅 노드 상에서 실행되는 컴퓨터 비전 시스템이 기점 마커(104)를 인식하고 이미지로부터 삼차원 표면을 계산할 수 있도록 매트릭스 포맷으로 페인팅된다. 컴퓨터 비전 시스템은, 오브젝트의 이미지를 레코딩하고 컴퓨터 비전 소프트웨어를 실행하는 컴퓨팅 노드에 이미지를 제공하는 하나 이상의 카메라를 포함할 수도 있다.
다양한 실시형태에서, 컴퓨터 비전 시스템은 기점 마커(104)의 각각에 대한 삼차원 위치 정보(X, Y, Z)를 생성한다. 컴퓨터 비전 시스템은 기점 마커(104) 사이의 위치 정보를 추가로 보간할 수도 있거나 또는 오브젝트 표면(102)의 삼차원 모델을 생성하기 위해 외삽할 수도 있다.
도 2는 도 1의 기준 이미지(100)를 오버레이하는 구조화된 광 마커(206)의 매트릭스를 갖는 표면(202)의 예시적인 이미지(200)를 예시한다. 구조화된 광 마커(206)의 매트릭스는 도트의 그리드의 형태이다. 구조화된 광 마커(206)는, 컴퓨팅 노드 상에서 실행되는 컴퓨터 비전 시스템이 구조화된 광 마커(206)를 인식하고 이미지로부터 삼차원 표면을 계산할 수 있도록, 구조화된 광의 소스(예를 들면, 레이저)로부터 오브젝트의 표면(202) 상으로 투사된다. 컴퓨터 비전 시스템은, 오브젝트 상으로 투사되는 구조화된 광 마커(206)의 이미지를 레코딩하며 컴퓨터 비전 소프트웨어를 실행하는 컴퓨팅 노드에 이미지를 제공하는 하나 이상의 카메라를 포함할 수도 있다. 컴퓨터 비전 소프트웨어는, 표면(202)의 위치 정보를 생성하기 위해, 상이한 시각 각도에서 촬상되는 이미지로부터 구조화된 광 마커(206)를 분석하고 기하학적 재구성을 수행할 수도 있다. 도 2에서 도시되는 바와 같이, 구조화된 광 마커(206)의 매트릭스는 표면(202) 상으로 투사되는 마커를, 도 1에서 도시되는 기점 마커(104)보다 더 많이 갖는다. 따라서, 삼차원 위치 정보는, 컴퓨터 비전 소프트웨어가 표면(202)의 삼차원 모델을 생성할 수 있는 더 많은 데이터 포인트가 있기 때문에, 구조화된 광 마커(206)를 사용하여 더 정확할 것이다.
도 3a는 시뮬레이팅된 생물학적 조직(310)의 예시적인 이미지를 예시하고, 한편, 도 3b는 동일한 시뮬레이팅된 생물학적 조직(310)의 깊이 맵(315)의 예시적인 이미지를 예시한다. 도 3a에서 도시되는 바와 같이, 시뮬레이팅된 생물학적 조직(310)(예를 들면, 장액막)은 컬러에서 실질적으로 균일하고, 질감이 없고, 인공 마커가 없다. 도 3b에서 도시되는 깊이 맵(315)은 시뮬레이팅된 조직(310)의 라이트 필드 이미징에 의해 생성되는 깊이 맵을 나타낸다. 도 3b에서 도시되는 바와 같이, 깊이 맵(315)은 대비가 거의 없는 영역 - 즉 에지로부터 떨어진 조직(310) 영역 - 에서 깊이 데이터가 거의 없거나 또는 전혀 없다. 시뮬레이팅된 조직(310)과 배경 사이의 대비 때문에 에지에서 깊이 데이터가 존재한다.
도 4a는 조영제가 표면에 도포된 시뮬레이팅된 생물학적 조직(410)의 예시적인 이미지를 예시하고, 한편, 도 4b는 조영제를 갖는 동일한 시뮬레이팅된 생물학적 조직(410)의 깊이 맵(415)의 예시적인 이미지를 예시한다. 도 4a에서 도시되는 바와 같이, 조영제(예를 들면, 분무된 청색 염료)가 시뮬레이팅된 생물학적 조직(410)(예를 들면, 장액막)에 도포된다. 도 4b에서 도시되는 깊이 맵(415)은 조영제를 갖는 시뮬레이팅된 조직(410)의 라이트 필드 이미징에 의해 생성되는 깊이 맵을 나타낸다. 도 4b에서 도시되는 바와 같이, 깊이 맵(415)은 조직의 표면에 도포되는 조영제 때문에 도 3b에서 도시되는 깊이 맵(315)보다 훨씬 더 많은 데이터를 갖는다. 깊이 맵(415)에 기초하여, 컴퓨터 비전 시스템은 조직(410)이 굴곡된 표면을 갖는다는 것을 인식할 것이다.
도 5는 본 개시의 실시형태에 따른 조직을 이미지화하는 3D 표면 이미징 시스템(500)을 예시한다. 이미징 시스템(500)은, 함께 사용될 때, 조직(502)(예를 들면, 위)의 입체 이미지를 생성하는 카메라(521a, 521b)를 갖는 내시경(520)을 포함한다. 다양한 실시형태에서, 내시경(520)은, 옵션 사항으로(optionally) 또는 추가적으로, 적외선 카메라를 포함할 수도 있다. 조직(502)은, 카메라(예를 들면, 적외선 카메라)가 조직(502)의 배경과 대비하여 마커(504)를 검출할 수 있도록 그 상에 배치되는 기점 마커(504)를 갖는다. 다양한 실시형태에서, 이미징 시스템(500)은 프로젝터(522)를 더 포함한다. 다양한 실시형태에서, 프로젝터(522)는 조직(502) 상으로 구조화된 광(506)(예를 들면, 도트 패턴)을 투사하도록 구성될 수도 있다. 다양한 실시형태에서, 프로젝터는 적외선 광을 투사하도록 구성된다. 이미징 시스템(500)은 라이트 필드(예를 들면, 플렌옵틱) 카메라(524)를 더 포함한다. 다양한 실시형태에서, 조직(502)은, 이미징 시스템(500)이 조직(502)의 깊이를 결정하는 것을 허용하도록, 상기에서 설명되는 바와 같이 조영 액체로 분무될 수도 있다.
도 6은 3D 표면 이미징 시스템을 예시하는 다이어그램을 도시한다. 시스템은 3D 이미징 해상도를 향상시키기 위해 세 가지 시각화 양식을 결합한다. 시스템은, 로봇 팔에 의해 이동될 수 있는 카메라 시스템을 포함한다. 시각화 양식의 각각 대해, 카메라 시스템은 광학기기 메커니즘 및 내시경의 광 가이드를 통해 타겟 조직의 이미지를 캡쳐한다. 이미지는 가상으로 구성된 3D 표면을 결정하기 위해 이미지 프로세서에 의해 프로세싱된다.
하나의 시각화 양식에서, 카메라 시스템은 타겟 조직의 플렌옵틱 이미지를 캡쳐하기 위한 라이트 필드(예를 들면, 플렌옵틱) 카메라를 포함한다. 이미지 프로세서는 표준 기술을 사용하여 플렌옵틱 이미지로부터 3D 표면 변동 및 형상을 결정한다.
제2 시각화 양식에서, 시스템은, 내시경의 광 가이드 및 광학기기 메커니즘을 통해 타겟 조직 상에 투사되는 IR 스팟 패턴을 생성하기 위한 IR(적외선) 소스/프로젝터를 사용한다. 스팟 패턴은 미리 정의될 수 있거나 또는 랜덤일 수 있다. 카메라 시스템은, 타겟 조직 상에서 IR 스팟의 이미지를 캡쳐하는 IR 센서를 포함한다. 이미지는 이미지 프로세서로 송신되는데, 이미지 프로세서는 타겟 조직 상에 투사되는 스팟 패턴에서 왜곡을 검출하여 3D 표면 변동 및 형상을 결정한다.
제3 시각화 양식에서, 시스템은, 분무된 액체 염료를 타겟 조직의 선택된 영역에 도포하여 기점 스팟의 수를 증가시키기 위해, 내시경 내의 분무기/스프레이기를 사용한다. 분무된 염료는, IR 스팟 패턴보다 더 높은 스팟 농도를 가지고 랜덤 스팟 패턴으로 타겟 조직에 부착된다. 염료는, 이미징 시스템의 정밀도를 향상시키기 위해, 조직과의 증강된 대비를 제공하도록 형광 처리될 수 있다.
이미지 프로세서는 주어진 상황에서 어떤 시각화 양식 데이터가 가장 적절한지를 결정하고, 적절한 경우 데이터를 결합하여 3D 이미징 해상도를 추가로 향상시킨다. 데이터는 가중 알고리즘을 사용하여 결합될 수 있다. 시스템은, 그에 의해, 깊이를 정확하게 그리고 신뢰 가능하게 고해상도로 감지하는데, 이것은 정확한 로봇 수술 계획 및 실행을 위해 필요로 된다.
도 7은 오브젝트 상에서 삼차원 좌표를 결정하기 위한 방법의 플로우차트(700)를 도시한다. 702에서, 방법은 이미지를 레코딩하는 것을 포함하는데, 이미지는 오브젝트, 오브젝트 상에 배치되는 제1 복수의 마커, 오브젝트 상에 배치되는 제2 복수의 마커, 및 오브젝트 상에 배치되는 제3 복수의 마커를 포함한다. 704에서, 방법은 이미지 및 제1 복수의 마커를 사용하여 제1 깊이를 계산하는 것을 포함한다. 706에서, 방법은 이미지 및 제2 복수의 마커를 사용하여 제2 깊이를 계산하는 것을 포함한다. 708에서, 방법은 이미지 및 제3 복수의 마커를 사용하여 제3 깊이를 계산하는 것을 포함한다. 710에서, 방법은 제1 가중치를 제1 깊이에, 제2 가중치를 제2 깊이에, 그리고 제3 가중치를 제3 깊이에 할당하는 것을 포함한다. 712에서, 방법은, 제1 깊이, 제2 깊이, 제3 깊이, 제1 가중치, 제2 가중치 및 제3 가중치에 기초하여 가중된 평균 깊이를 계산하는 것을 포함한다.
이제 도 15를 참조하면, 본원에서 설명되는 컴퓨터 비전 시스템과 함께 사용될 수도 있는 예시적인 컴퓨팅 노드의 개략도가 도시되어 있다. 컴퓨팅 노드(10)는 적절한 컴퓨팅 노드의 하나의 예에 불과하며 본원에서 설명되는 실시형태의 사용 또는 기능성(functionality)의 범위에 관해서 어떠한 제한도 제안하도록 의도되는 것은 아니다. 그럼에도 불구하고, 컴퓨팅 노드(10)는 본원의 상기에서 기술되는 기능성 중 임의의 것을 구현할 수 있고 및/또는 수행할 수 있다.
컴퓨팅 노드(10)에는, 수많은 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작하는 컴퓨터 시스템/서버(12)가 있다. 컴퓨터 시스템/서버(12)와 함께 사용하기에 적합할 수도 있는 널리 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예는, 퍼스널 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트(thin client), 씩 클라이언트(thick client), 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋탑 박스, 프로그래머블 소비자 전자장치, 네트워크 PC, 미니컴퓨터 시스템, 메인프레임 컴퓨터 시스템, 및 상기의 시스템 또는 디바이스 중 임의의 것을 포함하는 분산 클라우드 컴퓨팅 환경, 및 등등을 포함하지만, 그러나 이들로 제한되지는 않는다.
컴퓨터 시스템/서버(12)는, 컴퓨터 시스템에 의해 실행되고 있는, 프로그램 모듈과 같은 컴퓨터 시스템 실행 가능 명령어의 일반적인 맥락에서 설명될 수도 있다. 일반적으로, 프로그램 모듈은, 특정한 작업을 수행하는 또는 특정한 추상 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 로직, 데이터 구조, 및 등등을 포함할 수도 있다. 컴퓨터 시스템/서버(12)는, 통신 네트워크를 통해 연결되는 원격 프로세싱 디바이스에 의해 작업이 수행되는 분산 클라우드 컴퓨팅 환경에서 실행될 수도 있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 메모리 스토리지 디바이스를 포함하는 로컬 및 원격 컴퓨터 시스템 저장 매체 둘 모두에서 위치될 수도 있다.
도 15에서 도시되는 바와 같이, 컴퓨팅 노드(10)에서의 컴퓨터 시스템/서버(12)는 범용 컴퓨팅 디바이스의 형태로 도시된다. 컴퓨터 시스템/서버(12)의 컴포넌트는, 하나 이상의 프로세서 또는 프로세싱 유닛(16), 시스템 메모리(28), 및 시스템 메모리(28)를 포함하는 다양한 시스템 컴포넌트를 프로세서(16)에 커플링하는 버스(18)를 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다.
버스(18)는, 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스, 가속 그래픽 포트, 및 다양한 버스 아키텍쳐 중 임의의 것을 사용하는 프로세서 또는 로컬 버스를 비롯한, 여러가지 타입의 버스 구조체 중 임의의 것의 하나 이상을 나타낸다. 제한이 아닌 예로서, 그러한 아키텍쳐는 산업 표준 아키텍쳐(Industry Standard Architecture; ISA) 버스, 마이크로 채널 아키텍쳐(Micro Channel Architecture; MCA) 버스, 향상된 EISA(Enhanced ISA; EISA) 버스, 비디오 전자 표준 협회(Video Electronics Standards Association; VESA) 로컬 버스, 및 주변장치 컴포넌트 인터커넥트(Peripheral Component Interconnect; PCI) 버스를 포함한다.
컴퓨터 시스템/서버(12)는 통상적으로 다양한 컴퓨터 시스템 판독 가능 매체를 포함한다. 그러한 매체는 컴퓨터 시스템/서버(12)에 의해 액세스 가능한 임의의 이용 가능한 매체일 수도 있으며, 그것은 휘발성의 착탈식(removable) 및 비착탈식(non-removable) 매체 및 불휘발성의 착탈식 및 비착탈식 매체 둘 모두를 포함한다.
시스템 메모리(28)는, 랜덤 액세스 메모리(random access memory; RAM)(30) 및/또는 캐시 메모리(32)와 같은 휘발성 메모리의 형태의 컴퓨터 시스템 판독 가능 매체를 포함할 수 있다. 컴퓨터 시스템/서버(12)는 다른 착탈식/비착탈식의 휘발성/불휘발성 컴퓨터 시스템 저장 매체를 더 포함할 수도 있다. 단지 예로서, 스토리지 시스템(34)은 비착탈식 불휘발성 자기 매체(도시되지 않으며 통상적으로 "하드 드라이브"로 칭해짐)로부터의 판독 및 그에 대한 기록을 위해 제공될 수 있다. 비록 도시되지는 않지만, 착탈식 불휘발성 자기 디스크(예를 들면, "플로피 디스크")로부터의 판독 또는 그에 대한 기록을 위한 자기 디스크 드라이브 및 CD-ROM, DVD-ROM 또는 다른 광학 미디어와 같은 착탈식 불휘발성 광학 디스크로부터의 판독 및 그에 대한 기록을 위한 광학 디스크 드라이브가 제공될 수 있다. 그러한 예에서, 각각은 하나 이상의 데이터 미디어 인터페이스에 의해 버스(18)에 연결될 수 있다. 하기에서 추가로 묘사되고 설명될 바와 같이, 메모리(28)는, 본 개시의 실시형태의 기능을 실행하도록 구성되는 프로그램 모듈의 세트(예를 들면, 적어도 하나)를 갖는 적어도 하나의 프로그램 제품을 포함할 수도 있다.
제한이 아닌 예로서, 프로그램 모듈(42)의 세트(적어도 하나)를 갖는 프로그램/유틸리티(40) 뿐만 아니라, 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터가 메모리(28)에 저장될 수도 있다. 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터의 각각 또는 이들의 어떤 조합은 네트워킹 환경의 구현을 포함할 수도 있다. 프로그램 모듈(42)은 본원에서 설명되는 실시형태의 기능 및/또는 방법론을 일반적으로 실행한다.
컴퓨터 시스템/서버(12)는 또한, 키보드, 포인팅 디바이스, 디스플레이(24), 등등과 같은 하나 이상의 외부 디바이스(14); 유저가 컴퓨터 시스템/서버(12)와 상호 작용하는 것을 가능하게 하는 하나 이상의 디바이스; 및/또는 컴퓨터 시스템/서버(12)가 하나 이상의 다른 컴퓨팅 디바이스와 통신하는 것을 가능하게 하는 임의의 디바이스(예를 들면, 네트워크 카드, 모뎀, 등등)와 통신할 수도 있다. 그러한 통신은 입력/출력(Input/Output; I/O) 인터페이스 22를 통해 발생할 수 있다. 여전히, 컴퓨터 시스템/서버(12)는, 네트워크 어댑터(20)를 통해 근거리 통신망(local area network; LAN), 일반 광역 통신망(general wide area network; WAN), 및/또는 공공 네트워크(예를 들면, 인터넷)와 같은 하나 이상의 네트워크와 통신할 수 있다. 묘사되는 바와 같이, 네트워크 어댑터(20)는 버스(18)를 통해 컴퓨터 시스템/서버(12)의 다른 컴포넌트와 통신한다. 비록 도시되지는 않지만, 다른 하드웨어 및/또는 소프트웨어 컴포넌트가 컴퓨터 시스템/서버(12)와 연계하여 사용될 수 있다는 것이 이해되어야 한다. 예는 다음의 것을 포함하지만, 그러나 이들로 제한되지는 않는다: 마이크로코드, 디바이스 드라이버, 리던던트 프로세싱 유닛, 외부 디스크 드라이브 어레이, RAID 시스템, 테이프 드라이브, 및 데이터 아카이브 스토리지 시스템, 등등.
다른 실시형태에서, 컴퓨터 시스템/서버는 하나 이상의 카메라(예를 들면, 디지털 카메라, 라이트 필드 카메라) 또는 다른 이미징/감지 디바이스(예를 들면, 적외선 카메라 또는 센서)에 연결될 수도 있다.
본 개시는 시스템, 방법 및/또는 컴퓨터 프로그램 제품을 포함한다. 컴퓨터 프로그램 제품은, 프로세서로 하여금 본 개시의 양태를 실행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령어를 갖는 컴퓨터 판독 가능 저장 매체(또는 매체들)를 포함할 수도 있다.
컴퓨터 판독 가능 저장 매체는 명령어 실행 디바이스에 의한 사용을 위한 명령어를 보유하고 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독 가능 저장 매체는, 예를 들면, 전자 스토리지 디바이스, 자기 스토리지 디바이스, 광학 스토리지 디바이스, 전자기 스토리지 디바이스, 반도체 스토리지 디바이스, 또는 전술한 것의 임의의 적절한 조합일 수도 있지만, 그러나 이들로 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예의 비망라적인 목록은 다음의 것을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 소거 가능한 프로그래머블 리드 온리 메모리(erasable programmable read-only memory; EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(static random access memory; SRAM), 휴대용 컴팩트 디스크 리드 온리 메모리(compact disc read-only memory; CD-ROM), 디지털 다기능 디스크(digital versatile disk; DVD), 메모리 스틱, 플로피 디스크, 기계적으로 인코딩된 디바이스 예컨대 명령어가 레코딩된 그루브에서의 융기 구조체 또는 펀치 카드, 및 전술한 것의 임의의 적절한 조합. 컴퓨터 판독 가능 저장 매체는, 본원에서 사용될 때, 일시적 신호 그 자체, 예컨대 전파(radio wave) 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 송신 매체를 통해 전파하는 전자기파(예를 들면, 광 섬유 케이블을 통과하는 광 펄스), 또는 와이어를 통해 송신되는 전기 신호인 것으로 해석되지 않아야 한다.
본원에서 설명되는 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/프로세싱 디바이스로, 또는 네트워크, 예를 들면, 인터넷, 근거리 통신망, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 스토리지 디바이스로 다운로드될 수 있다. 네트워크는 구리 송신 케이블, 광학 송신 섬유, 무선 송신, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수도 있다. 각각의 컴퓨팅/프로세싱 디바이스에서의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고 각각의 컴퓨팅/프로세싱 디바이스 내의 컴퓨터 판독 가능 저장 매체에서의 저장을 위해 컴퓨터 판독 가능 프로그램 명령어를 포워딩한다.
본 개시의 동작을 실행하기 위한 컴퓨터 판독 가능 프로그램 명령어는, 어셈블러 명령어, 명령어 세트-아키텍쳐(instruction-set-architecture; ISA) 명령어, 머신 명령어, 머신 의존 명령어, 마이크로코드, 펌웨어 명령어, 상태 설정 데이터, 또는 객체 지향 프로그래밍 언어 예컨대 Smalltalk, C++, 또는 등등, 및 종래의 절차적 프로그래밍 언어, 예컨대 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어를 비롯한, 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성되는 소스 코드 또는 오브젝트 코드 중 어느 하나일 수도 있다. 컴퓨터 판독 가능 프로그램 명령어는, 전적으로, 유저의 컴퓨터 상에서, 부분적으로 유저의 컴퓨터 상에서, 독립형 소프트웨어 패키지로서, 부분적으로는 유저의 컴퓨터 상에서 그리고 부분적으로는 원격 컴퓨터 상에서 또는 전적으로 원격 컴퓨터 또는 서버 상에서 실행될 수도 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 비롯한, 임의의 타입의 네트워크를 통해 유저의 컴퓨터에 연결될 수도 있거나, 또는 (예를 들면, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 외부 컴퓨터에 대한 연결이 만들어질 수도 있다. 다양한 실시형태에서, 예를 들면, 프로그래머블 로직 회로부(circuitry), 필드 프로그래머블 게이트 어레이(field-programmable gate arrays; FPGA), 또는 프로그래머블 로직 어레이(programmable logic arrays; PLA)를 포함하는 전자 회로부는, 본 개시의 양태를 수행하기 위해, 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 활용하여 전자 회로부를 개인화하는 것에 의해 컴퓨터 판독 가능 프로그램 명령어를 실행할 수도 있다.
본 개시의 양태는 본 개시의 실시형태에 따른 방법, 장치(시스템), 및 컴퓨터 프로그램 제품의 플로우차트 예시 및/또는 블록도를 참조하여 본원에서 설명된다. 플로우차트 예시 및/또는 블록도의 각각의 블록, 및 플로우차트 예시 및/또는 블록도의 블록의 조합은 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있다는 것이 이해될 것이다.
이들 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그래머블 데이터 프로세싱 장치의 프로세서에 제공되어 머신을 생성할 수도 있고, 그 결과, 컴퓨터 또는 다른 프로그래머블 데이터 프로세싱 장치의 프로세서를 통해 실행되는 명령어는 플로우차트 및/또는 블록도 블록 또는 블록에서 명시되는 기능/액트(act)를 구현하기 위한 수단을 생성한다. 컴퓨터, 프로그래머블 데이터 프로세싱 장치, 및/또는 다른 디바이스에게 특정한 방식으로서 기능할 것을 지시할 수 있는 이들 컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터 판독 가능 저장 매체에 저장될 수도 있고, 그 결과, 명령어가 저장된 컴퓨터 판독 가능 저장 매체는 플로우차트 및/또는 블록도 블록 또는 블록들에서 명시되는 기능/액트의 양태를 구현하는 명령어를 포함하는 제조 물품을 포함한다.
컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터, 다른 프로그래머블 데이터 프로세싱 장치, 또는 다른 디바이스 상으로 로딩되어, 컴퓨터, 다른 프로그래머블 장치 또는 다른 디바이스 상에서 수행될 일련의 동작 단계로 하여금 컴퓨터 구현 프로세스를 생성하게 할 수도 있고, 그 결과 컴퓨터, 다른 프로그래머블 장치 또는 다른 디바이스 상에서 실행되는 명령어는 플로우차트 및/또는 블록도 블록 또는 블록들에서 명시되는 기능/액트를 구현한다.
도면에서의 플로우차트 및 블록도는, 본 개시의 다양한 실시형태에 따른 시스템, 방법, 및 컴퓨터 프로그램 제품의 가능한 구현예의 아키텍쳐, 기능성, 및 동작을 예시한다. 이와 관련하여, 플로우차트 또는 블록도에서의 각각의 블록은, 명시된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령어를 포함하는 모듈, 세그먼트, 또는 명령어의 일부를 나타낼 수도 있다. 다양한 대안적 구현예에서, 블록에서 언급되는 기능은 도면에 언급되는 순서를 벗어나 발생할 수도 있다. 예를 들면, 수반되는 기능성에 따라, 연속하여 도시되는 두 개의 블록은, 실제로는, 실질적으로 동시에 실행될 수도 있거나, 또는 블록은 때로는 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 플로우차트 예시의 각각의 블록, 및 블록도 및/또는 플로우차트 예시에서의 블록의 조합은, 명시된 기능 또는 액트를 수행하는 또는 특수 목적 하드웨어 및 컴퓨터 명령어의 조합을 실행하는 특수 목적 하드웨어 기반의 시스템에 의해 구현될 수 있다는 것이 주목될 것이다.
본 개시의 다양한 실시형태의 설명은 예시의 목적을 위해 제시되었지만, 그러나 개시되는 실시형태로 제한되도록 또는 망라적인 것으로 의도되는 것은 아니다. 설명된 실시형태의 범위 및 취지를 벗어나지 않으면서 많은 수정예 및 변동예가 기술 분야의 숙련된 자에게는 명백할 것이다. 본원에서 사용되는 전문 용어는 실시형태의 원리, 실제 적용 또는 시장에서 발견되는 기술에 대한 기술적 개선을 가장 잘 설명하기 위해, 또는 기술 분야에서 통상의 지식을 가진 다른 사람이 본원에서 개시되는 실시형태를 이해하는 것을 가능하게 하기 위해 선택되었다.

Claims (49)

  1. 컴퓨터에 의해 구현되는 깊이 감지 방법에 있어서,
    (a) 수술 장면에서 오브젝트의 하나 이상의 이미지를 레코딩하는 단계 ― 상기 하나 이상의 이미지는 상기 오브젝트 상의 복수의 마커들을 포함함 ― ;
    (b) (i) 상기 복수의 마커들 중의 제1 세트의 마커들 및 상기 하나 이상의 이미지를 사용하여 제1 깊이를, (ii) 상기 복수의 마커들 중의 제2 세트의 마커들 및 상기 하나 이상의 이미지를 사용하여 제2 깊이를, 그리고 (iii) 상기 복수의 마커들 중의 제3 세트의 마커들 및 상기 하나 이상의 이미지를 사용하여 제3 깊이를 계산하는 단계;
    (c) (i) 제1 가중치를 상기 제1 깊이에, (ii) 제2 가중치를 상기 제2 깊이에, 그리고 (iii) 제3 가중치를 상기 제3 깊이에 할당하는 단계; 및
    (d) 적어도 부분적으로 상기 제1 깊이, 상기 제1 가중치, 상기 제2 깊이, 상기 제2 가중치, 상기 제3 깊이, 및 상기 제3 가중치에 기초하여, 상기 오브젝트의 하나 이상의 부분의 가중된 평균 깊이를 계산하는 단계
    를 포함하는, 깊이 감지 방법.
  2. 제1항에 있어서,
    상기 단계 (a)는, 상기 하나 이상의 이미지를 레코딩하기 위해 하나 이상의 이미징 디바이스를 사용하는 단계를 포함하는 것인, 깊이 감지 방법.
  3. 제2항에 있어서,
    상기 하나 이상의 이미징 디바이스는 입체 카메라(stereoscopic camera), 적외선 카메라, 라이트 필드 카메라(light-field camera), 플렌옵틱 카메라(plenoptic camera), 또는 구조화된 광 검출 유닛(structured light detection unit)을 포함하는 것인, 깊이 감지 방법.
  4. 제2항에 있어서,
    상기 하나 이상의 이미징 디바이스는 상이한 타입의 이미징 디바이스들을 포함하는 것인, 깊이 감지 방법.
  5. 제2항에 있어서,
    상기 제1 가중치 및 상기 제2 가중치 중 적어도 하나는 상기 하나 이상의 이미징 디바이스의 정확도 또는 정밀도에 대응하는 것인, 깊이 감지 방법.
  6. 제1항에 있어서,
    상기 제1 세트의 마커들은 하나 이상의 기준(fiducial) 마커를 포함하는 것인, 깊이 감지 방법.
  7. 제6항에 있어서,
    상기 하나 이상의 기준 마커는 상기 오브젝트에 도포되는 액체 잉크를 포함하는 것인, 깊이 감지 방법.
  8. 제1항에 있어서,
    상기 제2 세트의 마커들은 하나 이상의 광학 마커를 포함하는 것인, 깊이 감지 방법.
  9. 제8항에 있어서,
    상기 단계 (a)는: (i) 상기 오브젝트의 표면 상의 상기 하나 이상의 광학 마커를 포함하는 구조화된 광 패턴을 투사하는 단계, 및 (ii) 상기 오브젝트의 표면 상에 투사된 상기 구조화된 광 패턴을 레코딩하는 단계를 더 포함하는 것인, 깊이 감지 방법.
  10. 제9항에 있어서,
    상기 오브젝트의 표면의 기하학적 재구성(geometric reconstruction)을 계산하기 위해 상기 투사된 구조화된 광 패턴의 적어도 일부를 사용하는 단계를 더 포함하는, 깊이 감지 방법.
  11. 제1항에 있어서,
    (i) 제1 카메라를 사용하여 상기 오브젝트의 제1 이미지를 그리고 상기 제1 카메라로부터 이격된 제2 카메라를 사용하여 상기 오브젝트의 제2 이미지를 레코딩하는 단계, (ii) 상기 제1 이미지와 상기 제2 이미지 사이의 디스패리티 값(disparity value)을 계산하는 단계, 및 (iii) 상기 오브젝트의 하나 이상의 부분의 깊이를 계산 또는 업데이트하기 위해 상기 디스패리티 값을 사용하는 단계를 더 포함하는, 깊이 감지 방법.
  12. 제1항에 있어서,
    상기 제1 가중치 및 상기 제2 가중치 중 적어도 하나는 상기 하나 이상의 이미지에 대한 픽셀 레벨에서 파라미터화되는 것인, 깊이 감지 방법.
  13. 제12항에 있어서,
    상기 제1 가중치 및 상기 제2 가중치 중 적어도 하나는 파라메트릭 함수(parametric function)를 사용하여 파라미터화되고, 상기 파라메트릭 함수는 연속 함수, 불연속 함수, 구분 함수(piece-wise function), 선형 함수, 또는 지수 함수를 포함하는 것인, 깊이 감지 방법.
  14. 제1항에 있어서,
    상기 제3 가중치는 상기 제1 가중치 또는 상기 제2 가중치 이상인 것인, 깊이 감지 방법.
  15. 제1항에 있어서,
    상기 제2 가중치는 상기 제1 가중치 또는 상기 제3 가중치 이상인 것인, 깊이 감지 방법.
  16. 제1항에 있어서,
    상기 제1 가중치는 상기 제2 가중치 또는 상기 제3 가중치 이상인 것인, 깊이 감지 방법.
  17. 제1항에 있어서,
    상기 복수의 마커들은 상기 오브젝트의 표면에 도포되는 조영제(contrast agent)를 포함하는 것인, 깊이 감지 방법.
  18. 제17항에 있어서,
    상기 조영제는 분무된 염료를 포함하는 것인, 깊이 감지 방법.
  19. 제1항에 있어서,
    상기 오브젝트는 생물학적 재료, 조직, 기관, 신체 내부 구조체, 또는 신체 외부 구조체를 포함하는 것인, 깊이 감지 방법.
  20. 제1항에 있어서,
    상기 제1 깊이, 상기 제2 깊이, 또는 상기 제3 깊이는 상기 제1 세트의 마커들, 상기 제2 세트의 마커들, 및 상기 제3 세트의 마커들 각각에 대해 검출된 하나 이상의 위치를 공지된 기준에 대해 교차 참조함으로써 계산되고, 상기 공지된 기준은 공지된 사이즈 또는 공지된 형상을 포함하는 것인, 깊이 감지 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
KR1020217004565A 2018-07-19 2019-07-19 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법 KR102545980B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862700700P 2018-07-19 2018-07-19
US62/700,700 2018-07-19
PCT/US2019/042647 WO2020018931A1 (en) 2018-07-19 2019-07-19 Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots

Publications (2)

Publication Number Publication Date
KR20210035831A KR20210035831A (ko) 2021-04-01
KR102545980B1 true KR102545980B1 (ko) 2023-06-21

Family

ID=69163745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217004565A KR102545980B1 (ko) 2018-07-19 2019-07-19 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법

Country Status (7)

Country Link
US (2) US11179218B2 (ko)
EP (1) EP3824621A4 (ko)
JP (1) JP7297891B2 (ko)
KR (1) KR102545980B1 (ko)
CN (1) CN112740666A (ko)
CA (1) CA3106823A1 (ko)
WO (1) WO2020018931A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097831A1 (en) 2016-11-24 2018-05-31 Smith Joshua R Light field capture and rendering for head-mounted displays
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US20120268491A1 (en) 2011-04-21 2012-10-25 Microsoft Corporation Color Channels and Optical Markers

Family Cites Families (284)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
GB9515311D0 (en) 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
DE19636354A1 (de) 1996-09-02 1998-03-05 Ruedger Dipl Ing Rubbert Verfahren und Vorrichtung zur Durchführung von optischen Aufnahmen
US6081322A (en) 1997-10-16 2000-06-27 Research Foundation Of State Of New York NIR clinical opti-scan system
US6373963B1 (en) 1998-02-05 2002-04-16 Textile/Clothing Technology Corporation Systems, methods and computer program for measuring the surface contour of an object
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
DE19829278C1 (de) 1998-06-30 2000-02-03 Sirona Dental Systems Gmbh 3-D-Kamera zur Erfassung von Oberflächenstrukturen, insbesondere für zahnmedizinische Zwecke
US6879324B1 (en) 1998-07-14 2005-04-12 Microsoft Corporation Regional progressive meshes
IL125659A (en) 1998-08-05 2002-09-12 Cadent Ltd Method and device for three-dimensional simulation of a structure
DE19837932C2 (de) 1998-08-20 2000-09-07 Bioshape Ag Verfahren und Vorrichtung zur Ermittlung der Oberflächenform von biologischem Gewebe
US7068825B2 (en) 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
US7107116B2 (en) 1999-03-29 2006-09-12 Genex Technologies, Inc. Diffuse optical tomography system and method of use
US7099732B2 (en) 1999-03-29 2006-08-29 Genex Technologies, Inc. Sanitary sleeve or tip for intra-oral three-dimensional camera
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
US6542249B1 (en) 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
EP1214609B1 (en) 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
EP1142536B1 (de) 2000-04-05 2002-07-31 BrainLAB AG Referenzierung eines Patienten in einem medizinischen Navigationssystem mittels aufgestrahlter Lichtpunkte
AU2001261160A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Prosthesis and method of making
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
JP2002164066A (ja) 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP2002345733A (ja) 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
JP2003075137A (ja) 2001-09-04 2003-03-12 Minolta Co Ltd 撮影システム並びにそれに用いられる撮像装置および３次元計測用補助ユニット
JP3962588B2 (ja) 2002-01-07 2007-08-22 キヤノン株式会社 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
TW567693B (en) 2002-04-19 2003-12-21 Infopivot Technologies Inc Method for solving unavailability of Internet services using floating IP
JP4054222B2 (ja) 2002-06-05 2008-02-27 オリンパス株式会社 内視鏡装置用光源装置
AU2003253626A1 (en) 2002-06-07 2003-12-22 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US20110015518A1 (en) 2002-06-13 2011-01-20 Martin Schmidt Method and instrument for surgical navigation
US7277599B2 (en) * 2002-09-23 2007-10-02 Regents Of The University Of Minnesota System and method for three-dimensional video imaging using a single camera
US6977732B2 (en) 2002-12-26 2005-12-20 National Taiwan University Miniature three-dimensional contour scanner
DE10304111B4 (de) 2003-01-31 2011-04-28 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts
JP4798945B2 (ja) 2003-03-05 2011-10-19 トヨタ自動車株式会社 撮像装置
AU2004223469B2 (en) 2003-03-24 2009-07-30 D4D Technologies, Llc Laser digitizer system for dental applications
WO2004109601A1 (en) 2003-05-30 2004-12-16 Dreamworks Rendering of soft shadows using depth maps
US7450783B2 (en) 2003-09-12 2008-11-11 Biopticon Corporation Methods and systems for measuring the size and volume of features on live tissues
US20050096515A1 (en) 2003-10-23 2005-05-05 Geng Z. J. Three-dimensional surface image guided adaptive therapy system
US7951073B2 (en) 2004-01-21 2011-05-31 Boston Scientific Limited Endoscopic device having spray mechanism and related methods of use
US7330577B2 (en) 2004-01-27 2008-02-12 Densys Ltd. Three-dimensional modeling of the oral cavity by projecting a two-dimensional array of random patterns
KR100764419B1 (ko) 2004-02-09 2007-10-05 강철권 불규칙패턴을 이용한 3차원형상 측정장치 및 측정방법
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
US20050253849A1 (en) 2004-05-13 2005-11-17 Pixar Custom spline interpolation
DE602005009432D1 (de) 2004-06-17 2008-10-16 Cadent Ltd Verfahren und Gerät zur Farbbildformung einer dreidimensionalen Struktur
JP4589048B2 (ja) 2004-08-04 2010-12-01 オリンパス株式会社 カプセル型内視鏡
US7620209B2 (en) 2004-10-14 2009-11-17 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US7961912B2 (en) 2004-10-14 2011-06-14 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US20080312540A1 (en) 2004-12-08 2008-12-18 Vasilis Ntziachristos System and Method for Normalized Flourescence or Bioluminescence Imaging
US8027710B1 (en) 2005-01-28 2011-09-27 Patrick Dannan Imaging system for endoscopic surgery
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
CA2625775A1 (en) 2005-10-14 2007-04-19 Applied Research Associates Nz Limited A method of monitoring a surface feature and apparatus therefor
KR100752758B1 (ko) 2005-10-19 2007-08-29 (주) 인텍플러스 영상 측정 장치 및 그 방법
US20070115484A1 (en) 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
US7898651B2 (en) 2005-10-24 2011-03-01 General Electric Company Methods and apparatus for inspecting an object
US7489408B2 (en) 2005-11-15 2009-02-10 General Electric Company Optical edge break gage
ES2350242T3 (es) 2005-11-28 2011-01-20 3Shape A/S Luz estructurada codificada.
DE102005060312A1 (de) 2005-12-16 2007-06-28 Siemens Ag Abtasteinrichtung zur optischen Abtastung von Oberflächen
DE102006004583A1 (de) 2006-02-01 2007-08-09 Siemens Ag Optische Abtasteinrichtung
JP5044126B2 (ja) 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
US8084753B2 (en) 2006-03-20 2011-12-27 Baylor College Of Medicine Method and system for non-contact fluorescence optical tomography with patterned illumination
JP4864511B2 (ja) 2006-03-31 2012-02-01 富士フイルム株式会社 電子内視鏡装置およびプログラム
US7435217B2 (en) 2006-04-17 2008-10-14 Microvision, Inc. Scanned beam imagers and endoscopes with positionable light collector
EP1862115B1 (de) 2006-05-31 2009-03-18 BrainLAB AG Registrierung mittels Strahlungsmarkierungselementen
US9247865B2 (en) 2006-05-31 2016-02-02 National University Corporation Chiba University Three-dimensional-image forming device, three dimensional-image forming method and program
US8125648B2 (en) * 2006-06-05 2012-02-28 Board Of Regents, The University Of Texas System Polarization-sensitive spectral interferometry
US20110057930A1 (en) 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
US20080107305A1 (en) 2006-11-02 2008-05-08 Northern Digital Inc. Integrated mapping system
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US7995798B2 (en) 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
ES2372515B2 (es) 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US9072445B2 (en) 2008-01-24 2015-07-07 Lifeguard Surgical Systems Inc. Common bile duct surgical imaging system
US9094675B2 (en) * 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
US7821649B2 (en) 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis
JP2009240621A (ja) 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
EP2286368B1 (en) 2008-05-06 2013-09-04 Flashscan3d, Llc System and method for structured light illumination with frame subwindows
US20100113921A1 (en) 2008-06-02 2010-05-06 Uti Limited Partnership Systems and Methods for Object Surface Estimation
DE102008040947B4 (de) 2008-08-01 2014-02-06 Sirona Dental Systems Gmbh 3D-Dentalkamera zur Erfassung von Oberflächenstrukturen eines Messobjekts mittels Triangulation
WO2010016047A1 (en) 2008-08-03 2010-02-11 Microsoft International Holdings B.V. Rolling camera system
WO2010019515A2 (en) 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US9282926B2 (en) 2008-12-18 2016-03-15 Sirona Dental Systems Gmbh Camera for recording surface structures, such as for dental purposes
KR101526866B1 (ko) 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US9091623B2 (en) * 2009-02-16 2015-07-28 Satake Usa, Inc. System to determine product characteristics, counts, and per unit weight details
WO2010096447A2 (en) 2009-02-17 2010-08-26 Board Of Regents, The University Of Texas System Quantitative imaging with multi-exposure speckle imaging (mesi)
WO2010096453A1 (en) 2009-02-17 2010-08-26 Board Of Regents, The University Of Texas System Methods of producing laser speckle contrast images
WO2010122068A1 (en) 2009-04-21 2010-10-28 Micronic Laser Systems Ab Optical systems configured to generate more closely spaced light beams and pattern generators including the same
US9135502B2 (en) 2009-05-11 2015-09-15 Universitat Zu Lubeck Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
US7763841B1 (en) 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
JP5361592B2 (ja) 2009-07-24 2013-12-04 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
KR20110018696A (ko) 2009-08-18 2011-02-24 주식회사 이턴 입체 영상 처리 장치 및 방법
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
CN102573602B (zh) 2009-08-27 2015-04-01 纳维瑞士股份公司 内窥镜及其使用方法
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US20110080471A1 (en) 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
US10045882B2 (en) 2009-10-30 2018-08-14 The Johns Hopkins University Surgical instrument and systems with integrated optical sensor
US20110123098A1 (en) 2009-11-24 2011-05-26 Maurice Moshe Ernst System and a Method for Three-dimensional Modeling of a Three-dimensional Scene Features with a Cooling System
US20120206587A1 (en) 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
CN102711650B (zh) 2010-01-13 2015-04-01 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
US8723923B2 (en) 2010-01-14 2014-05-13 Alces Technology Structured light system
WO2011098927A1 (en) 2010-02-12 2011-08-18 Koninklijke Philips Electronics N.V. Laser enhanced reconstruction of 3d surface
EP2359745A1 (en) 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
US8872824B1 (en) 2010-03-03 2014-10-28 Nvidia Corporation System, method, and computer program product for performing shadowing utilizing shadow maps and ray tracing
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
WO2012018796A2 (en) 2010-08-02 2012-02-09 The Johns Hopkins University Autofocusing endoscope and system
US9833145B2 (en) 2010-08-11 2017-12-05 Snu R&Db Foundation Method for simultaneously detecting fluorescence and raman signals for multiple fluorescence and raman signal targets, and medical imaging device for simultaneously detecting multiple targets using the method
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9157733B2 (en) 2010-09-10 2015-10-13 Dimensional Photonics International, Inc. Method of data acquisition for three-dimensional imaging
AU2011305543A1 (en) 2010-09-21 2013-04-11 The Johns Hopkins University Optical sensing system for cochlear implant surgery
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
CN102008282B (zh) 2010-10-29 2012-08-08 深圳大学 数字印模口内扫描仪及口腔内表面形貌图像实时重建系统
US9345389B2 (en) 2010-11-12 2016-05-24 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US9506749B2 (en) 2010-11-15 2016-11-29 Seikowave, Inc. Structured light 3-D measurement module and system for illuminating an area-under-test using a fixed-pattern optic
US9599461B2 (en) 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
US8649024B2 (en) 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US20120165681A1 (en) 2010-12-23 2012-06-28 Tyco Healthcare Group Lp Delineating Skin or Surface Lesions
US9226673B2 (en) 2011-01-10 2016-01-05 East Carolina University Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
WO2012096878A2 (en) 2011-01-10 2012-07-19 East Carolina University Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
WO2012147679A1 (ja) 2011-04-27 2012-11-01 オリンパス株式会社 内視鏡装置および計測方法
JP5846763B2 (ja) 2011-05-24 2016-01-20 オリンパス株式会社 内視鏡装置
JP5841353B2 (ja) 2011-05-24 2016-01-13 オリンパス株式会社 内視鏡装置および画像取得方法
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
WO2012167201A1 (en) 2011-06-01 2012-12-06 Digital Light Innovations System and method for hyperspectral illumination
WO2012170963A1 (en) 2011-06-08 2012-12-13 Digital Light Innovations System and method for hyperspectral imaging
US9001190B2 (en) 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
KR20130011141A (ko) 2011-07-20 2013-01-30 삼성전자주식회사 내시경 및 내시경 시스템
US9444981B2 (en) 2011-07-26 2016-09-13 Seikowave, Inc. Portable structured light measurement module/apparatus with pattern shifting device incorporating a fixed-pattern optic for illuminating a subject-under-test
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
US9142025B2 (en) 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
WO2013058978A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US8605993B2 (en) * 2011-11-21 2013-12-10 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
DE102011119608B4 (de) 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
US11510600B2 (en) 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
JP2015517134A (ja) 2012-03-05 2015-06-18 マイクロソフト コーポレーション 光フォールオフに基づく奥行き画像の生成
CN104160241B (zh) 2012-03-14 2017-06-30 独立行政法人产业技术总合研究所 利用高维亮度信息的条纹图像的相位分布分析方法、装置及其程序
JP5654511B2 (ja) 2012-03-14 2015-01-14 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5995484B2 (ja) 2012-03-30 2016-09-21 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法、及びプログラム
CN104582622B (zh) * 2012-04-16 2017-10-13 儿童国家医疗中心 用于外科和介入医疗程序中的跟踪和控制的双模立体成像系统
US20140194747A1 (en) 2012-05-01 2014-07-10 Empire Technology Development Llc Infrared scanner and projector to indicate cancerous cells
US20130296712A1 (en) 2012-05-03 2013-11-07 Covidien Lp Integrated non-contact dimensional metrology tool
JP5930531B2 (ja) 2012-05-24 2016-06-08 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
US9674436B2 (en) 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
US9471864B2 (en) 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140031665A1 (en) 2012-07-25 2014-01-30 Covidien Lp Telecentric Scale Projection System for Real-Time In-Situ Surgical Metrology
KR101651174B1 (ko) 2012-07-25 2016-08-25 지멘스 악티엔게젤샤프트 3d 측정을 위한, 특히 투명 산란 표면들을 위한 컬러 코딩
CN104125794B (zh) 2012-08-07 2016-06-22 奥林巴斯株式会社 扫描型内窥镜装置
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US9057784B2 (en) 2012-08-14 2015-06-16 Microsoft Technology Licensing, Llc Illumination light shaping for a depth camera
US9297889B2 (en) 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US20150238276A1 (en) 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
US9070194B2 (en) 2012-10-25 2015-06-30 Microsoft Technology Licensing, Llc Planar surface detection
US9513113B2 (en) 2012-10-29 2016-12-06 7D Surgical, Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
DE102012021185A1 (de) 2012-10-30 2014-04-30 Smart Optics Sensortechnik Gmbh Verfahren zur optischen 3D-Vermessung von Zähnen mit verkleinerter Point-Spread-Funktion
US9304603B2 (en) 2012-11-12 2016-04-05 Microsoft Technology Licensing, Llc Remote control using depth camera
KR101918030B1 (ko) * 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
WO2014121278A1 (en) 2013-02-04 2014-08-07 D4D Technologies, Llc Intra-oral scanning device with illumination frames interspersed with image frames
US9788903B2 (en) 2013-02-04 2017-10-17 Children's National Medical Center Hybrid control surgical robotic system
CN105263437B (zh) 2013-02-13 2017-10-03 3形状股份有限公司 记录颜色的聚焦扫描装置
CN104036226B (zh) 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
US9351643B2 (en) 2013-03-12 2016-05-31 Covidien Lp Systems and methods for optical measurement for in-situ surgical applications
US9375844B2 (en) 2013-03-15 2016-06-28 Intuitive Surgical Operations, Inc. Geometrically appropriate tool selection assistance for determined work site dimensions
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US9294758B2 (en) 2013-04-18 2016-03-22 Microsoft Technology Licensing, Llc Determining depth data for a captured image
EP2800055A1 (en) 2013-04-30 2014-11-05 3DDynamics Bvba Method and system for generating a 3D model
US9074868B2 (en) 2013-05-13 2015-07-07 General Electric Company Automated borescope measurement tip accuracy test
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
JP6446357B2 (ja) 2013-05-30 2018-12-26 株式会社ニコン 撮像システム
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
DE102013016752A1 (de) 2013-09-03 2015-03-05 Universität Stuttgart Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT)
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US20150086956A1 (en) 2013-09-23 2015-03-26 Eric Savitsky System and method for co-registration and navigation of three-dimensional ultrasound and alternative radiographic data sets
US9799117B2 (en) 2013-09-30 2017-10-24 Lenovo (Beijing) Co., Ltd. Method for processing data and apparatus thereof
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
EP3073894B1 (en) 2013-11-27 2022-03-30 Children's National Medical Center Corrected 3d imaging
EP3088839B1 (en) 2013-12-27 2018-12-26 Sony Corporation Image processing device and image processing method
WO2015103566A2 (en) 2014-01-06 2015-07-09 The Regents Of The University Of California Spatial frequency domain imaging using custom patterns
WO2015105780A1 (en) 2014-01-07 2015-07-16 The Regents Of The University Of California Method for extraction of spatial frequency information for quantitative tissue imaging
CN105917358B (zh) 2014-01-10 2020-03-24 株式会社高永科技 三维形状测定装置及方法
US9720506B2 (en) 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
WO2015120020A1 (en) 2014-02-04 2015-08-13 The Trustees Of Dartmouth College Apparatus and methods for structured light scatteroscopy
EP3108447B1 (en) 2014-02-17 2020-03-25 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
US9380224B2 (en) 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
JP6535020B2 (ja) 2014-03-02 2019-06-26 ブイ．ティー．エム．（バーチャル テープ メジャー）テクノロジーズ リミテッド 内視鏡画像内で可視の物体の３ｄ距離および寸法を測定するシステム
DE102014204243A1 (de) 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
DE102014204244A1 (de) 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
US11116383B2 (en) 2014-04-02 2021-09-14 Asensus Surgical Europe S.à.R.L. Articulated structured light based-laparoscope
DE102014207022A1 (de) 2014-04-11 2015-10-29 Siemens Aktiengesellschaft Tiefenbestimmung einer Oberfläche eines Prüfobjektes
DE102014210938A1 (de) 2014-06-06 2015-12-17 Siemens Aktiengesellschaft Verfahren zum Steuern eines medizinischen Gerätes sowie Steuerungssystem für ein medizinisches Gerät
US20150377613A1 (en) 2014-06-30 2015-12-31 Samsung Electronics Co., Ltd. Systems and methods for reconstructing 3d surfaces of tubular lumens
US9439568B2 (en) 2014-07-03 2016-09-13 Align Technology, Inc. Apparatus and method for measuring surface topography optically
US9261356B2 (en) 2014-07-03 2016-02-16 Align Technology, Inc. Confocal surface topography measurement with fixed focal positions
US9261358B2 (en) 2014-07-03 2016-02-16 Align Technology, Inc. Chromatic confocal system
US10398294B2 (en) 2014-07-24 2019-09-03 Z Square Ltd. Illumination sources for multicore fiber endoscopes
CN105509639B (zh) 2014-09-24 2019-01-01 通用电气公司 用来测量几何特征的测量系统和测量方法
US10039439B2 (en) 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
CA2963861C (en) 2014-10-14 2023-10-03 East Carolina University Methods, systems and computer program products for visualizing anatomical structures and blood flow and perfusion physiology using imaging techniques
CN107257655B (zh) 2014-10-14 2020-06-16 东卡罗莱娜大学 用于利用从多谱段血液流动和灌注成像获取的信号确定血液动力学状态参数的方法、系统和计算机程序产品
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
JP6432770B2 (ja) 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US9841496B2 (en) 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system
US9638801B2 (en) 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9330464B1 (en) 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback
KR101671649B1 (ko) 2014-12-22 2016-11-01 장석준 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
WO2016119840A1 (en) 2015-01-28 2016-08-04 Brainlab Ag Light point identification method
US9817159B2 (en) 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
US10692234B2 (en) 2015-02-12 2020-06-23 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
US9953428B2 (en) 2015-03-03 2018-04-24 Microsoft Technology Licensing, Llc Digital camera unit with simultaneous structured and unstructured illumination
KR102376954B1 (ko) 2015-03-06 2022-03-21 삼성전자주식회사 홍채를 촬영하기 위한 광을 조사하는 방법 및 그 디바이스
US9955140B2 (en) 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging
KR102306539B1 (ko) 2015-03-12 2021-09-29 삼성전자주식회사 홍채를 촬영하기 위하여 이용되는 광을 조사하는 방법 및 디바이스
US10390718B2 (en) 2015-03-20 2019-08-27 East Carolina University Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
US10058256B2 (en) 2015-03-20 2018-08-28 East Carolina University Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
DE102015206511B4 (de) 2015-04-13 2023-10-19 Siemens Healthcare Gmbh Ermittlung einer eindeutigen räumlichen Relation eines medizinischen Geräts zu einem weiteren Objekt
US9690984B2 (en) 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US10356392B2 (en) 2015-05-28 2019-07-16 University College Cork—National Univesity of Ireland, Cork Coded access optical sensor
CN107072498B (zh) 2015-06-30 2019-08-20 奥林巴斯株式会社 图像处理装置、胶囊型内窥镜系统以及内窥镜系统
JP6177458B2 (ja) 2015-07-03 2017-08-09 オリンパス株式会社 画像処理装置及び内視鏡システム
CA2987058C (en) 2015-07-13 2019-03-19 Synaptive Medical (Barbados) Inc. System and method for providing a contour video with a 3d surface in a medical navigation system
US9958585B2 (en) 2015-08-17 2018-05-01 Microsoft Technology Licensing, Llc Computer vision depth sensing at video rate using depth from defocus
US10653375B2 (en) * 2015-09-01 2020-05-19 Koninklijke Philips N.V. Apparatus for displaying medical image data of a body part
EP3355769A4 (en) 2015-09-28 2020-02-05 Montefiore Medical Center METHODS AND DEVICES FOR PEROPERATORY VIEWING OF 3D PATIENT SURFACE IMAGES
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
WO2017059870A1 (en) 2015-10-09 2017-04-13 3Dintegrated Aps A laparoscopic tool system for minimally invasive surgery
US9955861B2 (en) 2015-10-16 2018-05-01 Ricoh Company, Ltd. Construction of an individual eye model using a plenoptic camera
US10402992B2 (en) 2015-10-16 2019-09-03 Capsovision Inc. Method and apparatus for endoscope with distance measuring for object scaling
WO2017075602A1 (en) 2015-10-31 2017-05-04 Children's National Medical Center Soft surgical tools
CA3004167C (en) * 2015-11-03 2019-02-05 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
US10188468B2 (en) 2016-02-25 2019-01-29 Synaptive Medical (Barbados) Inc. Focused based depth map acquisition
CN111329552B (zh) 2016-03-12 2021-06-22 P·K·朗 包括机器人的用于引导骨切除的增强现实可视化
EP3220351A1 (en) 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
CN116650106A (zh) 2016-03-14 2023-08-29 穆罕默德·R·马赫福兹 用于无线超声跟踪和通信的超宽带定位
US20170280970A1 (en) 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
WO2017180097A1 (en) 2016-04-12 2017-10-19 Siemens Aktiengesellschaft Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
US10375330B2 (en) 2016-05-27 2019-08-06 Verily Life Sciences Llc Systems and methods for surface topography acquisition using laser speckle
US20170366773A1 (en) 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
TWI597042B (zh) 2016-06-29 2017-09-01 Endoscopic with distance measuring function and distance measuring method
US10217235B2 (en) 2016-07-11 2019-02-26 Nri R&D Patent Licensing, Llc Advanced lensless light-field imaging systems and methods for enabling a wide range of entirely new applications
WO2018022523A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US9947099B2 (en) 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
US20180042466A1 (en) 2016-08-12 2018-02-15 The Johns Hopkins University Compact endoscope design for three-dimensional surgical guidance
US10204448B2 (en) 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
WO2018112424A1 (en) * 2016-12-16 2018-06-21 Intuitive Surgical Operations, Inc. Systems and methods for teleoperated control of an imaging instrument
WO2018154491A1 (en) 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
US10485629B2 (en) 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
US10572720B2 (en) 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
CN108694740A (zh) 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
CA2960528C (en) * 2017-03-08 2018-03-20 Synaptive Medical (Barbados) Inc. A depth-encoded fiducial marker for intraoperative surgical registration
US10262453B2 (en) 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
CA3074204A1 (en) 2017-08-28 2019-03-07 East Carolina University Multi-spectral physiologic visualization (mspv) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
WO2019236847A1 (en) 2018-06-08 2019-12-12 East Carolina University Determining peripheral oxygen saturation (spo2) and hemoglobin concentration using multi-spectral laser imaging (msli) methods and systems
EP3814754A4 (en) 2018-06-28 2022-05-04 Children's National Medical Center METHOD AND SYSTEM FOR DYE-FREE VISUALIZATION OF BLOOD FLOW AND TISSUE PERFUSION IN LAPAROSCOPY
US11850002B2 (en) * 2018-07-16 2023-12-26 International Business Machines Corporation Three-dimensional model for surgical planning
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
EP3847660A2 (en) 2018-09-05 2021-07-14 East Carolina University Systems for detecting vascular and arterial disease in asymptomatic patients and related methods
US11125861B2 (en) 2018-10-05 2021-09-21 Zoox, Inc. Mesh validation
US10823855B2 (en) 2018-11-19 2020-11-03 Fca Us Llc Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics
EP3903281A4 (en) 2018-12-28 2022-09-07 Activ Surgical, Inc. GENERATION OF A SYNTHETIC THREE-DIMENSIONAL IMAGE FROM PARTIAL DEPTH MAPS
CA3134066A1 (en) 2019-03-26 2020-10-01 East Carolina University Near-infrared fluorescence imaging for blood flow and perfusion visualization and related systems and computer program products
AU2020333232A1 (en) * 2019-08-16 2022-03-03 Body Vision Medical Ltd. Devices for use in interventional and surgical procedures and methods of use thereof
WO2021211986A1 (en) 2020-04-17 2021-10-21 Activ Surgical, Inc. Systems and methods for enhancing medical images
NL2026240B1 (en) 2020-08-07 2022-04-08 Limis Dev B V Device for coupling coherent light into an endoscopic system
NL2026505B1 (en) 2020-09-18 2022-05-23 Limis Dev B V Motion-compensated laser speckle contrast imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US20120268491A1 (en) 2011-04-21 2012-10-25 Microsoft Corporation Color Channels and Optical Markers

Also Published As

Publication number Publication date
JP2021531482A (ja) 2021-11-18
US20220117689A1 (en) 2022-04-21
CN112740666A (zh) 2021-04-30
WO2020018931A1 (en) 2020-01-23
KR20210035831A (ko) 2021-04-01
JP7297891B2 (ja) 2023-06-26
EP3824621A1 (en) 2021-05-26
US11179218B2 (en) 2021-11-23
US11857153B2 (en) 2024-01-02
CA3106823A1 (en) 2020-01-23
EP3824621A4 (en) 2022-04-27
US20210236226A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11903723B2 (en) Anatomical surface assessment methods, devices and systems
US20240102795A1 (en) Generation of one or more edges of luminosity to form three-dimensional models of scenes
US20180053335A1 (en) Method and Device for Displaying an Object
Maier-Hein et al. Comparative validation of single-shot optical techniques for laparoscopic 3-D surface reconstruction
US20170366773A1 (en) Projection in endoscopic medical imaging
CN106413510B (zh) 图像处理装置和图像处理方法
US11857153B2 (en) Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
US20150097931A1 (en) Calibration of 3d scanning device
JP2015100712A (ja) 光学認識機能を有する外科手術システム用の縫合針
Shademan et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation
Furukawa et al. Shape acquisition and registration for 3D endoscope based on grid pattern projection
US20150097968A1 (en) Integrated calibration cradle
WO2018230098A1 (ja) 内視鏡システム、内視鏡システムの作動方法
JP6968568B2 (ja) 形状計測システム、及び、形状計測方法
WO2020016886A1 (en) Systems and methods of navigation for robotic colonoscopy
US20150150645A1 (en) Optical sampling of surface points for medical navigation
US9536314B2 (en) Image reconstruction
Decker et al. Performance evaluation and clinical applications of 3D plenoptic cameras
NL2011735C2 (en) Method and system for imaging a volume of interest in a human or animal body.
Takeshita et al. 3-D shape measurement endoscope using a single-lens system
WO2022028718A1 (en) Real time augmentation
Lüdtke et al. Calibration of galvanometric laser scanners using statistical learning methods
Nonaka et al. Capturing a surgical area using multiple depth cameras mounted on a robotic mechanical system
EP3836154A1 (en) A method and an apparatus for imaging curved surfaces
WO2022272002A1 (en) Systems and methods for time of flight imaging

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant