KR101772187B1 - 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스 - Google Patents

이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR101772187B1
KR101772187B1 KR1020157032485A KR20157032485A KR101772187B1 KR 101772187 B1 KR101772187 B1 KR 101772187B1 KR 1020157032485 A KR1020157032485 A KR 1020157032485A KR 20157032485 A KR20157032485 A KR 20157032485A KR 101772187 B1 KR101772187 B1 KR 101772187B1
Authority
KR
South Korea
Prior art keywords
image data
stereoscopic
minimally invasive
invasive surgery
depth map
Prior art date
Application number
KR1020157032485A
Other languages
English (en)
Other versions
KR20150143703A (ko
Inventor
안톤 쉬크
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20150143703A publication Critical patent/KR20150143703A/ko
Application granted granted Critical
Publication of KR101772187B1 publication Critical patent/KR101772187B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 발명은 이미지 데이터(image data)의 입체적 묘사(stereoscopic depiction), 특히, 내시경(endoscope)에 의해 수행되는 최소 침습 수술(minimally invasive surgery) 동안의 이미지 정보(image information)의 3차원 묘사(three-dimensional depiction)를 위한 디바이스(device) 및 방법에 관한 것이다. 본 발명에 따르면, 내시경의 동작 부위가 먼저, 센서 디바이스(sensor device)에 의해 3차원들로 검출된다. 센서(sensor)로부터 포착된 3D-데이터(3D-data)로부터 입체적 이미지 데이터(stereoscopic image data)가 발생되어, 적절한 디스플레이 디바이스(display device) 상에서 시각화된다.

Description

이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스{METHOD AND DEVICE FOR STEREOSCOPIC DEPICTION OF IMAGE DATA}
본 발명은 이미지 데이터(image data)의 입체적 묘사(stereoscopic depiction)를 위한 방법 및 디바이스(device)에 관한 것으로, 특히 최소 침습 수술(minimally invasive surgery)에서의 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스에 관한 것이다.
의료 분야의 내시경 치료(endoscopic treatment)들 및 검사들은, 환자에 대한 절개 중재적 시술(open intervention)과 비교하여 상당히 더 순조롭고(gentle) 덜 정신 충격적인(traumatic) 치료를 가능하게 한다. 그러므로, 이러한 치료 방법들은 중요성이 점점 더 커지고 있다. 최소 침습 중재적 시술(minimally invasive intervention) 동안, 광학 및 수술 기구들(내시경들)은 오퍼레이터(operator)에 의해, 환자의 몸체 상의 하나 또는 둘 이상의 비교적 작은 액세스(access)들을 통해 환자의 몸체 내로 유입(introduce)된다. 그러므로, 오퍼레이터는 수술 기구들의 도움으로 검사 및 치료를 수행할 수 있다. 동시에, 이러한 절차는 광학 기구들을 통해 모니터링(monitoring)될 수 있다. 단순한 내시경들은 이러한 경우, 내시경의 접안렌즈(eyepiece)를 통한 직접적 뷰(direct view) 또는 내시경에 부착된 카메라(camera) 및 외부 모니터(external monitor)를 통한 수술받을 부위(region)의 관찰을 가능하게 한다. 이러한 단순한 내시경의 경우에서는 3차원 비전(three-dimensional vision)은 가능하지 않다. 내시경이 부가적으로, 제 2 방향으로부터의 오브젝트(object)의 관찰을 가능하게 하는 제 2 관찰 채널(observation channel)을 갖는 경우, 방향들 양쪽 모두가 오른쪽 눈 및 왼쪽 눈에 대한 2개의 접안렌즈들에 의해 외부로 이어진다는 점에서 3차원 비전이 그에 따라 가능해 질 수 있다. 단일 내시경의 경우에서, 관찰 채널(observation channel)들 사이의 거리가 일반적으로 매우 작기 때문에(통상적으로, 최대 6 mm), 이러한 입체 내시경(stereoscopic endoscope)은 또한, 미세 범위(microscopic range)의 매우 제한된 3차원 비전만을 전달한다. 그러므로, 대략 10 cm의 인간 눈 간격에 대응하는 3차원 관찰에 있어서, 더 이격된 액세스 채널(access channel)을 제공할 필요가 있다. 그러나, 부가적인 액세스 채널을 위해 환자의 몸체에 대한 추가의 절개(opening)는 환자의 추가의 정신적 충격(traumatization)과 관련될 수 있기 때문에, 부가적인 액세스 채널은 가능하다면 회피될 것이다.
그러므로, 단일 내시경을 통한 치료 부위의 3차원 시각화(three-dimensional visualization)가 최소 침습 수술에서 가능해질 경우, 2개의 관찰 빔 경로(observation beam path)들이 내시경의 단면 내측에서 외부로 이어져야 하거나 또는 대안적으로 앞서 서술된 바와 같이 서로 이격된 2개의 카메라들이 내시경 팁(endoscope tip) 상에 배열되어야 한다. 양쪽 경우들에서, 내시경의 매우 제한된 단면 때문에, 극히 낮은 3차원 해상도만이 가능하며, 이는 묘사 범위의 매우 제한된 해상도를 초래한다.
대안적으로, 디지털 시스템(digital system)에 의해 3차원적으로 환자의 내부의 치료 부위를 조사(survey)하는 것이 또한 가능하다. 참조문헌 DE 10 2006 017 003 A1은 예를 들어, 광학 깊이 데이터 포착(optical depth data acquisition)을 가진 내시경을 개시한다. 이러한 목적을 위해, 변조된 광이 치료 부위로 방출되고, 치료 공간의 깊이 데이터(depth data)가 수신된 광 신호에 기초하여 계산된다.
이러한 경우, 치료 공간의 내부의 이용가능한 깊이 데이터의 확인 후에도, 치료 부위로의 직접적인 3차원 뷰(three-dimensional view)는 오퍼레이터에게 계속 거부된다. 오퍼레이터는 2차원 디스플레이 스크린(two-dimensional display screen) 상에 묘사된 모델(model)에 기초하여 자신의 치료 단계들을 계획 및 실행해야 한다.
WO 2013/025530 A1은 수술 기구를 위한 이미지 포착 유닛(image acquisition unit)을 개시한다. 수술 기구는 서로 이격되어 배열되는 2개의 이미지 센서(image sensor)들을 포함한다. 이미지 센서들 양쪽 모두로부터의 데이터(data)를 프로세싱(processing)함으로써, 입체 이미지(stereoscopic image)가 준비될 수 있고, 입체 이미지는 디스플레이 디바이스(display device) 상에 묘사될 수 있다.
그러므로, 이미지 데이터의 개선된 입체적 묘사에 대한 요구가 존재하는데, 특히, 최소 침습 수술에서의 이미지 데이터의 입체적 묘사에 대한 요구가 존재한다.
따라서, 본 발명은, 독립 특허 청구항들의 특징들을 갖는, 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스를 제공한다.
삭제
본 발명의 개념은 먼저, 직접적으로 액세스가능(accessible)하지 않은 부위를 센서(sensor)를 통해 3차원적으로 포착하고 그리고 이러한 3차원적 포착으로부터 깊이 맵(depth map)의 형태의 디지털 모델(digital model)을 준비하는 것이다. 그 다음으로, 사용자의 눈 간격에 최적으로 적응되는 입체 이미지 데이터(stereoscopic image data)는, 이러한 깊이 맵으로부터 사용자를 위한 단순한 방식으로 자동으로 발생될 수 있다.
특수 센서 시스템(special sensor system)에 의한 관찰 부위의 3차원 조사를 통해, 예를 들어, 환자의 몸체 내부의 액세스불가 부위(inaccessible region)는 이러한 경우, 매우 작은 구조적 크기를 갖는 센서에 의해 포착될 수 있다. 그에 따라 포착된 데이터(data)는, 이러한 목적을 위해 특히 큰 단면을 갖는 내시경이 요구됨이 없이, 단순한 방식으로 외부로 인도될 수 있다.
그러므로, 이러한 목적을 위해 매우 큰 단면을 갖는 내시경 또는 환자의 몸체 내부의 수술 부위로의 추가의 액세스(access)들이 요구됨이 없이, 치료 부위의 뛰어난 공간적 포착이 달성된다.
추가의 이점은, 이러한 센서 시스템(sensor system)이, 매우 우수한 3차원 해상도로 그리고 그에 상응하게 많은 수의 픽셀(pixel)들로 포착될 그 부위를 포착할 수 있다는 것인데, 그 이유는 내시경 상의 센서가 단일 카메라만을 필요로 하기 때문이다. 그러므로, 환자의 정신적 충격이 거의 없이도, 모니터링(monitoring)될 수술 부위가 매우 우수한 이미지 품질(image quality)로 묘사될 수 있다.
추가의 이점은, 사용자의 눈 간격에 최적으로 적응되는, 모니터링될 부위의 입체적 시각화(stereoscopic visualization)가, 센서 시스템에 의해 제공된 3차원 데이터(three-dimensional data)로부터 발생될 수 있다는 것이다. 그러므로, 최적의 3차원 포착이 가능하도록, 이미지 데이터의 시각화가 사용자를 위해 준비될 수 있다.
입체 이미지 데이터의 계산이, 센서에 의한 오브젝트 표면(object surface)의 3차원 포착과 독립적으로 수행되는 점이 또한 유리하다. 그러므로, 내시경의 현재 포지션(position)으로부터 벗어난 치료 부위의 입체적 묘사가 사용자에게 또한 제공될 수 있다.
그러므로, 3차원적으로 포착된 오브젝트 데이터(object data)로부터의 깊이 맵의 적절한 준비를 통해, 실제 상태들에 매우 가까워진 치료 부위의 묘사가 사용자에게 제공될 수 있다.
일 실시예에 따르면, 계산된 입체 이미지 데이터는 사용자의 두 눈들의 2개의 뷰잉 방향(viewing direction)들에 대응한다. 사용자의 눈들의 뷰잉 방향들을 따르는 입체 이미지 데이터의 준비를 통해, 치료 부위의 최적의 입체적 시각화가 사용자에게 가능해질 수 있다.
일 실시예에서, 깊이 맵은 적어도 부분적으로 3차원적으로 포착된 표면의 공간 포인트(spatial point)들을 포함한다. 이러한 깊이 맵은 3차원적으로 포착된 표면의 매우 우수한 추가의 프로세싱(processing)을 가능하게 한다.
일 실시예에 따르면, 표면의 3차원 포착은 연속적으로 실행되고, 깊이 맵은 연속적으로 3차원적으로 포착된 표면에 기초하여 적응된다. 이러한 방식으로, 계속해서 깊이 맵을 보충하고 필요한 경우 또한 정정하는 것이 가능하여서, 관찰될 부위의 완전한 3차원 모델(complete three-dimensional model)이 연속적으로 구성된다. 그러므로, 어느 정도의 시간 후에, 섀도우(shadow)들 또는 유사한 영향들 때문에 초기에는 포착될 수 없었던 부위들에 관한 이미지 정보(image information)가 또한 제공될 수 있다.
3차원적으로 포착된 표면과 추가의 이미지 데이터의 조합을 통해, 입체 이미지 데이터의 특히 우수하고 현실적인 시각화가 가능해질 수 있다.
치료 전에 또는 치료 동안 준비된 그리고 관찰될 치료 부위와 관련되는 진단 이미지 데이터(diagnostic image data)는, 치료 부위의 준비 및 시각화를 위해 특히 가치 있는 정보의 아이템(item)들을 제공한다. 예를 들어, 이러한 이미지 데이터는 이미징 진단 디바이스(imaging diagnostic device)들 또는 저장 디바이스(storage device)에 의해 직접적으로 제공될 수 있다.
추가의 실시예에서, 이미지 데이터는 입체 이미지 데이터를 계산하기 위한 단계에서 미리 정의된 뷰잉 방향에 대해 계산된다. 이러한 뷰잉 방향은, 표면의 3차원 포착을 위한 센서를 가진 내시경의 현재 포지션과 상이할 수 있다. 따라서, 치료 부위의 특히 유연한 시각화가 달성될 수 있다.
특수한 실시예에서, 본 발명에 따른 방법은, 사용자 입력을 포착하는 단계를 더 포함하고, 미리 정의된 뷰잉 방향이 포착된 사용자 입력에 따라 적응된다. 그러므로, 사용자가 뷰잉 방향을 개별적으로 자신의 요구들에 적응시키는 것이 가능하다.
본 발명에 따른 디바이스(device)의 추가의 실시예에서, 센서 디바이스(sensor device)가 내시경 상에 또는 내시경 내에 배열된다.
특수한 실시예에서, 내시경은 적어도 하나의 수술 기구를 더 포함한다. 그러므로, 단일 액세스를 통해 동시에 수술적 중재적 시술(surgical intervention)을 실행하면서 이러한 중재적 시술을 시각적으로 모니터링하는 것이 동시에 가능하다.
본 발명의 일 실시예에서, 본 발명에 따른 디바이스는, 타임-오브-플라이트 카메라(time-of-flight camera) 및/또는 삼각측량(triangulation)을 위한 디바이스, 특히 능동 삼각측량(active triangulation)을 위한 디바이스를 갖는 센서 디바이스를 포함한다. 이러한 센서 디바이스들에 의해, 표면의 특히 우수한 3차원적 포착이 달성될 수 있다.
추가의 실시예에서, 센서 디바이스는 카메라, 바람직하게는 컬러 카메라(color camera)를 포함한다. 따라서, 표면의 3차원적 포착에 부가하여, 치료 부위의 시각화를 위해 이용되는 디지털 이미지 데이터(digital image data)가 또한 센서 디바이스에 의해 동시에 획득될 수 있다.
추가의 실시예에서, 이미지 데이터 발생기(image data generator)는 이미지 데이터를 미리 정의된 뷰잉 방향에 대해 계산한다.
특수한 실시예에서, 본 발명에 따른 디바이스는 사용자의 입력을 포착하도록 설계된 입력 디바이스(input device)를 더 포함하고, 이미지 데이터 발생기는 사용자의 입력에 기초하여 뷰잉 방향에 대한 입체 이미지 데이터를 계산한다.
추가의 특수한 실시예에서, 입력 디바이스는 이러한 경우, 사용자의 움직임, 특히 사용자에 의해 수행되는 제스처(gesture)를 포착한다. 이러한 움직임 또는 제스처는 바람직하게 카메라에 의해 포착된다.
본 발명의 실시예들의 추가의 특징들 및 이점들은 첨부 도면들을 참조하여 뒤따르는 설명으로부터 초래된다.
도면들에서:
도 1은 본 발명의 일 실시예에 따른 이미지 데이터의 입체적 묘사를 위한 디바이스의 개략도를 도시하고;
도 2는 추가의 실시예에 따라, 본 발명에 따른 디바이스의 컴포넌트(component)들의 개략도를 도시하고;
도 3 및 도 4는 입체적 시각화를 위한 모니터 엘리먼트(monitor element)들의 개략도들을 도시하고; 그리고
도 5는 본 발명의 추가의 실시예가 기초하는, 이미지 데이터의 입체적 묘사를 위한 방법의 개략도를 도시한다.
도 1은, 본 발명의 일 실시예에 따른 입체적 묘사를 위한 디바이스를 포함하는 내시경을 이용한 최소 침습 중재적 시술(minimally invasive intervention)의 개략도를 도시한다. 환자의 몸체(2)에서, 내시경(12)은 이러한 경우, 액세스(2d)를 통해 몸체(2b) 내로 유입된다. 이러한 경우, 치료 공간(2a)은 예를 들어, 액세스(2d)가 적절히 밀폐된 후에, 적절한 기체를 유입시킴으로써 넓어질 수 있다. 그러므로, 치료되는 오브젝트(2c)의 정면에 충분히 큰 치료 공간이 초래된다. 치료 공간(2a)에서, 한편으로는 센서 디바이스(10) 그리고 부가적으로는 하나 또는 둘 이상의 수술 기구들(11)이 내시경(12)을 통해 치료 공간으로 유입될 수 있다. 이러한 경우, 수술 기구들(11)은, 내부(2a)에서 치료를 수행하기 위해, 적절한 디바이스(11a)에 의해서 외부로부터 제어될 수 있다.
이러한 치료의 시각적 모니터링(visual monitoring)은 이러한 경우, 센서 디바이스(10)에 의해 수행된다. 센서 디바이스(10)는 이러한 경우, 치료 공간(2a)의 표면을 그리고 동시에, 특히 또한 치료되는 오브젝트(2c)의 표면을 3차원적으로 포착할 수 있는 센서이다. 센서 디바이스(10)는, 예를 들어, 타임-오브-플라이트(ToF; time-of-flight) 카메라의 원리에 따라 동작하는 센서일 수 있다. 이러한 경우, 변조된 광 펄스(light pulse)들이 광원으로부터 방출되고, 표면으로부터 산란 및 반사되는 광은 적절한 센서, 예를 들어, 카메라에 의해 분석된다. 그 다음으로, 광의 전파 속도에 기초하여 3차원 모델(three-dimensional model)이 준비될 수 있다.
대안적으로, 예를 들어, 센서 디바이스(10)는 또한, 치료 공간(2a)의 표면의 3차원적 위치를 확인하기 위해 삼각측량을 수행할 수 있다. 근본적으로, 이러한 삼각측량은 예를 들어, 2개의 개별 카메라들에 의한 패시브 삼각측량(passive triangulation)에 의해 수행될 수 있다. 그러나, 저-대조 표면(low-contrast surface)들(예를 들어, 간(liver))을 통한 패시브 삼각측량의 경우에서는 대응하는 문제를 해결하는 것이 어렵고 3D 데이터 밀도(3D data density)가 매우 낮기 때문에, 능동 삼각측량이 바람직하게 수행된다. 이러한 경우, 알려진 패턴(pattern)이 센서 디바이스(10)에 의해 치료 공간(2a)의 표면 상에 프로젝팅(projecting)되고, 동시에 표면이 카메라에 의해 기록된다. 표면 상에의 알려진 패턴의 프로젝션(projection)은 바람직하게, 가시광에 의해 수행된다. 그러나, 부가적으로 또는 대안적으로, 수술 부위는 또한, 가시적 파장 범위(visible wavelength range) 밖의 광을 이용하여, 예를 들어 적외선 또는 자외선 광을 이용하여 조명될 수 있다.
치료 공간(2a)의 표면 상에서 카메라에 의해 기록된 패턴과 프로젝터(projector)로부터 방출된 알려진 이상적 패턴의 비교를 통해, 치료 공간(2a)의 표면이 그에 따라 3차원적으로 포착되어 분석될 수 있다.
이러한 경우, 치료 공간(2a) 및 치료 공간(2a)의 표면은 또한, 동시에 또는 대안적으로 표면의 3차원 포착을 위해 카메라에 의해 통상적으로 포착될 수 있다. 이러한 방식으로, 치료 공간(2a)의 대응하는 컬러 또는 흑백 이미지(color or black-and-white image)가 포착될 수 있다. 이러한 경우, 통상의 이미지 데이터를 획득하기 위해, 치료 공간(2a)을 조명하기 위한 센서 디바이스(10)의 광원들이 바람직하게 또한 동시에 이용될 수 있다.
치료 공간(2a)의 표면의 3차원적 위치에 관해 센서 디바이스(10)에 의해 포착된 데이터, 및 또한 카메라에 의해 포착된 컬러 또는 흑백 이미지 데이터(color or black-and-white image data)는 외부에 공급되고, 그러므로 추가의 프로세싱, 특히 시각화를 위해 이용가능하다.
도 2는 예를 들어, 도 1과 함께 설명된 예로부터 발생된 바와 같은 입체 이미지 데이터의 시각화를 위한 디바이스의 개략도를 도시한다. 센서 디바이스(10)는 이러한 경우, 센서 디바이스(10)의 가시 범위(field of vision)에 로케이팅(locating)된 표면 및 공간에서의 그 표면의 개별적인 표면 포인트(surface point)들의 3차원적 위치를 포착한다. 앞서 설명된 바와 같이, 이러한 경우, 공간 포인트(spatial point)들의 3차원적 포착에 대해 부가적으로 또는 대안적으로, 이미지 데이터의 통상의 포착이 흑백 또는 컬러 카메라(black-and-white or color camera)에 의해 수행될 수 있다. 그 다음으로, 공간 포인트들의 3차원적 위치에 관한 정보는 깊이 맵을 준비하기 위한 디바이스(20)에 공급된다. 깊이 맵을 준비하기 위한 이 디바이스(20)는, 센서 디바이스(10)로부터의 표면 포인트들의 3차원적 위치에 관한 정보의 아이템들을 분석하고 그로부터 깊이 맵을 발생시키며, 깊이 맵은 센서 디바이스(10)에 의해 포착된 공간 포인트들의 3차원적 위치에 관한 정보를 포함한다.
센서 디바이스(10)가 제한된 가시 범위만을 갖고 부가적으로 일부 부분적 부위들이 또한 초기에는, 예를 들어, 치료 공간(2a)의 돌출부(protrusion)들의 결과로서의 섀도우들 때문에 포착될 수 없기 때문에, 치료 공간(2a)의 표면의 3차원적 포착의 시작시에, 깊이 맵은 초기에 더 큰 또는 더 작은 갭(gap)들을 가질 것이다. 센서 디바이스(10)에 의한 치료 공간(2a)의 표면의 추가의 연속적인 포착을 통해, 준비된 깊이 맵은 시간의 경과에 따라 그리고 특히 센서 디바이스(10)가 치료 공간(2a) 내부로 이동하는 경우 더욱더 완전해질 것이다. 그러므로, 예를 들어, 공간 포인트들이 가시 범위 외부에 또는 섀도우 뒤에 로케이팅되기 때문에 센서 디바이스(10)에 의해 현재 포착될 수 없는 그 공간 포인트들에 관한 정보의 아이템들은 또한, 약간의 시간 후에 이러한 깊이 맵에서 제공된다. 부가하여, 센서 디바이스(10)에 의한 표면의 연속적 포착을 통해, 표면의 변화가 또한 깊이 맵에서 정정될 수 있다. 그러므로, 깊이 맵은 항상, 치료 공간(2a)의 표면의 현재 존재하는 상태를 반영한다.
깊이 맵에 존재하는 치료 공간(2a)의 표면의 공간 포인트들은 텍스처링 디바이스(texturing device)(30)에 중계(relay)된다. 텍스처링 디바이스(30)는 선택적으로, 이러한 경우에서 깊이 맵으로부터의 정보의 아이템들을 내시경 흑백 또는 컬러 카메라(endoscopic black-and-white or color camera)의 이미지 데이터와 조합할 수 있다. 텍스처링 디바이스(30)는 깊이 맵의 공간 포인트들로부터 코히런트 표면(coherent surface)을 갖는 3차원 오브젝트(three-dimensional object)를 발생시킨다. 이러한 경우, 표면은 깊이 맵의 3차원 공간 데이터(three-dimensional spatial data)를 내시경 카메라 데이터(endoscopic camera data)와 조합함으로써 필요에 따라 적절하게 컬러링(coloring)되거나 셰이딩(shading)될 수 있다.
더욱이, 부가적인 진단 이미지 데이터를 또한 포함하는 것이 부가적으로 가능하다. 예를 들어, 수술 전에 치료 부위의 기록들이 미리 준비될 수 있다. 이미징 진단 방법(imaging diagnostic method)들, 예를 들어, 컴퓨터 토모그래피(CT; computer tomography), 자기 공명 토모그래피(MR 또는 MRT; magnetic resonance tomography), x-레이 픽처(x-ray picture)들, 초음파 검사, 또는 유사한 방법들이 이러한 목적을 위해 적절하다. 필요한 경우, 적절한 이미징 진단 방법들을 통한 치료 동안 이미지 발생 프로세스(image generation process)들에 또한 포함될 수 있는 정보의 부가적인 아이템들을 발생시키는 것이 또한 고려가능하다.
깊이 맵의 이미지 데이터 및 선택적으로 추가의 이미지 데이터로부터의 치료 공간(2a)의 표면의 텍스처링(texturing)이 텍스처링 디바이스(30)에서 수행된 후에, 그에 따라 프로세싱된(processed) 정보의 아이템들은 이미지 데이터 발생기(40)에 중계된다. 이러한 이미지 데이터 발생기(40)는 텍스처링된 3차원 정보(textured three-dimensional information)의 아이템들로부터 입체 이미지 데이터를 발생시킨다. 이러한 입체 이미지 데이터는 적어도 2개의 이미지(image)들을 포함하는데, 적어도 2개의 이미지들은 서로에 관해 다소 오프셋팅(offsetting)되고 인간 관찰자의 눈 간격을 고려한다. 이러한 경우, 두 눈들 사이에서 이용된 간격은 통상적으로 대략 80 mm이다. 이러한 경우, 관찰될 오브젝트가 사용자 눈들의 정면에 대략 25 cm에 로케이팅되는 것으로 가정된다면, 사용자는 특히 우수한 3차원 인상(three-dimensional impression)을 받는다. 그러나, 근본적으로, 관찰자에게 관찰될 오브젝트의 3차원 인상을 가능하게 하는 다른 파라미터(parameter)들이 또한 가능하다. 그러므로, 이미지 데이터 발생기(40)는 미리 정의된 뷰잉 방향으로부터 적어도 2개의 이미지 데이터 세트(image data set)들을 계산하고, 2개의 이미지 데이터 세트들의 뷰잉 방향들은 관찰자의 눈 간격에 의해 구별된다. 그에 따라 발생된 이미지 데이터는 이후에 시각화 디바이스(visualization device)(50)에 공급된다. 3차원 묘사를 위해 시각화 디바이스(50)에 더 추가의 정보 또는 데이터가 필요한 경우, 그 정보 또는 데이터가 또한 이미지 데이터 발생기(40)에 의해 발생되어 제공될 수 있다.
이러한 경우, 이미지 정보의 상이한 아이템들을 각각의 경우에서 관찰자의 두 눈들에 제공할 수 있는 모든 디바이스들이 시각화 디바이스(50)로서 적절하다. 예를 들어, 시각화 디바이스(50)는 사용자의 두 눈들에 대해 상이한 이미지 데이터를 디스플레잉(displaying)하는 3D 모니터(3D monitor) 또는 특수 안경(special spectacles)일 수 있다.
도 3은 3D 모니터의 제 1 실시예에 대한 픽셀들의 상세의 개략도를 도시한다. 이러한 경우에서, 왼쪽 눈에 대한 픽셀들(51) 및 오른쪽 눈에 대한 픽셀들(52)은 디스플레이 스크린(display screen) 상에 서로 교번적으로(alternately) 인접하게 배열된다. 이러한 픽셀들(51 및 52) 정면에 배열된 슬롯형 애퍼처(slotted aperture)(53) 때문에, 왼쪽 눈 및 오른쪽 눈은 이러한 경우에서 왼쪽 눈 및 오른쪽 눈에 대해 의도된 각각의 픽셀들만을 보는 한편, 사용자의 각각의 다른쪽 눈에 대한 픽셀들은, 각각의 뷰잉 방향의 결과로서 슬롯형 애퍼처(53)에 의해 커버링(covering)된다.
도 4는 3D 모니터의 대안적인 형태를 도시한다. 이러한 경우, 각각의 눈이 대응하는 눈을 위해 의도된 픽셀들만을 보도록 왼쪽 눈 및 오른쪽 눈에 대한 빔 경로(beam path)를 편향시키는 소형 렌즈들(small lenses)(54)은 각각의 경우에서 왼쪽 눈에 대한 픽셀들(51) 및 오른쪽 눈에 대한 픽셀들(52) 정면에 배열된다.
근본적으로, 모든 다른 유형들의 3D 가능 모니터(3D capable monitor)들이 부가적으로 또한 고려가능하며 적절하다. 따라서, 예를 들어, 각각의 경우에서 왼쪽 눈 및 오른쪽 눈에 대해 상이한 편광(polarization)을 갖는 광을 방출하는 모니터(monitor)들이 또한 이용될 수 있다. 그러나, 이러한 경우, 사용자는 적절한 편광 필터(polarization filter)를 갖는 안경을 착용해야 한다. 왼쪽 눈 및 오른쪽 눈에 대한 이미지 데이터를 교번적으로 출력하는 모니터들의 경우에서, 사용자는 또한, 교번적으로 디스플레잉되는 이미지들과 동기화되어 교번적으로 왼쪽 눈 및 오른쪽 눈에 대해 모니터 상의 뷰(view)만을 각각 릴리징(releasing)하는 적절한 셔터 안경(shutter spectacles)을 착용해야 한다. 그러나, 안경을 착용하는 것을 동반하는 편안함 손실(comfort loss)들 때문에, 도 3 및 도 4의 원리에 따라 동작하는 시각화 디바이스들은, 사용자가 특수 안경들을 착용할 것을 요구하는 디스플레이 시스템(display system)들보다 사용자에 의해 더 많이 받아들여질 것이다.
앞서 설명된 바와 같이, 깊이 맵 그리고 깊이 맵 다음의 텍스처링이 연속적으로, 점진적으로 완료되기 때문에, 치료 공간(2a)의 거의 완전한 모델(model)은 어느 정도의 시간 후에 제공되는데, 이는 또한, 현재 가시적이지 않은 그리고 셰이딩(shading)된 부위들에 관한 정보의 아이템들을 포함한다. 그러므로, 이미지 데이터 발생기(40)가, 센서 디바이스(10)의 현재 포지션에 대응하지 않는 관찰 각도로부터의 이미지 데이터를 발생시키는 것이 또한 가능하다. 그러므로, 예를 들어, 치료 공간(2a)의 묘사는 또한 시각화 디바이스(50) 상에 디스플레잉될 수 있으며, 시각화 디바이스(50)는 내시경의 단부 상에 선택적으로 배열된 센서 디바이스(10) 및 또한 수술 기구들(11)의 현재 포지션으로부터 다소 적극적으로 벗어난다. 깊이 맵이 충분히 완료된 후에, 사용자는 원하는 뷰잉 방향을 거의 임의적으로 명시할 수 있다. 그러므로, 특히, 깊이 맵으로부터의 정보의 3차원 아이템(three-dimensional item)들과 내시경 카메라(endoscopic camera)의 추가의 이미지 데이터 및 진단 이미지 정보(diagnostic image information)의 추가의 아이템들의 조합을 통해, 절개된 몸체(opened body)의 묘사에 매우 가까운 묘사가 시각화 디바이스(50) 상에서 사용자에게 디스플레잉될 수 있다.
그러므로, 수술적 중재적 시술 동안의 더 양호한 배향을 위해, 사용자는 자신의 희망들에 따라 뷰잉 방향을 임의적으로 명시 및 변경할 수 있다. 이는 특히 예를 들어, 치료될 장기 상에서 특정 포인트가 발견되는 경우 또는 대응하는 장기 상에서의 배향이 특정 혈관(blood vessel)들 등의 식별을 통해 지원되는 경우에 도움이 된다.
이러한 경우, 원하는 뷰잉 방향의 명시는 적절한 입력 디바이스(41)에 의해 수행될 수 있다. 이러한 입력 디바이스(41)는 예를 들어, 키보드(keyboard), 컴퓨터 마우스(computer mouse), 조이스틱(joystick), 트랙볼(trackball) 등일 수 있다. 그러나, 많은 경우들에서, 사용자가 보통, 수술 중재적 시술 동안 양손을 이용하여 내시경 및 내시경 상에 포함된 수술 수단(11)을 동작시켜야 하기 때문에, 사용자는 명시될 뷰잉 방향을 제어하기 위해 입력 디바이스(41)를 동작시킬 자유로운 손이 없을 것이다. 그러므로, 바람직한 실시예에서, 뷰잉 방향의 제어는 또한, 무접촉 방식으로 수행될 수 있다. 예를 들어, 뷰잉 방향의 제어는 음성 제어(speech control)를 통해 수행될 수 있다. 부가하여, 특수한 미리 정의된 움직임들에 의한 뷰잉 방향의 제어가 또한 가능하다. 예를 들어, 사용자는 특정 제스처들을 실행함으로써 원하는 뷰잉 방향을 제어할 수 있다. 특히, 사용자의 눈 움직임들이 모니터링되어 분석되는 것이 고려가능하다. 포착된 눈 움직임들에 기초하여, 입체적 묘사를 위해 뷰잉 방향이 그에 따라 적응된다. 그러나, 뷰잉 방향을 제어하기 위해 사용자의 다른 몸체 부분들을 모니터링하는 것이 또한 가능하다. 사용자의 이러한 움직임들 또는 제스처들은 바람직하게 카메라에 의해 모니터링되어 분석된다. 대안적으로, 음성 제어의 경우, 입력 디바이스(41)는 마이크로폰(microphone)일 수 있다. 그러나, 예를 들어, 발 등의 움직임에 의해, 미리 정의된 뷰잉 방향을 제어하기 위한 추가의 가능성들이 또한 고려가능하다.
도 5는 본 발명이 기초하는 바와 같은, 이미지 데이터의 입체적 묘사를 위한 방법(100)의 개략도를 도시한다. 제 1 단계(110)에서, 먼저, 치료 공간(2a)의 표면이 적어도 부분적으로 3차원적으로 포착된다. 앞서 설명된 바와 같이, 치료 공간(2a)의 표면의 이러한 3차원적 포착은 어떠한 임의적인 적절한 센서(10)에 의해 수행될 수 있다. 더욱이, 단계(120)에서, 오브젝트 표면의 3차원적 포착에 기초하여 깊이 맵이 준비된다. 이러한 준비된 깊이 맵은 3차원적으로 포착된 표면의 공간 포인트들을 포함한다. 센서 디바이스(10)가 제한된 뷰잉 각도(viewing angle)만을 갖고, 부가적으로 부분적인 부위들이 아마도 섀도우들로 인해 초기에 포착될 수 없을 수 있기 때문에, 그에 따라 준비된 깊이 맵은 초기에 시작시에는 불완전할 수 있다. 내시경 및 그에 따라 또한 센서 디바이스(10)를 치료 공간(2a) 내부에서 이동시킴으로써, 그 공간의 추가의 공간 포인트들이 연속적으로 3차원적으로 포착될 수 있고, 정보의 이러한 아이템들이 또한 깊이 맵에 통합될 수 있다. 포착된 표면 상에서의 변경들의 경우, 정보의 대응하는 아이템들이 또한 깊이 맵에서 정정될 수 있다.
적어도 부분적으로 3차원적으로 포착된 표면을 이용하여 깊이 맵이 준비된 후에, 단계(130)에서 깊이 맵에 존재하는 공간 포인트들을 이용하여 텍스처링이 수행된다. 선택적으로 제공된, 센서 디바이스(10)의 카메라로부터의 추가의 이미지 데이터 및/또는 컴퓨터 토모그래피, 자기 공명 토모그래피, 초음파검사, 또는 x-레이(x-ray)들과 같은 이미징 방법(imaging method)들로부터의 진단 이미지 정보의 추가의 아이템들이 또한 이러한 텍스처링에 통합될 수 있다. 이러한 방식으로, 초기에, 치료 공간(2a)의 표면의 3차원 컬러링된 또는 흑백 이미지(three-dimensional colored or black-and-white image)가 초래된다. 그 다음으로, 단계(140)에서 입체 이미지 데이터가 이와 같이 텍스처링된 깊이 맵으로부터 계산된다. 이러한 입체 이미지 데이터는 미리 정의된 뷰잉 방향으로부터의 적어도 2개의 묘사들을 포함하고, 그 묘사는 관찰자의 눈 간격에 따라 상이하다. 마지막으로, 단계(150)에서, 이전에 계산된 입체 이미지 데이터가 적절한 디스플레이 디바이스(display device) 상에서 시각화된다.
이러한 경우, 단계(140)에서의 입체 이미지 데이터의 계산이 기초하는 뷰잉 방향은 임의적으로 적응될 수 있다. 특히, 입체 이미지 데이터의 계산을 위한 뷰잉 방향은 센서 디바이스(10)의 뷰잉 방향과 상이할 수 있다. 단계(140)에서의 입체 이미지 데이터의 계산이 기초하는 뷰잉 방향을 설정하기 위해, 본 발명에 따른 방법은 추가의 단계를 포함할 수 있으며, 추가의 단계에서 사용자 입력이 포착되고 뷰잉 방향은 사용자 입력에 따른 입체 이미지 데이터의 계산을 위해 사용자 입력에 적응된다. 이러한 경우, 뷰잉 방향을 적응시키기 위한 사용자 입력은 바람직하게 무접촉 방식으로 수행된다. 예를 들어, 사용자 입력은 미리 정의된 사용자 제스처(user gesture)를 분석함으로써 수행될 수 있다.
요약하면, 본 발명은 이미지 데이터의 입체적 묘사를 위한, 특히 내시경에 의해 수행되는 최소 침습 수술 동안의 이미지 정보의 아이템들의 3차원 묘사를 위한 방법 및 디바이스에 관한 것이다. 이러한 경우, 먼저 내시경의 동작 부위가 센서 디바이스에 의해 3차원적으로 포착된다. 센서들에 의해 획득된 3D 데이터(3D data)로부터 입체 이미지 데이터가 발생되어, 적절한 디스플레이 디바이스 상에서 시각화된다.

Claims (15)

  1. 최소 침습 수술(minimally invasive surgery)에서의 이미지 데이터(image data)의 입체적 묘사(stereoscopic depiction)를 위한 방법(100)으로서,
    표면을 3차원적으로 검출하도록 구성된 센서 디바이스(10)를 이용하여, 표면의 적어도 부분적 3차원 포착을 하는 단계(110);
    적어도 부분적으로 3차원적으로 포착된 표면의 깊이 맵(depth map)을 준비하는 단계(120);
    준비된 깊이 맵을 텍스처링(texturing)하는 단계(130);
    텍스처링(texturing)된 깊이 맵으로부터 입체 이미지 데이터(stereoscopic image data)를 계산하는 단계(140);
    계산된 입체 이미지 데이터를 시각화(visualization)하는 단계(150);
    이미지 정보(image information)의 추가의 아이템(item)들을 제공하는 단계 ― 상기 이미지 정보의 추가의 아이템들은 컴퓨터 토모그래피(computer tomography), 자기 공명 토모그래피(magnetic resonance tomography), x-레이 픽처(x-ray picture), 또는 초음파 검사(sonography) 중 적어도 하나로부터의 진단 이미지 데이터(diagnostic image data)를 포함함 ―;
    상기 이미지 정보의 추가의 아이템들을 포착된 3차원 표면과 조합하는 단계
    를 포함하고,
    상기 적어도 부분적 3차원 포착(110) 동안, 상기 센서 디바이스(10)는 능동 삼각측량(active triangulation)을 이용하여 상기 표면을 3차원적으로 검출하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 방법(100).
  2. 제 1 항에 있어서,
    상기 계산된 입체 이미지 데이터는 사용자의 두 눈들의 2개의 뷰잉 방향(viewing direction)들에 대응하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 방법(100).
  3. 제 1 항에 있어서,
    상기 깊이 맵은 상기 적어도 부분적으로 3차원적으로 포착된 표면의 공간 포인트(spatial point)들을 포함하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 방법(100).
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 표면의 3차원 포착을 하는 단계(110)는 연속적으로 실행되고, 그리고
    상기 깊이 맵은 상기 표면의 연속적 3차원 포착에 기초하여 적응되는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 방법(100).
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 입체 이미지 데이터를 계산하는 단계는 상기 이미지 데이터를 미리 정의된 뷰잉 방향에 대해 계산하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 방법(100).
  6. 제 5 항에 있어서,
    사용자 입력을 포착하는 단계
    를 더 포함하고,
    상기 미리 정의된 뷰잉 방향은 포착된 사용자 입력에 기초하여 적응되는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 방법(100).
  7. 최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 디바이스(device)(1)로서,
    표면을 적어도 부분적으로 3차원적으로 포착하도록 설계된 센서 디바이스(sensor device)(10);
    적어도 부분적으로 3차원적으로 포착된 표면으로부터 깊이 맵을 준비하도록 설계된, 깊이 맵을 준비하기 위한 디바이스(20);
    준비된 깊이 맵을 텍스처링하도록 설계된 텍스처링 디바이스(texturing device)(30);
    텍스처링된 깊이 맵으로부터 입체 이미지 데이터를 계산하도록 설계된 이미지 데이터 발생기(image data generator)(40); 및
    계산된 입체 이미지 데이터를 시각화하도록 설계된 시각화 디바이스(visualization device)(50)
    를 포함하고,
    상기 디바이스(1)는 추가로, 컴퓨터 토모그래피, 자기 공명 토모그래피, x-레이 픽처, 또는 초음파 검사 중 적어도 하나로부터의 진단 이미지 데이터를 포함하는 이미지 정보의 추가의 아이템들을 제공하도록, 그리고 상기 이미지 정보의 추가의 아이템들을 포착된 3차원 표면과 조합하도록 설계되고,
    상기 센서 디바이스(10)는 능동 삼각측량 디바이스를 포함하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 디바이스(1).
  8. 제 7 항에 있어서,
    상기 센서 디바이스(10)는 내시경(endoscope)(12)에 배열되는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 디바이스(1).
  9. 제 8 항에 있어서,
    상기 내시경(12)은 적어도 하나의 수술 기구(surgical instrument)(11)를 더 포함하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 디바이스(1).
  10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 이미지 데이터 발생기(40)는 상기 이미지 데이터를 미리 정의된 뷰잉 방향에 대해 계산하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 디바이스(1).
  11. 제 10 항에 있어서,
    사용자의 입력을 포착하도록 설계된 입력 디바이스(input device)(41)
    를 더 포함하고,
    상기 이미지 데이터 발생기(40)는 상기 입체 이미지 데이터를 상기 사용자의 입력에 기초하는 뷰잉 방향에 대해 계산하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 디바이스(1).
  12. 제 11 항에 있어서,
    상기 입력 디바이스(41)는 상기 사용자의 움직임 또는 제스처(gesture)를 포착하는,
    최소 침습 수술에서의 이미지 데이터의 입체적 묘사를 위한 디바이스(1).
  13. 삭제
  14. 삭제
  15. 삭제
KR1020157032485A 2013-04-17 2014-04-10 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스 KR101772187B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013206911.1A DE102013206911A1 (de) 2013-04-17 2013-04-17 Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
DE102013206911.1 2013-04-17
PCT/EP2014/057231 WO2014170194A1 (de) 2013-04-17 2014-04-10 Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten

Publications (2)

Publication Number Publication Date
KR20150143703A KR20150143703A (ko) 2015-12-23
KR101772187B1 true KR101772187B1 (ko) 2017-08-25

Family

ID=50513225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157032485A KR101772187B1 (ko) 2013-04-17 2014-04-10 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스

Country Status (7)

Country Link
US (1) US20160081759A1 (ko)
EP (1) EP2967278A1 (ko)
JP (1) JP6116754B2 (ko)
KR (1) KR101772187B1 (ko)
CN (1) CN105208909B (ko)
DE (1) DE102013206911A1 (ko)
WO (1) WO2014170194A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6168878B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
KR102188334B1 (ko) * 2015-12-23 2020-12-09 한국전자기술연구원 깊이 측정 센서를 이용한 수술 동작 분석 장치 및 방법
US10188468B2 (en) 2016-02-25 2019-01-29 Synaptive Medical (Barbados) Inc. Focused based depth map acquisition
CN106308730B (zh) * 2016-11-14 2018-05-29 中国科学院深圳先进技术研究院 一种腹腔镜系统
DE102019100820A1 (de) * 2019-01-14 2020-07-16 Lufthansa Technik Aktiengesellschaft Verfahren und Vorrichtung zur Inspektion schwer erreichbarer Komponenten
CN109840943B (zh) * 2019-01-25 2021-06-22 天津大学 三维可视化分析方法及系统
KR102253768B1 (ko) * 2019-04-03 2021-05-24 장호열 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법
CN112741689B (zh) * 2020-12-18 2022-03-18 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统
CN114332033A (zh) * 2021-12-30 2022-04-12 小荷医疗器械(海南)有限公司 基于人工智能的内窥镜图像处理方法、装置、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005169116A (ja) * 2003-12-08 2005-06-30 Siemens Ag 融合画像表示方法
US20110001957A1 (en) * 2009-07-04 2011-01-06 Sick Ag Distance-measuring optoelectronic sensor
WO2013025530A1 (en) * 2011-08-12 2013-02-21 Intuitive Surgical Operations, Inc. An image capture unit in a surgical instrument

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19638758A1 (de) * 1996-09-13 1998-03-19 Rubbert Ruedger Verfahren und Vorrichtung zur dreidimensionalen Vermessung von Objekten
US6379302B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
WO2003051200A2 (en) * 2001-12-14 2003-06-26 Koninklijke Philips Electronics N.V. Method, system and computer program of visualizing the surface texture of the wall of an internal hollow organ of a subject based on a volumetric scan thereof
DE10315242B4 (de) * 2003-04-03 2006-02-23 Siemens Ag Verfahren und Vorrichtung zur realitätsnahen dreidimensionalen Bildgebung
DE10359925A1 (de) * 2003-12-19 2005-07-14 Siemens Ag Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung und Computerprogrammprodukt
FR2872522B1 (fr) * 2004-07-02 2006-09-15 Lee Sara Corp Procede de tricotage en dejauge et article ainsi obtenu
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
JP2006280921A (ja) * 2005-03-07 2006-10-19 Hitachi Medical Corp 磁気共鳴イメージング装置
DE102005023195A1 (de) * 2005-05-19 2006-11-23 Siemens Ag Verfahren zur Erweiterung des Darstellungsbereiches einer Volumenaufnahme eines Objektbereiches
DE102006017003A1 (de) 2006-04-11 2007-10-18 Friedrich-Alexander-Universität Erlangen-Nürnberg Endoskop zur Tiefendatenakquisition
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
CN102172330B (zh) * 2007-07-10 2013-03-27 株式会社东芝 X射线摄影装置以及图像处理显示装置
DE102008062995A1 (de) * 2008-12-23 2010-06-24 Sick Ag 3D-Kamera zur Raumüberwachung
CN101849813A (zh) * 2009-03-31 2010-10-06 上海交通大学医学院附属新华医院 三维心脏超声虚拟内窥镜系统
DE102009043523A1 (de) * 2009-09-30 2011-04-07 Siemens Aktiengesellschaft Endoskop
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
DE102011119608B4 (de) * 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
DE102012220116A1 (de) * 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
CN105592784A (zh) * 2013-07-18 2016-05-18 弩莱传感器有限公司 用于监测、诊断的医疗数据获取系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005169116A (ja) * 2003-12-08 2005-06-30 Siemens Ag 融合画像表示方法
US20110001957A1 (en) * 2009-07-04 2011-01-06 Sick Ag Distance-measuring optoelectronic sensor
WO2013025530A1 (en) * 2011-08-12 2013-02-21 Intuitive Surgical Operations, Inc. An image capture unit in a surgical instrument

Also Published As

Publication number Publication date
JP6116754B2 (ja) 2017-04-19
CN105208909B (zh) 2018-03-23
US20160081759A1 (en) 2016-03-24
DE102013206911A1 (de) 2014-10-23
CN105208909A (zh) 2015-12-30
EP2967278A1 (de) 2016-01-20
WO2014170194A1 (de) 2014-10-23
JP2016524478A (ja) 2016-08-18
KR20150143703A (ko) 2015-12-23

Similar Documents

Publication Publication Date Title
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
US20210243425A1 (en) Optical imaging system and methods thereof
CN106455944B (zh) Q3d模型与3d图像的对准
JP6609616B2 (ja) マルチポートの視点からの手術シーンの定量的な３次元イメージング
JP6242569B2 (ja) 医用画像表示装置及びｘ線診断装置
CN106456271B (zh) 手术植入物的定量三维成像和打印
US9220399B2 (en) Imaging system for three-dimensional observation of an operative site
CN106456267A (zh) 器械在视野中的定量三维可视化
CN106535812A (zh) 带有基于定量三维成像的触觉反馈的手术系统
WO2018012080A1 (ja) 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
WO2017222673A1 (en) Projection in endoscopic medical imaging
JP3707830B2 (ja) 術式支援用画像表示装置
JP5984235B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP2015531271A (ja) 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
WO2017008137A1 (en) System and method for providing a contour video with a 3d surface in a medical navigation system
CN108778143B (zh) 用于将腹腔镜图像与超声图像进行叠加的计算设备
US11045090B2 (en) Apparatus and method for augmented visualization employing X-ray and optical data
Reiter et al. Surgical structured light for 3D minimally invasive surgical imaging
CN113038864A (zh) 配置为生成三维信息并计算估计区域的医学观察系统和相应方法
US20220215539A1 (en) Composite medical imaging systems and methods
WO2022036302A1 (en) Systems and methods for superimposing virtual image on real-time image
US10951837B2 (en) Generating a stereoscopic representation
JP2007289569A (ja) 医用画像処理装置及び医用画像処理方法
EP3595299A1 (en) Medical image display control device, medical image display device, medical information processing system, and medical image display control method
US20140139646A1 (en) Method and apparatus for outputting image, method and system for providing image using the same, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant