RU2529380C2 - Оценка глубины в реальном времени по монокулярным изображениям эндоскопа - Google Patents

Оценка глубины в реальном времени по монокулярным изображениям эндоскопа Download PDF

Info

Publication number
RU2529380C2
RU2529380C2 RU2011148415/14A RU2011148415A RU2529380C2 RU 2529380 C2 RU2529380 C2 RU 2529380C2 RU 2011148415/14 A RU2011148415/14 A RU 2011148415/14A RU 2011148415 A RU2011148415 A RU 2011148415A RU 2529380 C2 RU2529380 C2 RU 2529380C2
Authority
RU
Russia
Prior art keywords
depth
endoscopic
endoscope
anatomical region
monocular
Prior art date
Application number
RU2011148415/14A
Other languages
English (en)
Other versions
RU2011148415A (ru
Inventor
Александра ПОПОВИЧ
Original Assignee
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В.
Publication of RU2011148415A publication Critical patent/RU2011148415A/ru
Application granted granted Critical
Publication of RU2529380C2 publication Critical patent/RU2529380C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

Группа изобретений относится к медицине. При использовании эндоскопических хирургических способа и системы происходит перемещение эндоскопа к целевому местоположению в анатомической области тела и генерирование множества эндоскопических видеокадров во время перемещения эндоскопа к целевому местоположению, причем эндоскопические видеокадры иллюстрируют монокулярные эндоскопические изображения анатомической области. Для определения в реальном времени глубины объекта на монокулярных эндоскопических изображениях (например, глубины бронхиальной стенки на монокулярных эндоскопических изображениях бронхиолы) происходит определение оптического потока одной или нескольких точек изображения на временной последовательности кадров монокулярных эндоскопических изображений анатомической области и определение поля глубины, показывающего глубину объекта на монокулярных эндоскопических изображениях, как функции оптического потока точки (точек) изображения. Группа изобретений позволяет получить карту глубины объекта для восприятия хирургом. 2 н. и 13 з.п. ф-лы, 8 ил.

Description

Группа изобретений главным образом относится к минимально инвазивным хирургическим вмешательствам при участии эндоскопа. Настоящее изобретение конкретно относится к оценке определению в реальном времени глубины объектов, изображенных на изображениях, полученных с эндоскопа.
Обычно при минимально инвазивном хирургическом вмешательстве применяют эндоскоп, который представляет собой длинную гибкую или твердую трубку, обладающую способностью получать изображения. После введения в тело через естественное отверстие или маленький разрез эндоскоп выдает изображение области интереса, которое может быть просмотрено через окуляр или на экране, в то время как хирург проводит операцию. Для хирургического вмешательства существенной является информация о глубине объекта (объектов) на изображениях, которая сможет позволить хирургу перемещать эндоскоп, в то же время обходя объект(ы), и облегчит отслеживание в реальном времени местоположения эндоскопа. Вместе с тем кадры эндоскопического изображения являются двухмерными, и поэтому хирург может потерять восприятие глубины объекта (объектов), видимого на кадрах изображений.
Настоящее изобретение предлагает способ использования эндоскопических видеокадров от монокулярных эндоскопических изображений, для генерирования карты глубины, несмотря на двухмерную ограниченность эндоскопических видеокадров.
Одной из форм настоящего изобретения является система для минимально инвазивной хирургии, использующая эндоскоп и эндоскопический хирургический блок управления. Во время работы эндоскоп генерирует множество эндоскопических видеокадров по мере перемещения эндоскопа к целевому местоположению в анатомической области тела, причем эндоскопические видеокадры иллюстрируют монокулярные эндоскопические изображения анатомической области. Для оценки в реальном времени глубины объекта на монокулярных эндоскопических изображениях (например, формы бронхиальной стенки на монокулярных эндоскопических изображениях бронхиолы) эндоскопический хирургический блок управления получает эндоскопические видеокадры по мере перемещения эндоскопа к целевому местоположению для оценки поля глубины, показывающего глубину объекта на монокулярных эндоскопических изображениях анатомической области, как функции оптического потока точки (точек) изображения во временной последовательности кадров монокулярных эндоскопических изображений анатомической области.
Второй формой настоящего изобретения является эндоскопический хирургический способ, включающий в себя перемещение эндоскопа к целевому местоположению в анатомической области тела и генерировании множества эндоскопических видеокадров по мере перемещения эндоскопа к целевому местоположению, причем эндоскопические видеокадры иллюстрируют монокулярные эндоскопические изображения анатомической области. Для оценки в реальном времени глубины объекта на монокулярных эндоскопических изображениях (например, формы бронхиальной стенки на монокулярных эндоскопических изображениях бронхиолы), указанный способ, кроме того, включает в себя генерирование оптического потока одной или нескольких точек изображения на временной последовательности кадров монокулярных эндоскопических изображений анатомической области и оценку поля глубины, показывающего глубину точки (точек) изображения на монокулярных эндоскопических изображениях, как функцию оптического потока точки (точек) изображения.
На фиг.1 изображен пример варианта осуществления системы минимально инвазивной хирургии в соответствии с настоящим изобретением.
На фиг.2 изображен пример блок-схемы, представляющей пример варианта осуществления способа оценки глубины в соответствии с настоящим изобретением.
На фиг.3 изображена блок-схема, представляющая первый пример варианта осуществления способа оценки глубины, изображенного на фиг.2, в соответствии с настоящим изобретением.
На фиг.4 изображен пример применения блок-схемы, изображенной на фиг.3.
На фиг.5 изображен пример оптического потока, известный в уровне техники.
На фиг.6 изображен пример поля глубины, известный в уровне техники.
На фиг.7 изображен пример карты глубины, известный в уровне техники.
На фиг.8 изображена блок-схема, представляющая второй пример варианта осуществления способа оценки глубины, изображенного на фиг.2, в соответствии с настоящим изобретением.
Как показано на фиг.1, система 10 минимально инвазивной хирургии настоящего изобретения использует эндоскоп 20 и эндоскопический хирургический блок 30 управления.
Эндоскоп 20 широко определен здесь как любое устройство, конструктивно сконфигурированное для внутреннего получения изображения анатомической области тела (например, человека или животного) с помощью оптоволокна, линз, миниатюрных (например, на основе ПЗС) систем получения изображений или тому подобное. Примеры эндоскопа 20 включают в себя, но не ограничиваются, любой тип скопа (например, бронхоскоп, колоноскоп, лапароскоп и т.д.) и любое устройство, похожее на скоп, которое оснащено системой изображения (например канюлю получения изображений).
Внешнее устройство 31 получения изображений блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для получения внешних изображений анатомической области тела. Примеры внешнего устройства 31 для получения изображений включают в себя, но не ограничиваются, устройство компьютерной томографии, устройство магнитно-резонансной томографии, ультразвуковое устройство и рентгеновское устройство.
Эндоскопические устройство 32 планирования траектории блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для предоперационного планирования кинематической траектории для достижения целевого местоположения в анатомической области тела с целью выбора конфигурации эндоскопа 20 (например, конфигурации канюли получения изображений) и/или с целью управления эндоскопом 20 в процессе достижения целевого местоположения (например осуществления управления бронхоскопом). В контексте, где эндоскоп 20 представляет собой бронхоскоп или кинематически похожий скоп, техника планирования траектории, предлагаемая международной заявкой WO 2007/042986 А2, Trovato et al., опубликованной 17 апреля 2007 г. и озаглавленной “3D Tool Path Planning, Simulation and Control System”, может использоваться устройством 32 для генерирования кинематически корректной траектории для эндоскопа 20 в анатомической области тела (например, легких) в соответствии с 3D набором данных анатомической области, полученных внешним устройством 31 получения изображений. В контексте, где эндоскоп 20 представляет собой составную канюлю получения изображений или кинематически похожее устройство, устройством 32 может использоваться способ планирования траектории/выбора конфигурации составной канюли, предлагаемый международной заявкой WO 2008/032230 A1, Trovato et al., опубликованной 20 марта 2008 г. и озаглавленной “Active Cannula Configuration For Minimally Invasive Surgery”, для того чтобы генерировать кинематически корректную конфигурацию для эндоскопа 20 для достижения целевого местоположения в анатомической области тела (например, легких) в соответствии с 3D набором данных анатомической области, полученных внешним устройством для получения изображений 31.
Эндоскопическое устройство 33 слежения блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для отслеживания местоположения эндоскопа 20 в анатомической области тела. Одним из примеров эндоскопического устройства 33 слежения является блок слежения, основанного на изображениях, предлагаемый предварительной патентной заявкой США №61/106669 (номер в реестре заявителя 010259US1), Trovato et al., внесенной в реестр 20 октября 2008 г. и озаглавленной “Image-Based Localization Method and System”. Другим примером эндоскопического устройства 33 слежения является оптическое устройство слежения, предлагаемое патентом США №6135946, Konen et al., выданным 4 октября 2004 г. и озаглавленным “Method and System for Image-Guided Interventional Endoscopic Procedures”. Также примером эндоскопического устройства 33 слежения является любой коммерчески доступный электромагнитный блок слежения, такой как, например, электромагнитный блок слежения, коммерчески доступный как система inReach™ от superDimension, Inc.
Устройство 34 оценки глубины блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для оценки поля глубины из схемы актуального движения точек/элементов изображения во временной последовательности кадров, полученных эндоскопом 20 (т.е., двух или более изображениях, соответствующих любому типу временной последовательности). На практике устройство 34 оценки глубины может использоваться блоком 30 для оценки поля глубины, для того чтобы облегчить эндоскопическому устройству 32 планирования траектории генерирование предоперационной конфигурации эндоскопа 20 для достижения целевого местоположения в анатомической области и/или создание предоперационного плана кинематической траектории для управления эндоскопом 20 при достижении целевого местоположения. Кроме того, устройство 34 оценки глубины может использоваться на практике блоком 30 для оценки поля глубины, для того чтобы облегчить регистрацию эндоскопического изображения от эндоскопа 20 с помощью предоперационных изображений, полученных устройством 31, и/или для того чтобы улучшить отслеживание местоположения эндоскопа 20 в реальном времени в анатомической области при перемещении эндоскопа 20 к целевому местоположению. Более того, на практике, устройство 34 оценки глубины может работать независимо от других устройств блока 30 или быть включено в одно из других устройств блока 30.
Блок-схема 40, как показано на фиг.2, представляет способ оценки глубины настоящего изобретения, как он осуществляется устройством 34 оценки глубины (фиг.1). Для данного способа устройство 34 оценки глубины начинает со стадии S41 блок-схемы 40, для того чтобы определить оптический поток движения точек/элементов изображения во временной последовательности кадров монокулярных эндоскопических изображений, полученных эндоскопом 20. Последовательно или одновременно с выполнением стадии S41, устройство 34 оценки глубины переходит к стадии S42 блок-схемы 40, для того чтобы оценить поле глубины из оптического потока, где поле глубины показывает глубину одного или нескольких объектов на монокулярных эндоскопических изображениях, и оценку поля глубины используют для отображения карты глубины на стадии S43 блок-схемы 40.
Блок-схема 50, как показано на фиг.3, представляет пример варианта осуществления блок-схемы 40 (фиг.2). А именно, обнаружение оптического потока устройством 34 включает в себя генерирование векторного поля, включающего множество векторов, на стадии S52 блок-схемы 50, причем каждый вектор представляет движение определенной точки изображения на монокулярных эндоскопических изображениях (например, между двумя монокулярными эндоскопическими изображениями). Например, как показано на фиг.4, оптический поток движения точек/элементов изображения для каждого эндоскопического видеокадра во временной последовательности 22 кадров бронхиол 61 пациента 60, полученных эндоскопом 20 во время движения эндоскопа 20 по эндоскопической траектории 21 в бронхиолах 61, можно определить с помощью векторов, представляющих движение точек изображения на монокулярных эндоскопических изображениях (например, векторное поле 70, как показано на фиг.5).
Кроме того, скорость эндоскопа 20 между двумя эндоскопическими видеокадрами можно вычислить из относительных местоположений эндоскопа 20 на данных кадрах, отслеженных эндоскопическим устройством 33 слежения. Данные кадры могут быть последовательными или разделенными некоторым промежутком времени, принимая предположение о неподвижности между кадрами объекта, наблюдаемого с помощью эндоскопа 20. При заданной скорости эндоскопа 20, поле глубины можно оценить из точки на оптическом потоке, которая не перемещается на последовательных срезах, известной как фокус расширения (“FOE”), принимая во внимание тот факт, что оптическая ось эндоскопа 20 совпадает с направлением его движения и, следовательно, FOE находится на линии движения эндоскопа 20. Информацию о глубине для каждой точки можно вычислить, зная (1) расстояние D каждой точки от FOE, как определено на стадии S52 блок-схемы 50, (2) амплитуду V оптического потока в каждой точке и (3) скорость v эндоскопа 20. А именно, устройство 34 оценки глубины вычисляет информацию о глубине для каждой точки изображения на стадии S53 блок-схемы 50 в соответствии со следующим уравнением [1]:
Figure 00000001
где Z - глубина точки изображения. В этом случае местоположения Х и Y можно вычислить из собственных параметров эндоскопа 20 (например, фокальной точки и т.д.).
Например, как показано на фиг.4, эндоскопическое устройство 33 слежения предоставляет отслеживаемые данные 35 на устройство 34 оценки глубины, что позволяет устройству 34 оценки глубины определить скорость v эндоскопа 20 при генерировании временной последовательности 23 кадров. Соответственно, на основании данных о расстоянии D каждой точки изображения от идентифицированного FOE на векторном поле и амплитуде V оптического потока в каждой точке, устройство 34 оценки глубины вычисляет глубину Z для каждой точки в вычисленном векторном поле временной последовательности 23 кадров, для того чтобы оценить поле 36 глубины (например, поле 71 глубины, показанное на фиг.6) и создать карту 37 глубины (например, кодированное цветом поле 72 глубины, показанное на фиг.7).
Блок-схема 80, как показано на фиг.8, представляет другой вариант осуществления блок-схемы 40 (фиг.2). Блок-схема 80 основана на стереоскопическом просмотре двух снимков одного и того же плана (т.е. двух эндоскопических видеокадров, полученных через небольшой промежуток времени). При этом после генерирования векторного поля на стадии стадия S81 блок-схемы 80 и учитывая, что эндоскоп 20 отслеживается устройством 33, также известны относительные местоположения эндоскопа 20 для двух видов. В этом случае координатная система привязывается к расположению камеры при создании первого снимка. Следовательно, известное расположение, в котором генерируется второй снимок, относительно первого снимка определяется 3×3 матрицей поворота R и 3×1 вектором перемещения t. Кроме того, собственную 3×3 матрицу камеры К можно определить, учитывая, что собственные параметры камеры эндоскопа 20 известны (например, из технического описания камеры или из известного способа калибровки). Из этих данных, стадия S82 блок-схемы 80 осуществляет вычисление из указанных данных 4×4 проекционных матриц для первого снимка P1 и второго снимка P2 в соответствии со следующими уравнениями [2] и [3]:
Figure 00000002
Figure 00000003
Стадия S83 блок-схемы 80 осуществляет геометрическую триангуляцию проекционных элементов проекционных матриц, для того чтобы вычислить глубину каждой точки изображения.
Если эндоскоп 20 не отслеживается устройством 33, похожая процедура может быть выполнена, используя векторное поле, для того чтобы оценить проекционные матрицы. В этом случае глубина будет оценена только в относительном масштабе, реальная физическая глубина останется неизвестной.
Хотя настоящее изобретение описано со ссылкой на примеры аспектов, признаков и осуществлений, раскрытые системы и способы не ограничены этими примерами аспектов, признаков и/или осуществлений. Вернее, что очевидно для специалистов в данной области техники из предложенного здесь, описанные системы и способы допускают модификации, изменения и улучшения без отступления от сущности или объема настоящего изобретения. Соответственно, настоящее изобретение прямо включает в свой объем такие модификации, изменения и улучшения.

Claims (15)

1. Система (10) минимально инвазивной хирургии, содержащая:
эндоскоп (20) для генерирования множества эндоскопических видеокадров (22), иллюстрирующих монокулярные эндоскопические изображения анатомической области, во время перемещения эндоскопа (20) к целевому местоположению в упомянутой анатомической области тела; и
эндоскопический хирургический блок (30) управления, связанный с указанным эндоскопом (20) для приема эндоскопических видеокадров (22) во время перемещения эндоскопа (20) к целевому местоположению,
причем указанный эндоскопический хирургический блок 30 управления включает в себя устройство (34) оценки глубины, которое выполнено с возможностью: (а) определять с помощью генерирования векторного поля оптический поток движения по меньшей мере одной точки изображения во временной последовательности кадров монокулярных эндоскопических изображений упомянутой анатомической области, и (b) оценивать поле (36) глубины в реальном времени с помощью одного из (i) идентификации фокуса расширения и вычисления точки глубины, и (ii) вычисления проекционных матриц и вычисления точки глубины, причем оценка поля глубины показывает глубину объекта на монокулярных эндоскопических изображениях анатомической области как функцию оптического потока движения упомянутой по меньшей мере одной точки изображения на упомянутой временной последовательности кадров монокулярных эндоскопических изображений анатомической области.
2. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью генерирования, посредством устройства (34) оценки глубины, отображения карты (37) глубины, представляющей оценку поля глубины.
3. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью регистрации, посредством устройства (34) оценки глубины, монокулярных эндоскопических изображений с предоперационным изображением анатомической области тела как функции оценки поля глубины.
4. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью, посредством устройства (34) оценки глубины, предоперационного планирования кинематической траектории (21) для достижения эндоскопом (20) целевого местоположения в упомянутой анатомической области.
5. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью, посредством устройства (34) оценки глубины, отслеживания местоположений эндоскопа (20) в упомянутой анатомической области во время перемещения эндоскопа (20) к целевому местоположению в упомянутой анатомической области.
6. Система (10) минимально инвазивной хирургии по п.5, в которой генерирование оптического потока движения по меньшей мере одной точки изображения во временной последовательности кадров монокулярных эндоскопических изображений анатомической области включает в себя отслеживание, посредством эндоскопического устройства (33) слежения, позиций эндоскопа (20) в упомянутой анатомической области.
7. Система (10) малоинвазивной хирургии по п.1, в которой эндоскоп (20) является одним из группы, включающей в себя бронхоскоп и составную канюлю.
8. Эндоскопический хирургический способ, содержащий:
перемещение эндоскопа (20) к целевому местоположению в анатомической области тела;
генерирование множества эндоскопических видеокадров (22) во время перемещения эндоскопа (20) к целевому местоположению, причем эндоскопические видеокадры (22) иллюстрируют монокулярные эндоскопические изображения анатомической области;
(S41) обнаружение, посредством эндоскопического хирургического блока управления и генерирования векторного поля, оптического потока движения по меньшей мере одной точки изображения во временной последовательности кадров монокулярных эндоскопических изображений анатомической области; и
(S42) оценку, посредством эндоскопического хирургического блока управления и одного из (i) идентификации фокуса расширения и вычисления точки глубины, и (ii) вычисления проекционных матриц и вычисления точки глубины, поля глубины, показывающего глубину объекта на монокулярных эндоскопических изображениях, как функции оптического потока движения по меньшей мере одной точки изображения в упомянутой временной последовательности кадров монокулярных эндоскопических изображений анатомической области.
9. Эндоскопический хирургический способ по п.8, в котором обнаружение оптического потока включает в себя:
(S51) генерирование векторного поля, включающего в себя множество векторов, причем каждый вектор показывает движение одной из точек изображения во временной последовательности кадров.
10. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:
(S52) идентификацию фокуса расширения в векторном поле; и
(S53) вычисление точки глубины для каждой точки изображения как функции расстояния каждой точки изображения от упомянутого фокуса расширения.
11. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:
(S53) вычисление точки глубины для каждой точки изображения как функции амплитуды каждого вектора в векторном поле.
12. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:
(S53) вычисление точки глубины для точки изображения как функции скорости каждого вектора в векторном поле.
13. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:
(S82) вычисление проекционных матриц как функции векторного поля.
14. Эндоскопический хирургический способ по п.13, в котором оценка поля глубины включает в себя:
(S83) вычисление точки глубины для каждой точки изображения как функции геометрической триангуляции проекционных элементов проекционных матриц.
15. Эндоскопический хирургический способ по п.8, также включающий в себя:
(S43) отображение карты (37) глубины, представляющей упомянутую оценку поля глубины.
RU2011148415/14A 2009-04-29 2010-03-25 Оценка глубины в реальном времени по монокулярным изображениям эндоскопа RU2529380C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17372209P 2009-04-29 2009-04-29
US61/173,722 2009-04-29
PCT/IB2010/051316 WO2010125481A1 (en) 2009-04-29 2010-03-25 Real-time depth estimation from monocular endoscope images

Publications (2)

Publication Number Publication Date
RU2011148415A RU2011148415A (ru) 2013-06-10
RU2529380C2 true RU2529380C2 (ru) 2014-09-27

Family

ID=42269384

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011148415/14A RU2529380C2 (ru) 2009-04-29 2010-03-25 Оценка глубины в реальном времени по монокулярным изображениям эндоскопа

Country Status (7)

Country Link
US (1) US9750399B2 (ru)
EP (1) EP2424422B1 (ru)
JP (1) JP2012525190A (ru)
CN (1) CN102413756B (ru)
BR (1) BRPI1007100A2 (ru)
RU (1) RU2529380C2 (ru)
WO (1) WO2010125481A1 (ru)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2424422B1 (en) 2009-04-29 2019-08-14 Koninklijke Philips N.V. Real-time depth estimation from monocular endoscope images
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9066086B2 (en) 2010-12-08 2015-06-23 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
WO2012106310A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
KR101941907B1 (ko) 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
JP6033444B2 (ja) * 2013-02-05 2016-11-30 オリンパス株式会社 ロボット支援型手術システムとその作動方法
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
CN104103062A (zh) * 2013-04-08 2014-10-15 富士通株式会社 图像处理设备和图像处理方法
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US9727963B2 (en) 2015-09-18 2017-08-08 Auris Surgical Robotics, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
EP3473157A4 (en) * 2016-06-17 2019-09-04 Sony Corporation Image Processing Device, Image Processing Method, Program and Image Processing System
EP3264763A1 (en) * 2016-06-29 2018-01-03 Thomson Licensing Method and apparatus for improved significance flag coding using simple local predictor
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
JP7282685B2 (ja) 2017-03-31 2023-05-29 オーリス ヘルス インコーポレイテッド 生理学的ノイズを補償する管腔ネットワークのナビゲーション用ロボットシステム
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7317723B2 (ja) 2017-06-28 2023-07-31 オーリス ヘルス インコーポレイテッド 電磁場の歪み検出
JP7330902B2 (ja) 2017-06-28 2023-08-22 オーリス ヘルス インコーポレイテッド 電磁歪み検出
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
WO2019104571A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 图像处理方法和设备
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
AU2018390476B2 (en) 2017-12-18 2024-03-28 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
WO2019191144A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
CN108932734B (zh) * 2018-05-23 2021-03-09 浙江商汤科技开发有限公司 单目图像的深度恢复方法及装置、计算机设备
CN110831486B (zh) 2018-05-30 2022-04-05 奥瑞斯健康公司 用于基于定位传感器的分支预测的系统和方法
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
US11503986B2 (en) 2018-05-31 2022-11-22 Auris Health, Inc. Robotic systems and methods for navigation of luminal network that detect physiological noise
CN110831538B (zh) 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
CN110490856B (zh) * 2019-05-06 2021-01-15 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN110473619B (zh) * 2019-08-16 2022-05-27 电子科技大学 基于深度学习的纤支镜插管辅助决策系统
EP4021329A4 (en) 2019-08-30 2023-05-03 Auris Health, Inc. SYSTEM AND METHOD FOR INSTRUMENT IMAGE RELIABILITY
US11207141B2 (en) 2019-08-30 2021-12-28 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
CN114641252B (zh) 2019-09-03 2023-09-01 奥瑞斯健康公司 电磁畸变检测和补偿
EP4084722A4 (en) 2019-12-31 2024-01-10 Auris Health Inc ALIGNMENT INTERFACES FOR PERCUTANE ACCESS
EP4084721A4 (en) 2019-12-31 2024-01-03 Auris Health Inc IDENTIFICATION OF AN ANATOMIC FEATURE AND AIMING
US11660147B2 (en) 2019-12-31 2023-05-30 Auris Health, Inc. Alignment techniques for percutaneous access
US20220319031A1 (en) * 2021-03-31 2022-10-06 Auris Health, Inc. Vision-based 6dof camera pose estimation in bronchoscopy
CN113379821B (zh) * 2021-06-23 2022-10-11 武汉大学 一种基于深度学习的稳定单目视频深度估计方法
US11928830B2 (en) 2021-12-22 2024-03-12 Honeywell International Inc. Systems and methods for generating three-dimensional reconstructions of environments
CN116965751A (zh) * 2022-11-28 2023-10-31 开立生物医疗科技(武汉)有限公司 内窥镜移动速度检测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007008289A2 (en) * 2005-05-23 2007-01-18 The Penn State Research Foundation 3d-2d pose estimation and 3d-ct registration for bronchoscopy
RU2009113800A (ru) * 2006-09-14 2010-10-20 Конинклейке Филипс Электроникс Н.В. (Nl) Конфигурирование активной канюли для минимально-инвазивной хирургии

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574199A (en) * 1983-01-27 1986-03-04 Diffracto Ltd. Sensing location of an object
US5243665A (en) * 1990-03-07 1993-09-07 Fmc Corporation Component surface distortion evaluation apparatus and method
JP3250126B2 (ja) 1993-12-02 2002-01-28 本田技研工業株式会社 移動物体検出装置
JPH07234935A (ja) 1994-02-22 1995-09-05 Meidensha Corp 物体の３次元運動推定方法
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US5920394A (en) * 1995-09-01 1999-07-06 Research Corporation Technologies, Inc. Optical coordinate measuring machine
KR100234196B1 (ko) * 1996-12-31 1999-12-15 윤종용 2차원 비디오 영상으로부터 높이 맵 생성방법
DE69819289T2 (de) 1997-06-23 2004-08-05 Philips Intellectual Property & Standards Gmbh Bildgeführtes chirurgisches system
DE19961971B4 (de) 1999-12-22 2009-10-22 Forschungszentrum Karlsruhe Gmbh Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments
FI108900B (fi) 1999-12-28 2002-04-15 Martti Kesaeniemi Optinen vuo ja kuvan muodostaminen
JP4195574B2 (ja) 2002-04-05 2008-12-10 日本放送協会 立体内視鏡
US6847728B2 (en) * 2002-12-09 2005-01-25 Sarnoff Corporation Dynamic depth recovery from multiple synchronized video streams
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
US20050084135A1 (en) 2003-10-17 2005-04-21 Mei Chen Method and system for estimating displacement in a pair of images
EP1705513A1 (en) 2003-12-19 2006-09-27 Enrique De Font-Réaulx-Rojas System for the stereoscopic viewing of real-time or static images
DE102004027709B4 (de) 2004-06-07 2006-08-10 Siemens Ag Verfahren der virtuellen Endoskopie zur medizinischen 3D-Bilddarstellung und -verarbeitung, Computertomografiegerät, Arbeitsstation und Computerprogrammprodukt
US20060020562A1 (en) 2004-07-21 2006-01-26 University Of Southern Mississippi Apparatus and method for estimating optical flow
US7372581B2 (en) * 2005-04-11 2008-05-13 Faro Technologies, Inc. Three-dimensional coordinate measuring device
US8712115B2 (en) 2005-04-19 2014-04-29 Siemens Medical Solutions Usa, Inc. Real-time virtual endoscopy
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
JP5525727B2 (ja) * 2005-05-23 2014-06-18 ザ ペン ステイト リサーチ ファンデーション ３ｄ−２ｄ姿勢推定に基づく案内方法及び生の気管支鏡検査への応用を有する３ｄ−ｃｔレジストレーション
US9661991B2 (en) 2005-08-24 2017-05-30 Koninklijke Philips N.V. System, method and devices for navigated flexible endoscopy
WO2007042986A2 (en) 2005-10-11 2007-04-19 Koninklijke Philips Electronics, N.V. 3d tool path planning, simulation and control system
JP5276987B2 (ja) 2005-11-15 2013-08-28 ザ・ジョンズ・ホプキンス・ユニバーシティー バイオセンシング及び外科的処置のための能動的カニューレ
US20070167714A1 (en) 2005-12-07 2007-07-19 Siemens Corporate Research, Inc. System and Method For Bronchoscopic Navigational Assistance
WO2007139187A1 (ja) * 2006-05-31 2007-12-06 National University Corporation Chiba University ３次元画像構築装置及び方法並びにプログラム
US20080058593A1 (en) 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
TWI342436B (en) 2006-11-03 2011-05-21 Chimei Innolux Corp Backlight module and liquid crystal display using same
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US8514218B2 (en) * 2007-08-14 2013-08-20 Siemens Aktiengesellschaft Image-based path planning for automated virtual colonoscopy navigation
EP2179398B1 (en) 2007-08-22 2011-03-02 Honda Research Institute Europe GmbH Estimating objects proper motion using optical flow, kinematics and depth information
US8547887B2 (en) 2007-12-31 2013-10-01 Shoretel, Inc. Wireless interface control to reduce power consumption
CN101271578B (zh) * 2008-04-10 2010-06-02 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
JP6045152B2 (ja) * 2008-06-25 2016-12-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 最小の侵襲性の手術のための入れ子カニューレシステムをデザインする方法及びその製造方法
EP2424422B1 (en) 2009-04-29 2019-08-14 Koninklijke Philips N.V. Real-time depth estimation from monocular endoscope images
DE102010060833A1 (de) * 2009-11-26 2011-06-01 Werth Messtechnik Gmbh Verfahren und Anordnung zur taktil-optischen Bestimmung der Geometrie eines Messobjektes
KR101428296B1 (ko) 2012-12-18 2014-08-08 현대오트론 주식회사 차량용 카메라 모듈 및 이를 포함하는 모니터링 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007008289A2 (en) * 2005-05-23 2007-01-18 The Penn State Research Foundation 3d-2d pose estimation and 3d-ct registration for bronchoscopy
RU2009113800A (ru) * 2006-09-14 2010-10-20 Конинклейке Филипс Электроникс Н.В. (Nl) Конфигурирование активной канюли для минимально-инвазивной хирургии

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
[0043]-[0054],[0191]-[0202] *
[0050]-[0055],[0076]-[0080] *
c.3-5 *

Also Published As

Publication number Publication date
EP2424422B1 (en) 2019-08-14
BRPI1007100A2 (pt) 2016-03-01
US9750399B2 (en) 2017-09-05
EP2424422A1 (en) 2012-03-07
JP2012525190A (ja) 2012-10-22
WO2010125481A1 (en) 2010-11-04
RU2011148415A (ru) 2013-06-10
CN102413756B (zh) 2015-04-01
US20120056986A1 (en) 2012-03-08
CN102413756A (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
RU2529380C2 (ru) Оценка глубины в реальном времени по монокулярным изображениям эндоскопа
US11883118B2 (en) Using augmented reality in surgical navigation
US9095252B2 (en) Image integration based registration and navigation for endoscopic surgery
US20130281821A1 (en) Intraoperative camera calibration for endoscopic surgery
US20130250081A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
US20170296136A1 (en) System and method for automatically determining calibration parameters of a fluoroscope
JP2012505695A (ja) 画像に基づくローカライゼーション方法及びシステム
JP2012528604A (ja) 距離ベースの位置追跡方法及びシステム
JP2013509902A (ja) 距離センサを使用した衝突の回避と探知
JP2013517031A5 (ru)
US20200175719A1 (en) Medical imaging system, method and computer program product
JP2012165838A (ja) 内視鏡挿入支援装置
Ma et al. Moving-tolerant augmented reality surgical navigation system using autostereoscopic three-dimensional image overlay
JP2018153346A (ja) 内視鏡位置特定装置、方法およびプログラム
Nakamoto et al. Realtime organ tracking for endoscopic augmented reality visualization using miniature wireless magnetic tracker
Wang et al. Stereo video analysis for instrument tracking in image-guided surgery
US20220233247A1 (en) System and method for tracking positioning of medical instrument by using augmented reality
Jiang et al. An improved method for compensating ultra-tiny electromagnetic tracker utilizing position and orientation information and its application to a flexible neuroendoscopic surgery navigation system
CN113614785A (zh) 介入设备跟踪
Keil et al. A real-time online video overlay navigation system for minimally invasive laparoscopic tumor resection
CN118021445A (zh) 一种骨科内窥镜导航方法及系统
Feuerstein Zhengang Jiang, Kensaku Mori, Yukitaka Nimura, Marco

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20190326