RU2608322C2 - Голографические пользовательские интерфейсы для медицинских процедур - Google Patents
Голографические пользовательские интерфейсы для медицинских процедур Download PDFInfo
- Publication number
- RU2608322C2 RU2608322C2 RU2014120182A RU2014120182A RU2608322C2 RU 2608322 C2 RU2608322 C2 RU 2608322C2 RU 2014120182 A RU2014120182 A RU 2014120182A RU 2014120182 A RU2014120182 A RU 2014120182A RU 2608322 C2 RU2608322 C2 RU 2608322C2
- Authority
- RU
- Russia
- Prior art keywords
- holographically
- anatomical image
- constructed
- image
- display device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000002452 interceptive effect Effects 0.000 claims abstract description 7
- 239000000835 fiber Substances 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 5
- 239000000126 substance Substances 0.000 abstract description 3
- 230000004807 localization Effects 0.000 abstract 2
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 239000007943 implant Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000012800 visualization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 210000003484 anatomy Anatomy 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000002725 brachytherapy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/30—3D object
- G03H2210/33—3D/2D, i.e. the object is formed of stratified 2D planes, e.g. tomographic data
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/04—Transmission or communication means, e.g. internet protocol
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Holo Graphy (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Processing Or Creating Images (AREA)
Abstract
Система интерактивного голографического отображения включает в себя модуль создания голограммы, сконфигурированный с возможностью отображать голографически построенное анатомическое изображение. Система определения местоположения сконфигурирована с возможностью определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения таким образом, что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении. Технический результат заключается в исключении нарушения параллакса движения, расширении возможностей пользовательского ввода. 3 н. и 12 з.п. ф-лы, 10 ил.
Description
Перекрестная ссылка на родственные заявки
По настоящей заявке испрашивается приоритет предварительной заявки США номер 61/549273, поданной 20 октября 2011 г., полное раскрытие которой настоящим включено в настоящее описание посредством ссылки во всей полноте.
Область техники, к которой относится изобретение
Настоящее раскрытие относится к медицинским системам, устройствам и способам и, более конкретно, к системам, устройствам и способам, относящимся к интеграции данных голографических изображений с другой информацией для повышения точности и эффективности в медицинских применениях.
Уровень техники
Были исследованы автостереоскопические устройства отображения (ASD) для трехмерной (3D) визуализации на двумерной (2D) панели без необходимости в пользовательских очках. Однако, разрешение и время обработки ограничивают возможность построения с помощью данной технологии высококачественных изображений. Кроме того, данные устройства отображения обычно ограничены 2D плоскостью (например, не дают возможности врачу перемещать или вращать устройство отображения, для того чтобы видеть данные с различных ракурсов). Хотя различные ракурсы могут быть обеспечены с ограниченным полем обзора, поле обзора для данного типа устройств отображения продолжает страдать от нарушения параллакса движения.
Аналогично, пользовательский ввод для управления объектами данных в значительной степени ограничен преобладающими 2D механизмами, например мышами, планшетами, клавиатурами, сенсорными панелями, слежением с помощью камеры и т.д. Соответственно, имеет место необходимость в системе, устройстве и способе, как раскрыто и описано в настоящем документе, которые могут применяться для преодоления вышеуказанных недостатков.
Раскрытие изобретения
В соответствии с настоящими принципами система интерактивного голографического отображения включает в себя модуль создания голограммы, сконфигурированный так, чтобы отображать голографически построенное анатомическое изображение. Система определения местоположения сконфигурирована так, чтобы определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения, так что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении.
Другая система интерактивного голографического отображения включает в себя процессор и память, связанную с процессором. Модуль создания голограммы содержится в памяти и сконфигурирован так, чтобы отображать голографически построенное анатомическое изображение в виде голограммы в воздухе или на голографическом устройстве отображения. Система определения местоположения сконфигурирована так, чтобы определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения, так что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении, причем данный отклик на голографически построенном анатомическом изображении включает одно или более из: сдвига или вращения голографически построенного анатомического изображения, коррекции увеличения голографически построенного анатомического изображения, нанесения обозначений на голографически построенное анатомическое изображение и генерирования обратной связи.
Способ взаимодействия с голографическим устройством отображения включает в себя: отображение голографически построенного анатомического изображения; определение местоположения контролируемого пространства на голографически построенном анатомическом изображении или поблизости от него для определения области взаимодействия; контроль положения и ориентации одного или более контролируемых объектов системой определения местоположения; определение совпадения пространственных точек между контролируемым пространством и одним или более контролируемыми объектами; и, если определено совпадение, вызывание отклика на голографически построенном анатомическом изображении.
Эти и другие цели, признаки и преимущества настоящего раскрытия будут понятны из следующего подробного описания его иллюстративных вариантов осуществления, которое следует читать в связи с прилагаемыми чертежами.
Краткое описание чертежей
Настоящее раскрытие подробно представляет следующее описание предпочтительных вариантов осуществления со ссылкой на следующие чертежи, причем:
Фиг. 1 представляет собой технологическую блок-схему, изображающую систему для взаимодействия с голограммами в соответствии с иллюстративными вариантами осуществления;
Фиг. 2 представляет собой перспективный вид голограммы, построенной с картой данных или наложением на нее в соответствии с иллюстративным вариантом осуществления;
Фиг. 3 представляет собой блок-схему, изображающую иллюстративную последовательность действий для отображения карты данных или наложения на голографическом изображении в соответствии с иллюстративным вариантом осуществления;
Фиг. 4 представляет собой блок-схему, изображающую иллюстративную систему и последовательность действий для отображения статических или анимированных объектов на голографическом изображении в соответствии с иллюстративным вариантом осуществления;
Фиг. 5 представляет собой схему, изображающую иллюстративное изображение отображения меню объектов для выбора виртуальных объектов во время процедуры для отображения на голографическом изображении в соответствии с иллюстративным вариантом осуществления;
Фиг. 6 представляет собой блок-схему, изображающую иллюстративную систему для управления роботом с помощью голографического изображения в соответствии с иллюстративным вариантом осуществления;
Фиг. 7 представляет собой блок-схему, изображающую иллюстративную систему, которая использует тактильную обратную связь с голографическим изображением, в соответствии с иллюстративным вариантом осуществления;
Фиг. 8 представляет собой схему, изображающую множество видов, обеспечиваемых в различных ракурсах в иллюстративной системе для отображения голографического изображения или тому подобного в соответствии с одним вариантом осуществления;
Фиг. 9 представляет собой блок-схему, изображающую иллюстративную систему для управления роботом удаленно через сеть с помощью голографического изображения в соответствии с иллюстративным вариантом осуществления; и
Фиг. 10 представляет собой технологическую схему, изображающую способ взаимодействия с голограммой в соответствии с иллюстративным вариантом осуществления.
Осуществление изобретения
В соответствии с настоящими принципами описаны системы, устройства и способы, которые применяют технологию голографического отображения для медицинских процедур. Ее можно реализовывать с помощью голографических 3D-технологий (например, голограмм в воздухе) и чувствительных к 3D-вводу в реальном времени способов, таких как оптическое определение формы, для обеспечения большей степени взаимодействия между человеком и данными во время процедуры. Применение голографической технологии с другими технологиями может упрощать выполнение процедуры, выбор инструмента и манипуляцию в анатомической области исследования. Такие иллюстративные варианты осуществления, описанные в настоящем документе, могут использовать голографические 3D-устройства отображения для визуализации в реальном времени объемных массивов данных с иллюстративными способами определения местоположения для определения движений в свободном пространстве во время клинической процедуры, тем самым предлагая новые способы взаимодействия между человеком и данными в интервенционном наборе.
В одном иллюстративном варианте осуществления 3D-голография может быть использована для объединения анатомических данных с функциональной визуализацией и "сенсорной" информацией. Четвертое измерение (например, время, цвет, текстура и т.д.) можно использовать для того, чтобы представлять динамическое мультимодальное 3D-представление состояния исследуемого объекта (например, органа). Отображение может осуществляться (почти) в реальном времени и использовать кодируемую цветом визуальную информацию и/или тактильную обратную связь/тактильную информацию, например для того, чтобы передавать различные эффекты состояний голографически отображаемого исследуемого объекта. Такая информация может включать морфологическую информацию о мишени, функциональную информацию об исследуемом объекте (например, поток, сократимость, биомеханический или химический состав ткани, напряжение, температуру, pH, pO2, pCO2 и т.д.) или измеренные изменения свойств мишени вследствие взаимодействия между мишенью и доставляемым препаратом. Иллюстративное голографическое 3D-устройство отображения может быть видно под (практически) любым углом/направлением, так что, например, несколько пользователей одновременно могут взаимодействовать с одними и теми же восприятием и информацией. Альтернативно, можно одновременно отображать различную информацию разным пользователям, находящимся в помещении, как например посредством отображения различной информации на каждой грани куба или многогранника.
В одном варианте осуществления можно "прикасаться" или как-либо еще взаимодействовать с конкретной областью исследования на голографическом 3D-устройстве отображения (например, с помощью одного или более пальцев, виртуальных приспособлений или материальных инструментов, которые отслеживают в том же самом пространстве взаимодействия), и характеристики ткани становятся доступными и отображаются на 3D-голограмме. Такое "прикосновение" можно также использовать для того, например, чтобы вращать виртуальный орган, масштабировать, помечать точки в 3D, прочерчивать схему пути и траектории (например, для обработки, нацеливания и т.д.), выбирать критические зоны, которые не следует затрагивать, выдавать аварийные сигналы и помещать виртуальные объекты (например, имплантаты) в 3D в отображаемую анатомическую 3D-область.
Иллюстративные варианты осуществления в соответствии с настоящим раскрытием можно также использовать для того, чтобы облегчать удаленную процедуру (например, когда практикующий специалист "воздействует" на виртуальный орган, а робот одновременно или последовательно осуществляет процедуру на реальном органе), для отработки процедуры до осуществления реальной процедуры в условиях тренировки или симуляции и/или для того, чтобы рассматривать/исследовать/изучать процедуру после ее осуществления (например, посредством записи данных, хранения и воспроизведения голографического 3D-отображения и любых связанных мультимодальных сигналов, относящихся к клинической процедуре).
Иллюстративные варианты осуществления в соответствии с настоящим раскрытием далее описаны в настоящем документе со ссылкой на прилагаемые чертежи. Притом, что такие иллюстративные варианты осуществления в основном описаны по отдельности друг от друга (например, для облегчения представления и восприятия), среднему специалисту в данной области техники при рассмотрении идей настоящего описания ясно, что такие иллюстративные варианты осуществления можно использовать независимо и/или в комбинации друг с другом. Более того, воплощение и применение иллюстративных вариантов осуществления, описанных в настоящем документе, включая их комбинации и варианты, которые рассматриваются как часть настоящего раскрытия, могут зависеть от, например, конкретного лабораторного или клинического использования/применения, интеграции с другими родственными технологиями, доступных ресурсов, окружающих условий и т.д. Соответственно, ничего в настоящем раскрытии не следует интерпретировать как ограничение объекта, раскрытого в настоящем описании.
Голографическое 3D-устройство отображения в реальном времени в соответствии с настоящими принципами может включать ввод с шестью степенями свободы (DOF) в реальном времени посредством технологии определения местоположения, внедренной в устройство взаимодействия данных (например, тактильное устройство для сенсорной обратной связи). Также можно использовать систему визуализации/контроля для получения многомерных данных. Могут быть обеспечены линии передачи данных между голографическим устройством отображения, системой определения местоположения/устройством взаимодействия и системой визуализации/контроля для коммуникации между данными системами. В одном варианте осуществления устройства отображения, устройства обратной связи, устройства определения местоположения, устройства измерения могут быть использованы или интегрированы с вычислительной рабочей станцией для содействия принятию решений и библиотеками данных с информацией о случаях, которые можно динамически обновлять/запрашивать во время прямой трансляции случая, для тренировки/обучения/руководства процедурой (например, на предмет нахождения аналогичных архивированных клинических случаев, имеющих отношение к процедуре и подвергаемому лечению пациенту).
Следует понимать, что настоящее изобретение описано в терминах медицинских инструментов; однако, идеи настоящего изобретения гораздо шире и применимы к любым системам, которые могут получать преимущество от голографической визуализации. В некоторых вариантах осуществления настоящие принципы используются при отслеживании или анализе сложных биологических или механических систем. В частности, настоящие принципы применимы к процедурам внутреннего слежения в биологических системах, процедурам во всех областях тела, таких как легкие, желудочно-кишечный тракт, выделительные органы, кровеносные сосуды и т.д. Элементы, изображенные на чертежах, могут быть воплощены в различных комбинациях аппаратного обеспечения и программного обеспечения и предоставляют функции, которые могут быть объединены в одном элементе или многих элементах.
Функции различных элементов, показанных на чертежах, могут предоставляться посредством применения специализированного аппаратного обеспечения, а также аппаратного обеспечения, способного к выполнению программного обеспечения в связи с подходящим программным обеспечением. При обеспечении посредством процессора функции могут обеспечиваться посредством одного специализированного процессора, одного совместно используемого процессора или посредством множества отдельных процессоров, некоторые из которых могут быть совместно используемыми. Кроме того, явное использование термина "процессор" или "контроллер" не следует интерпретировать как относящееся исключительно к аппаратному обеспечению, способному к выполнению программного обеспечения, и оно может неявно включать, без ограничения, аппаратное обеспечение цифрового сигнального процессора ("DSP"), доступную только для чтения память ("ROM") для хранения программного обеспечения, память с произвольным доступом ("RAM"), энергонезависимое устройство хранения и т.д.
Кроме того, предполагается, что все утверждения настоящего описания, перечисляющие принципы, аспекты и варианты осуществления настоящего изобретения, а также их конкретные примеры, охватывают как их структурные, так и функциональные эквиваленты. Кроме того, предполагается, что такие эквиваленты включают как известные в настоящее время эквиваленты, так и эквиваленты, которые будут разработаны в будущем (т.е. любые разрабатываемые элементы, которые осуществляют ту же функцию, независимо от структуры). Таким образом, например, специалистам в данной области техники ясно, что блок-схемы, представленные в настоящем описании, представляют концептуальные виды иллюстративных компонентов системы и/или схему, воплощающую принципы настоящего изобретения. Аналогично, следует понимать, что любые карты технологического процесса, технологические схемы и тому подобное представляют различные процессы, которые могут быть по существу представлены в машиночитаемых средах для хранения и вследствие этого выполнены компьютером или процессором, показан ли явно такой компьютер или процессор или нет.
Кроме того, варианты осуществления настоящего изобретения могут принимать форму компьютерного программного продукта, доступного на используемой компьютером или машиночитаемой среде для хранения, предоставляющей программный код для использования посредством компьютера или любой системы выполнения команд или в соединении с ними. Для целей настоящего описания используемая компьютером или машиночитаемая среда для хранения может представлять собой любое приспособление, которое может содержать, хранить, сообщать, распространять или передавать программу для использования посредством системы, приспособления или устройства выполнения команд или в соединении с ними. Среда может представлять собой электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему (или приспособление или устройство) или среду распространения. Примеры машиночитаемой среды включают полупроводниковую или твердотельную память, магнитную ленту, сменную компьютерную дискету, память с произвольным доступом (RAM), доступную только для чтения память (ROM), жесткий магнитный диск и оптический диск. Современные примеры оптических дисков включают компакт-диск с доступной только для чтения памятью (CD-ROM), компакт-диск с возможностью перезаписи (CD-R/W), Blu-Ray™ и DVD.
Если теперь обратиться к чертежам, на которых одинаковые номера представляют одни и те же или аналогичные элементы, и, в первую очередь, к Фиг. 1, то на ней иллюстративно показана система 100 для создания и взаимодействия с голографическими изображениями в соответствии с одним вариантом осуществления. Система 100 может включать в себя рабочую станцию или консоль 112, с которой наблюдают за процедурой и/или управляют ею. Рабочая станция 112, предпочтительно, включает в себя один или более процессоров 114 и память 116 для хранения программ и приложений. Память 116 может хранить модуль 115 создания голограммы, сконфигурированный так, чтобы строить голографическое изображение на устройстве 158 отображения или в воздухе в зависимости от применения. Модуль 115 создания голограммы кодирует данные изображения для создания трехмерной голограммы. Кодирование может передавать голограмму на 2D-устройство отображения, или в 3D-среды, или 3D-устройство отображения. В одном примере данные от 3D-визуализации, например компьютерной томографии, ультразвука, магнитного резонанса, можно трансформировать в голограмму с применением пространственного распределения и интенсивности света для построения голограммы.
Система 120 определения местоположения включает в себя систему координат 122, в которой построено голографическое изображение или голограмма 124. Систему 120 определения местоположения можно также использовать для того, чтобы регистрировать контролируемый объект 128, который может включать виртуальные инструменты, которые создаются и управляются по отдельности, реальные инструменты, руки, пальцы или другие анатомические части врача и т.д. Система 120 определения местоположения может включать электромагнитную следящую систему, систему измерения формы, такую как волоконно-оптическая система измерения формы, оптическую измерительную систему, включая светочувствительные датчики и матрицы, или другую измерительную модальность и т.д. Систему 120 определения местоположения используют для определения пространственных областей на голограмме или голографическом изображении 124 и поблизости от него, для того чтобы делать возможным вызывание различных функций или действий в результате движения в области голограммы 124. Например, динамическое местоположение рук врача можно отслеживать с помощью волоконно-оптического устройства измерения формы. Когда руки врача входят в такое пространство, например контролируемое пространство 126 поблизости от проецируемой голограммы 124, интенсивность голограммы может повышаться. В другом примере движение руки врача может использоваться для изменения положения или ориентации голограммы 124 в пространстве или для того, чтобы как-либо иначе взаимодействовать с голограммой 124.
Контролируемый объект или измерительную систему 128 можно контролировать в пространстве относительно голограммы 124 или пространства 126 поблизости от голограммы 124. Контролируемый объект 128 может включать руки врача, реальное или виртуальное приспособление, другую голограмму и т.д. Контролируемый объект 128 может включать датчик или датчики 132, приспособленные для контроля положения контролируемого объекта 128, так что когда объект или его часть расположены в пределах голограммы 124 или пространства 126 поблизости от голограммы 124, происходит реакция, которая соответствует типу контролируемого объекта 128 и действию, которое осуществлено или должно быть осуществлено контролируемым объектом 128. Датчик или датчики 132 могут включать ЭМ-датчики, волоконно-оптические датчики формы и т.д.
В одном варианте осуществления датчики 132 включают волоконно-оптические датчики формы. Можно использовать модуль 134 интерпретации информации от датчиков, для того чтобы интерпретировать сигналы обратной связи от устройства или системы (132) измерения формы. Модуль 134 интерпретации сконфигурирован так, чтобы использовать сигнальную обратную связь (и любую другую обратную связь, например оптическую, электромагнитное (ЭМ) слежение и т.д.) для реконструирования движения, отклонения и других изменений, связанных с контролируемым объектом 128, который может включать медицинское устройство или инструмент, виртуальные приспособления, анатомические элементы человека и т.д. Медицинское устройство может включать катетер, направитель, зонд, эндоскоп, робот, электрод, фильтрующее устройство, баллонное устройство или другой медицинский компонент и т.д.
Система (132) измерения формы может включать в себя одно или более оптических волокон, которые связаны с контролируемым объектом 128 по установленной схеме или схемам. Оптические волокна соединяются с рабочей станцией 112 посредством кабельной системы 127. Кабельная система 127 может включать волоконную оптику, электрические соединения, другое оборудование и т.д. по необходимости.
Система (132) измерения формы может быть основана на датчиках на волоконно-оптической брэгговской решетке. Волоконно-оптическая брэгговская решетка (ВБР) представляет собой короткий сегмент оптического волокна, который отражает определенные длины волн света и пропускает все остальные. Это достигается посредством внесения периодических изменений коэффициента преломления сердцевины волокна, что создает специфическое к длине волны диэлектрическое зеркало. Волоконную брэгговскую решетку можно поэтому использовать в качестве встроенного оптического фильтра для блокировки определенных длин волн или в качестве специфического к длине волны отражателя.
Фундаментальным принципом, лежащим в основе работы волоконной брэгговской решетки, является отражение Френеля на каждой из границ раздела, на которых изменяется коэффициент преломления. Для некоторых длин волн отраженный свет различных периодов находится в фазе, так что имеет место усиливающая интерференция для отражения и, в связи с этим, ослабляющая интерференция для пропускания. Брэгговская длина волны чувствительна к напряжению, а также к температуре. Это означает, что брэгговские решетки можно применять в качестве чувствительных элементов в волоконно-оптических датчиках. В ВБР-датчике измеряемая величина (например, напряжение) вызывает сдвиг брэгговской длины волны.
Одним преимуществом данного метода является то, что различные элементы датчика можно распределять по длине волокна. Включение трех или более сердцевин с различными датчиками (размерами) вдоль длины волокна, которое встроено в структуру, позволяет точно определять трехмерную форму такой структуры, как правило с точностью, превышающей 1 мм. Вдоль длины волокна в различных положениях можно располагать множество ВБР-датчиков (например, 3 или более чувствительных сердцевин волокон). Из измерения напряжения каждой ВБР можно определять кривизну структуры в данном положении. Из множества измеренных положений определяют общую трехмерную форму.
В качестве альтернативы волокно-оптическим брэгговским решеткам можно использовать обратное рассеяние, присущее обычному оптическому волокну. Один из таких подходов заключается в использовании рэлеевского рассеяния в стандартном одномодовом коммуникационном волокне. Рэлеевское рассеяние происходит в результате случайных флуктуаций коэффициента преломления в сердцевине волокна. Данные случайные флуктуации можно моделировать брэгговской решеткой с случайным изменением амплитуды и фазы вдоль длины решетки. Посредством использования данного эффекта в трех или более сердцевинах, проложенных по одной длине многожильного волокна, можно следить за 3D-формой и динамикой исследуемой поверхности.
В одном варианте осуществления рабочая станция 112 включает в себя модуль 148 создания изображения, сконфигурированный так, чтобы принимать обратную связь от системы 132 измерения формы или другого датчика для определения взаимодействий с голограммой 124. Системе 120 определения местоположения известно положение и состояние голограммы 124 и окружающего ее пространства 126. Когда контролируемый объект 128 входит в пространство 126 или совпадает с положениями голограммы 124, что определяется модулем 142 сравнения, вызывается действие в зависимости от типа движения, типа контролируемого объекта 128, типа процедуры или активности и/или любых других критериев. Модуль 142 сравнения информирует модуль 115 создания голограммы, что необходимо изменение. Модуль 115 создания голограммы перекодирует данные изображения, которые обрабатываются и выводятся на модуль 148 создания изображения, который обновляет голограмму 124 в соответствии с установленными критериями.
В иллюстративных вариантах осуществления голограмма 124 может включать в себя внутренний орган, построенный на основании 3D-изображений 152 пациента или субъекта 150. Изображения 152 можно получать от пациента 150 до операции с применением системы 110 визуализации. Следует отметить, что система 110 визуализации и пациент 150 не обязательно должны присутствовать для использования настоящих принципов, поскольку система 100 может быть использована в любое время для тренировки, анализа или других целей. В данном примере врач использует пару перчаток с расположенными на них датчиками 132. Когда перчатки/датчики 132 входят в пространство 126 и совпадают с голограммой 124, врач имеет возможность вращать или перемещать голограмму 124. В другом варианте осуществления перчатки включают в себя тактильное устройство 156, которое обеспечивает тактильную обратную связь в зависимости от положения перчаток/датчиков относительно голограммы 124 или пространства 126. В других вариантах осуществления тактильная обратная связь указывает на тип ткани, соответствующий голограмме 124 и ее представлению. Тактильное устройство или система 156 может включать в себя источники ультразвука, громкоговорители или другие источники вибраций для передачи отличий состояния голограммы 124 с помощью вибраций или звука.
Устройство 118 отображения и/или устройство 158 отображения могут также позволять пользователю взаимодействовать с рабочей станцией 112, голограммой 124 и ее компонентами и функциями или любыми другими элементами в системе 100. Это дополнительно облегчается интерфейсом 130, который может включать в себя клавиатуру, мышь, джойстик, тактильное устройство или любое другое периферийное или управляющее устройство для обеспечения пользователя обратной связью с рабочей станцией 112 и для взаимодействия с ней.
В одном варианте осуществления пользователь (практикующий специалист, хирург, исследователь и т.д.) может прикасаться (или осуществлять иное взаимодействие) к конкретной области исследования (ROI) 154 на голографическом 3D-устройстве 158 отображения или голограмме 124 на голографическом 3D-устройстве отображения (или где-либо еще) для отображения дополнительной информации, связанной с выбранной конкретной областью исследования, например характеристик ткани, таких как температура, химический состав, генетическая сигнатура, давление, степень кальцификации и т.д. Наложение информации можно отображать или представлять на отдельном иллюстративном 2D-устройстве (118) отображения, причем части 2D-устройства отображения могут быть прозрачными, например для лучшей визуализации отображаемой информации. Также возможно, что иллюстративное 2D-устройство 118 отображения представляет или отображает другую графику и текст с высоким разрешением (например, в иллюстративных вариантах осуществления, когда 3D-устройство отображения может иметь относительно низкое или ограниченное разрешение).
Другие варианты осуществления могут обеспечивать практикующего специалиста (например, доктора) "не требующим наклона головы" устройством отображения (в качестве устройства 158 отображения) или в качестве комбинированного устройства отображения (118 и 158), для того чтобы размещать отображение/представление такой дополнительной информации. Кроме того, на голографическом 3D-устройстве 158 отображения или голограмме 124 могут автоматически выделяться и/или обводиться другие зоны или области исследования 154. Такие другие зоны исследования могут представлять собой, например, зоны, которые имеют характеристики, аналогичные выбранной зоне исследования, и/или как-либо еще связанные зоны.
В соответствии с еще одним иллюстративным вариантом осуществления голографическое 3D-устройство 158 отображения или голограмма 124 могут использоваться со слежением за пользователем с шестью степенями свободы (6DOF), например с помощью инструментов 132 с поддержкой формы и/или с помощью основанных на камерах датчиков 137, делающим возможным применение в качестве пользовательского интерфейса при 3D- и в реальном времени 6DOF-взаимодействии с пользователем. Например, пользователю (например, практикующему специалисту) предоставлена возможность прикасаться к виртуальному органу, отображаемому в виде голографического 3D-изображения 124. Пользователь может вращать, масштабировать с увеличением/уменьшением (например, изменяя увеличение изображения), помечать точки в 3D, прочерчивать схему пути и/или траектории, выбирать (критические) зоны, которые не следует затрагивать, выдавать аварийные сигналы, вставлять виртуальные имплантаты и управлять их ориентацией в 3D в анатомической области и т.д. Данные функции осуществляют с применением системы (систем) определения местоположения 120 и системы или модуля 148 создания изображения, работающих в связи с голографическими данными, отображаемыми для получения голограммы 124.
Можно создавать и помещать на голографическое 3D-устройство 158 отображения или голограмму 124 исходные точки 162 посредством касания (и/или постукивания, захвата и т.д.) части устройства 158 отображения или голограммы 124. Исходные точки 162 могут использоваться для, например, активации виртуальных камер, которые могут обеспечивать отдельно настраиваемые ракурсы обзора (например, ориентацию, масштаб, разрешение и т.д.), которые можно передавать потоком (или передавать иным образом) на отдельное 2D-устройство 118 отображения высокого разрешения.
Функцию управления касанием можно использовать для создания или помещения виртуальных исходных точек 162 на 3D-устройстве 158 отображения для различных задач, например инициализации сегментации, моделирования, совмещения или другого вычисления, визуализации, стадии планирования и т.д. В дополнение к использованию голографического 3D-устройства 158 отображения или голограммы 124 для отображения данных анатомической области, устройство отображения можно также использовать для отображения кнопок, выпадающих меню, указателей/рамок, необязательных функций и т.д., позволяющих пользователям взаимодействовать с системой и/или любым компьютером, включенным в нее или соединенным с ней (например, соединенному непосредственно или через интернет или другую сеть), и давать им команды.
В другом варианте осуществления для приема вербальной информации для соединения, управления, взаимодействия и т.д. с иллюстративным голографическим 3D-устройством 158 отображения или голограммой 124 посредством управляемых голосом команд можно использовать микрофон 164. Может предлагаться механизм 166 распознавания речи для преобразования голосовых команд в программные команды, для того чтобы позволять пользователю (например, хирургу) взаимодействовать с голографическим 3D-устройством 158 отображения или голограммой 124 без необходимости использования своих рук. Например, пользователь может сказать "SHOW LAO FORTY", и отображаемый объем на голографическом изображении будет поворачиваться на соответствующий угол, для того чтобы обеспечить пользователю требуемый вид. Другие команды могут лежать в диапазоне от относительно простых, таких как "масштабировать", за чем следует определенное количество, например "в 3 раза", или таких, чтобы отображать конкретную (дополнительную) информацию, до более сложных команд, которые, например, могут быть связаны с определенной операцией или процедурой.
В соответствии с другим вариантом осуществления режим записи может быть предусмотрен в памяти 116 и сделан доступным для, например, воспроизведения случая на том же устройстве для повтора в режиме полного 3D и/или на обычных (2D или 3D) устройствах просмотра с автоматическим преобразованием записанных 3D-кадров в множество ракурсов обзора в 2D (или во вращающиеся 3D-модели, например на языке моделирования виртуальной реальности (VRML)). Информационные соединения между голографическим устройством 158 отображения и записями, заархивированными в библиотеке/базе данных 168, такой как система архивирования и передачи изображений (PACS), радиологические информационные системы (RIS) или другая система электронных медицинских записей, можно использовать для облегчения, например, визуализации и диагностической интерпретации/анализа данных. Записи можно повторять и использовать, например, в процессах обучения и тренировки, как, например, для того, что обучать или тренировать других в индивидуальных условиях (например, когда пользователь хочет пересмотреть запись осуществленной процедуры), в условиях малых групп (например, с коллегами и/или руководством), в относительно больших классах, на лекциях и т.д. Такие иллюстративные записи можно также использовать для маркетинговых презентаций, в условиях исследований и т.д. и можно также использовать для оценки качества и государственной экспертизы, например оценки процесса или экспертизы процедур руководством больницы, сторонними страховыми организациями, инвесторами, Управлением по контролю качества пищевых продуктов и лекарственных средств (FDA) и/или другими контролирующими органами. Виртуальные камеры можно использовать для захвата или записи с множества точек обзора/углов и создания множества 2D-выводов для, например, видеозахвата или одновременного отображения изображений на различных телевизионных 2D-экранах или мониторах (или их участках).
Если обратиться к Фиг. 2, в другом варианте осуществления трехмерную (3D) голографию можно использовать для отображения объемных данных анатомической области (например, из 3D КТ-сканирования), например для объединения анатомических данных с функциональной визуализацией и "сенсорной" информацией, а также временной (относящейся ко времени) информацией. Информацию можно использовать для создания (генерирования, получения, отображения и т.д.) динамического мультимодального 3D-представления 202 (например, голограммы) объекта (например, органа) и его состояния с помощью визуальных индикаторов 204, 206, таких как цвета, уровни контраста и контуры на устройстве 210 отображения. Объект 202 (например, голограмма 124) может показывать различные области 204, 206 для указания на полезные данные на объекте 202. Например, данные эпикардиального и/или эндокардиального картирования можно использовать для того, например, чтобы отображать данные об электрической активности на изображении сердца во время электрофизиологической процедуры, наложенные на данные анатомической визуализации сердца (например, получаемые от КТ, XperCT или МРТ). Другим примером является отображение температурных карт, которые можно получать от МРТ во время аблации или из 4D (четырехмерной) информации от высокоинтенсивного фокусированного ультразвука под контролем магнитно-резонансной томографии (MR-HIFU) во время интервенции (например, с применением систем и методов переноса цифровых МР-данных). Также можно использовать информацию, связанную с картой распределения в реальном времени дозы облучения, наложенную поверх анатомической мишени во время, например, радиационной терапии в онкологии (линейный ускоритель, брахитерапия и т.д.). Также предусмотрены другие варианты осуществления.
Если обратиться к Фиг. 3, на ней иллюстративно показана иллюстративная голографическая визуализация функциональной и анатомической информации, которую можно использовать во время интервенционной процедуры в соответствии с иллюстративным вариантом осуществления. В данном примере получают объемное изображение 302 сердца, и его можно сегментировать для уменьшения расчетной области и для определения анатомических элементов сердца в отличие от других частей изображения. Это приводит к сегментированному изображению 304. Функциональные данные или данные устройств получают посредством осуществления измерений или тестов в блоке 306 на сердце или другом анатомическом элементе. В иллюстративном варианте осуществления создают электроанатомическую карту или другую карту, соответствующую сердцу или органу. Карту совмещают с сегментированным изображением 304 для получения совмещенного изображения 310, которое может быть создано и отображено в виде голограммы. Данные реального времени катетера 308 можно собирать внутри или поблизости от сердца с применением метода определения местоположения (измерения формы и т.д.). Трассировки данных положений катетера или других связанных данных (местоположений обработки и т.д.) можно строить на голографическом изображении 312, которое содержит как анатомические данные (например, сегментированную голограмму), так и данные устройства (например, данные катетера).
Другой иллюстративный вариант осуществления в соответствии с настоящим раскрытием включает в себя получение неполных данных (например, проекций, а не полных 3D-изображений). Они могут включать в себя, например, данные в пространстве Фурье (частотном), где получают прерывистые или неполные изображения. Например, собирают данные изображения с недостаточной выборкой в частотной области. В соответствии с данным иллюстративным вариантом осуществления можно строить (генерировать, получать, отображать и т.д.) отображение голографического 3D-изображения с относительно малым или уменьшенным количеством вводимых данных и, следовательно, относительно малым или уменьшенным количеством связанных вычислительной мощности и/или времени. В зависимости от неполноты получаемых данных и того, какая конкретно информация может быть недоступна, возможно, что получаемое голографическое 3D-изображение может быть построено/отображено с (некоторыми) ограничениями. Однако, такие иллюстративные варианты осуществления могут способствовать получению динамических отображений в реальном времени или почти в реальном времени со значительно меньшими радиационным воздействием (например, в случае прямой трансляции рентгеновской визуализации), а также затратами на вычисления, такие преимущества можно учитывать (например, уравновешивать, оценивать) с точки зрения потенциальных ограничений, связанных с данным иллюстративным вариантом осуществления.
Если обратиться к Фиг. 4, другой иллюстративный вариант осуществления включает в себя введение виртуальных инструментов или объектов в голографическое отображение. В одном варианте осуществления объекты 402 можно оцифровывать или иным образом строить в виртуальной среде 404 и отображать. Объекты 402 можно вычерчивать или загружать в рабочую станцию 112 в виде данных 405 объекта и можно кодировать на устройстве 158 отображения и строить одновременно с голограммой 124. Статическое изображение объекта 402 может появляться на голограмме 124, и им можно отдельно управлять с голограммой 124 (и/или на устройстве 158 отображения). Статическое изображение можно использовать для сравнения или измерения размеров между объектом 402 и голограммой 124.
В одном варианте осуществления может быть включен конвертер 406 для применения протокола стандартизации для предоставления голографическому 3D-устройству 158 отображения интерфейса "video-ready". Например, применительно к технологии восприятия формы, конвертер 406 может форматировать координаты x, y, z от каждого локализованного инструмента или объекта 402 (катетера, имплантата и т.д.) в пространство, пригодное для считывания голографическим устройством 158 отображения (например, пространство растрированных/преобразованных при сканировании вокселов, векторное пространство и т.д.). Это может быть осуществлено с помощью рабочей станции 112 с Фиг. 1. 3D-формат должен по меньшей мере поддерживать вокселы (для объемов) и графические элементы/примитивы, например сети (виртуальный катетер может отображаться в виде трубки) и линии в 3D (для кодирования измерений и вывода текста). 3D-формат можно изменять в соответствии с настоящим раскрытием исходя из, например, конкретного лабораторного или клинического использования или применений, интеграции с другими связанными технологиями, доступных ресурсов, окружающих условий и т.д. С помощью данной возможности к видео, объектом 402 (например, построением рисунка с помощью компьютера, моделью, сканированием и т.д. для инструмента, медицинского устройства, имплантата и т.д.) можно независимо манипулировать относительно голограммы 124 на устройстве 158 отображения или в воздухе. Таким образом, объект 402 можно помещать на голограмму 124 или поблизости от нее, для того чтобы определять, будет ли соответствовать объект части голограммы 124 и т.д. Например, имплантат можно помещать через кровеносный сосуд, для того чтобы визуально проверить соответствие. Также предусмотрено, что можно использовать другую обратную связь. Например, посредством определения пространства, которое занимает объект 402, и его ориентации, модуль сравнения может быть способен определять взаимодействие между голограммой 124 и объектами 402, для того чтобы делать возможной, скажем, тактильную обратную связь для указания на то, что зазор для имплантата невозможен. Также предусмотрены другие применения.
В другом иллюстративном варианте осуществления систему 100 с Фиг. 1 и/или Фиг. 4 можно использовать в качестве средства обучения и/или тренировки. Например, практикующий специалист (например, хирург, врач, исследователь, доктор и т.д.) может перед фактическим осуществлением процедуры отрабатывать процедуру (хирургическую операцию, случай и т.д.) виртуально в отношении понимания 3D-анатомии и/или внедрения использования реальных или виртуальных приспособлений или инструментов (контролируемых объектов 128 и/или объектов 402 соответственно). Исследователь/практикующий специалист может отрабатывать (виртуально выполнять) хирургический случай/процедуру в отношении, например, определения размера имплантата, для того чтобы понять, будет ли он соответствовать анатомии конкретного пациента, и т.д.
Если обратиться к Фиг. 5, продолжая рассматривать и Фиг. 1, можно использовать отслеживаемое устройство ввода (контролируемый объект 128), например, инструмент, отслеживаемый с помощью восприятия формы, электромагнитного слежения, акустического слежения или основанного на машинном зрении оптического слежения (времяпролетные камеры или камеры структурированного света), в сочетании с устройством 158 отображения для доступа к точке 504 запуска режима виртуальной справки (или другим функциям) на голограмме 124, создаваемой модулем 148 создания изображения. Точка 504 запуска виртуальной справки может включать в себя области пикселов на устройстве отображения или голограмме. Например, при управлении виртуальными инструментами или объектами 402, можно выбирать (например, виртуально выбирать и отображать посредством использования конца отслеживаемого виртуального приспособления (402) (или используя контролируемый объект 128) область или точку 504 запуска, которые автоматически совмещаются с голограммой 124 на изображении.
В одном варианте осуществления на голограмме 124 выбирают точки 504 запуска, и может открываться меню 502 или другое интерактивное пространство для обеспечения возможности дальнейшего выбора. Например, исследователь/практикующий специалист может вначале выбирать программу, называемую "бедро", посредством активации точки 504 запуска для отображения 3D КТ-изображения бедра пациента (субъекта), и затем выбирать различные "бедренные имплантаты" различных производителей, для того чтобы увидеть и "почувствовать", какой имплантат лучше всего подойдет конкретному пациенту. Также можно использовать (например, физически держать и манипулировать) реальный имплантат в воздухе и располагать его в голографическом 3D-устройстве отображения, для того чтобы видеть, чувствовать и определять соответствие (например, может ли такой имплантат подходить конкретному пациенту, и насколько хорошо).
Фиг. 5 показывает виртуальное меню 502, которое может быть предусмотрено на голографическом устройстве 158 отображения или другом устройстве 118 отображения для обеспечения возможности выбора стента 508. Виртуальное меню 502 можно вызывать с помощью устройства 158 отображения, голограммы 124 или посредством использования интерфейса 130. Когда стент 508 выбран, на устройстве 158 отображения или голограмме 124 строится виртуальная модель (см. Фиг. 4) для обеспечения возможности манипуляции, измерения и т.д.
Виртуальное меню 502 служит для содействия принятию клинических решений, соединяя определение местоположения и иллюстративный голографический пользовательский интерфейс в соответствии с иллюстративным вариантом осуществления. При применении во время процедуры инструмент (128) с отслеживаемой формой, например катетер, можно перемещать в анатомическую область исследования (504), и виртуальное меню 502 может всплывать автоматически для каждой области, или точку 504 запуска можно активировать посредством помещения конца объекта в область точки 504 запуска или иначе активируя точку 504 запуска (например, прикасаясь к ней и т.д.). Можно выбирать имплантат или другое устройство, которое затем вводят, для того чтобы сделать возможным осуществление подбора размера/выбора устройства в виртуальном голографическом пространстве (например, на голографическом устройстве отображения или в непосредственной близости от него).
Если обратиться к Фиг. 6, в соответствии с другим иллюстративным вариантом осуществления голографическое 3D-устройство 158 отображения или голограмму 124 можно использовать во время хирургической операции для взаимодействия с устройством 602 внутри пациента. Можно использовать роботизацию в конфигурации ведущий/ведомый, где аналог 604 устройства 602 измерения формы, перемещающийся на устройстве 158 отображения, используют для приведения в движение реального устройства 602 в целевой области 606. Руки или голос 610 практикующего специалиста (хирурга, врача и т.д.) можно отслеживать с помощью основанных на датчиках и/или голосе методов, как, например, с помощью слежения за руками врача в голографическом 3D-устройстве отображения с применением устройства 608 измерения формы и системы 614 измерения формы. Соответственно, движения практикующего специалиста (включая, например (повторное) позиционирование, ориентацию и т.д. его рук), осуществляемые в голографическом устройстве 158 отображения, могут передаваться на устройство 602, такое как робот 612 (например, инструменты с роботизированным управлением), внутри пациента для воспроизведения таких движений в теле пациента и осуществления посредством этого реальных хирургического вмешательства, процедуры или операции внутри тела пациента. Таким образом, хирург может видеть, прикасаться и ощущать голографическое 3D-отображение органа, осуществлять процедуру на нем (т.е. в пределах голографического 3D-отображения), вызывая осуществление такой процедуры внутри пациента на реальном органе, или просто перемещать инструменты, например инструменты с роботизированным управлением.
Движение врача создает сенсорные сигналы с помощью датчика 608 (и/или датчиков в устройстве 604), которые адаптируются системой 100 в управляющие сигналы для управления роботом или другим устройством 602. Сигналы можно сохранять в памяти (116) для отсроченного выполнения, если нужно или требуется. Реальную процедуру можно выполнять в реальном времени (или почти в реальном времени), например робот 612 осуществляет определенное движение в теле пациента одновременно с действием хирурга в голографическом 3D-устройстве 158 отображения. Реальную процедуру можно выполнять посредством, например, робота (только) после того, как хирург завершает определенную операцию/движение (или серию операций или движений), и/или того, как хирург подтверждает, что робот должен действовать (например, после того, как выполнены некоторые заранее определенные критерии и/или пройден этап(ы) процедуры). Такая задержка (например, между виртуальным выполнением операции или движения в голографическом 3D-устройстве отображения и реальным выполнением в теле пациента) может способствовать предотвращению некорректного выполнения каких-либо движений/операций внутри пациента и уверенности в том, что все такие движения/операции выполнены точно и прецизионно, посредством предоставления хирургу возможности подтверждать движение/операцию после того, как оно было выполнено виртуально в голографическом 3D-устройстве 158 отображения до того, как оно выполняется роботом 612 реально в теле пациента 150.
Кроме того, практикующий специалист может решить переделать определенное движение/операцию, которое виртуально выполнено в голографическом 3D-устройстве 158 отображения, если данный практикующий специалист не удовлетворен такими движением или операцией (по любой причине). Таким образом, например, если хирург непреднамеренно сделал слишком далекое движение в любом конкретном направлении, когда виртуально осуществлял движение или операцию в голографическом 3D-устройстве отображения, данный хирург может решить переделать такие виртуальные движение или операцию (столько раз, сколько требуется или может быть необходимо), до тех пор пока они не будут осуществлены корректно. После этого реальные движение или операция могут быть выполнены роботом внутри пациента с динамической адаптацией операции для коррекции изменений в мишени или терапевтическом инструменте на лету (например, динамически, на непрерывной основе, в реальном времени и т.д.) или без нее.
Если обратиться к Фиг. 7, другой иллюстративный вариант осуществления включает в себя тактильную обратную связь, которую можно внедрять посредством использования, например, ультразвука для создания вибраций в воздухе. Тактильное устройство 710 может принимать множество форм. В одном варианте осуществления можно использовать набор ультразвуковых зондов 702, для того чтобы посылать настроенные волны в направлении голографического 3D-устройства 704 отображения, для того чтобы давать пользователю (например, практикующему специалисту) чувство осязания структур, отображаемых и представляемых голографическим 3D-устройством 704 отображения. Например, такие волны можно подготавливать или настраивать для представления твердых или жестких материалов костных структур, тогда как другие ткани, такие как печень и/или сосуды, можно представлять относительно мягкими "на ощупь" посредством волн, которые подготовлены или сконфигурированы соответствующим образом. Такое кодирование можно реализовывать посредством, например, модуляции частоты, амплитуды, фазы или другой пространственно-временной модуляции возбуждения, сообщаемого тактильным устройством 710 наблюдателю.
В другом варианте осуществления устройство 710 тактильной обратной связи можно использовать, например, для того чтобы представлять физическое сопротивление конкретной структуры или ткани в ответ на движение или операцию, осуществляемую практикующим специалистом. Таким образом, например, когда хирург 714 виртуально осуществляет операцию в голографическом 3D-устройстве 704 отображения с использованием тактильной обратной связи, существует возможность того, что такая операция ощущается хирургом также, как если бы хирург реально выполнял операцию внутри тела пациента. Это может быть реализовано с помощью тактильного устройства 712, такого как, например, перчатка(и), браслет или другой предмет одежды или аксессуар, имеющий актуаторы или другие вибрирующие элементы.
В соответствии с одним иллюстративным вариантом осуществления иллюстративное голографическое 3D-устройство 158 отображения может быть видно под (практически) любым углом, например, так, что все пользователи могут взаимодействовать с одними и теми же восприятием и информацией. Это имеет место для голограммы в воздухе; однако, можно использовать другие методы отображения для обеспечения множества индивидуумов одним и тем же изображением.
Если обратиться к Фиг. 8, отображаемая информация может предоставляться различным пользователям, расположенным в кабинете или на территории, посредством отображения (голографически) одинаковой или различной информации на геометрической структуре 802, такой как многогранное голографическое устройство отображения, где каждая грань устройства отображения (например, куба или многогранника) отображает информацию. Это достижимо посредством проецирования (например, бок о бок или с частичным перекрытием) на геометрическую структуру 802 множества 2D-видеопотоков 804, построенных в голографическом выводе 806. Например, голографическое "кубическое" устройство отображения в 3D может показывать/отображать на одной грани куба информацию (например, прямую трансляцию рентгеновского 2D-изображения) в одном конкретном направлении (например, направлении первого практикующего специалиста 808), тогда как другая грань куба того же самого "кубического" устройства отображения может показывать/отображать другой тип информации (например, ультразвуковое изображение) для второго практикующего специалиста 810, расположенного в другом месте кабинета (например, диаметрально противоположно устройству отображения первого практикующего специалиста).
Среднему специалисту в данной области техники в свете идей, предлагаемых в настоящем описании, ясно, что такое иллюстративное устройство отображения может быть сконфигурировано в зависимости от, например, количества пользователей в кабинете. Также возможно, чтобы положение (в кабинете) каждого пользователя/практикующего специалиста можно было отслеживать (в кабинете) и чтобы отображаемая информация для каждого индивидуума следовала за ракурсом обзора каждого пользователя, когда пользователь перемещается (например, во время процедуры). Например, одному конкретному пользователю (доктору, медицинской сестре и т.д.) может предоставляться определенная информация, которая нужна данному пользователю, независимо от того, куда в кабинете такой конкретный пользователь перемещается во время процедуры. Кроме того, также возможно, чтобы каждому пользователю было предоставлено особое устройство отображения, которое может представлять собой 2D-грань куба, такую как описано выше, или голографическое 3D-устройство отображения, настроенное или подготовленное для такого пользователя, и чтобы такое особое устройство отображения могло "следить" за пользователем, когда пользователь перемещается по кабинету.
Возможно множество комбинаций устройств отображения в соответствии с данным и другими иллюстративными вариантами осуществления, описанными в настоящем документе, позволяющих, например, отдельным пользователям иметь их собственные особые устройства отображения и/или получать такую же информацию от других пользователей, независимо от перемещения и местоположения пользователя в кабинете или в другом месте (например, вне кабинета, вне территории и т.д.). Кроме того, пользователь может выбирать вначале и изменять в любое время во время процедуры, какую информацию отображать для них посредством, например, выбора из заранее определенных шаблонов, выбора определенных информационных полей, выбора устройства отображения другого конкретного пользователя и т.д.
Следует отметить, что текст сам по себе является 2D-способом связи. Система может отображать формы/символы, идентифицируемые с множества точек обзора, или представлять текст, ориентированный в направлении зрителя. В случае множества зрителей ориентированный текст может быть показан в множестве направлений одновременно или каждому независимо в различных кадрах.
Если обратиться к Фиг. 9, в другом иллюстративном варианте осуществления удаленная система 900 может иметь по меньшей мере некоторые из возможностей системы 100 (Фиг. 1), но быть расположена удаленно относительно пациента 902 и инструментов сбора данных. Пользователь (практикующий специалист, хирург, исследователь и т.д.) может проводить процедуру удаленно (например, пользователь при этом физически расположен вне местоположения, в котором расположен субъект/пациент 902), или ассистировать, или обеспечивать руководство процедурой удаленно. Например, пользователь может выполнять процедуру/операцию на иллюстративном голографическом отображении 904, расположенном в своем местоположении. В одном варианте осуществления устройство 904 отображения соединено (например, через интернет или другую сеть 910 (проводную или беспроводную)) с системой 100, расположенной в местоположении пациента 902. Система 100 может находиться в постоянной связи с удаленной системой 900 (например, где расположен пользователь), так чтобы голографическое отображение 904 постоянно обновлялось (почти) в реальном времени. Кроме того, система 100 может включать в себя инструменты с роботизированным управлением 906, например внутри пациента, которые управляются посредством команд, подаваемых (например, через интернет) удаленной системой 900, как описано выше. Данные команды генерируются на основании пользовательского взаимодействия с голографическим устройством 904 отображения. Голографические устройства 158 и 904 отображения могут содержать один и тот же предмет в одном или более местоположениях, так что одна и та же информация передается в каждое местоположение. Например, данный вариант осуществления может включать, например, предоставление руководства или ассистирования другому доктору по всему миру, для проверки коллегами, экспертного ассистирования или виртуального класса, где множество студентов могут присутствовать при прямой трансляции случая из различных местоположений во всем мире.
Некоторые или все иллюстративные варианты осуществления и признаки, описанные в настоящем документе, можно также использовать (по меньшей мере частично) в сочетании или комбинации с любыми другими вариантами осуществления, описанными в настоящем документе.
Если обратиться к Фиг. 10, на ней показан способ взаимодействия с голографическим устройством отображения в соответствии с иллюстративными вариантами осуществления. В блоке 1002 голографически построенное анатомическое изображение создают и отображают. Изображение может содержать один или более органов или анатомических областей. Голографически построенное анатомическое изображение можно создавать в воздухе.
В блоке 1004 определяют местоположение контролируемого пространства на голографически построенном анатомическом изображении или поблизости от него для определения области взаимодействия. Система определения местоположения может включать одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы, матрицы светочувствительных датчиков и/или другой сенсорной модальности. Положение и ориентация контролируемого пространства и один или более контролируемых объектов предпочтительно определяют в одной и той же системе координат. Один или более контролируемых объектов могут включать медицинский инструмент, анатомический элемент пользователя, виртуальный объект и т.д.
В блоке 1006 контролируют положение и ориентацию одного или более контролируемых объектов посредством системы определения местоположения. В блоке 1008 определяют совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами. В блоке 1010, если определено совпадение, вызывается отклик на голографически построенном анатомическом изображении. В блоке 1012 отклик может включать в себя перемещение голографически построенного анатомического изображения (например, 6DOF) или изменение его визуальных характеристик. В блоке 1014 отклик может включать в себя коррекцию масштаба (увеличение) или других оптических характеристик голографически построенного анатомического изображения. В блоке 1016 на голографически построенное анатомическое изображение могут быть нанесены обозначения, пометки, оно может быть выбрано в качестве мишени и т.д. В блоке 1018 могут быть определены точки обзора камер (для других зрителей или устройств отображения). В блоке 1020 может быть создана обратная связь с пользователем. Обратная связь может включать тактильную обратную связь (вибрационное устройство или воздух), оптическую обратную связь (визуальные или цветовые изменения), акустическую обратную связь (речевую, аварийные сигналы) и т.д.
В блоке 1022 может предоставляться и контролироваться системой определения местоположения область отклика, так что при активации области отклика происходит событие на устройстве отображения. Событие на устройстве отображения может включать в себя: генерирование справочного меню в блоке 1024; генерирование меню виртуальных объектов для включения в голографически построенное анатомическое изображение после выбора в блоке 1026; и генерирование информации для отображения в блоке 1028.
В блоке 1030 может быть создано голографически построенное анатомическое изображение с наложенными медицинскими данными, нанесенными в некоторых положениях на голографически построенном анатомическом изображении. В блоке 1032 отклик, который вызван, может включать в себя генерирование управляющих сигналов для работы инструментов с роботизированным управлением. Управляющие сигналы могут позволять выполнение удаленных операций.
При интерпретации прилагаемой формулы изобретения следует понимать, что:
a) слово "содержащий" не исключает присутствия других элементов или действий, чем перечисленные в данном пункте формулы изобретения;
b) единственное число элемента не исключает присутствия множества таких элементов;
c) все ссылочные позиции в пунктах формулы изобретения не ограничивают их объем;
d) несколько "средств" может быть предоставлено одним и тем же элементом, или структурой, или функцией, реализованными с помощью аппаратного обеспечения, или программного обеспечения; и
e) не предполагается, что требуется определенная последовательность действий, если иное не указано специально.
Притом, что описаны предпочтительные варианты осуществления голографических пользовательских интерфейсов для медицинских процедур (которые, как предполагается, являются иллюстративными и неограничивающими), следует отметить, что специалистами в данной области техники могут осуществляться модификации и изменения в свете вышеизложенных идей. Следовательно, следует понимать, что могут осуществляться изменения в конкретных вариантах осуществления раскрытого раскрытия, которые лежат в пределах объема вариантов осуществления, раскрытых в настоящем описании, как обозначено прилагаемой формулой изобретения. Таким образом, притом, что описаны детали и подробности, требуемые патентным законодательством, то, что заявляется и предполагается защитить патентом, перечислено в прилагаемой формуле изобретения.
Claims (29)
1. Система интерактивного голографического отображения, содержащая:
модуль (115) создания голограммы, сконфигурированный с возможностью отображать голографически построенное анатомическое изображение (124);
систему (120) определения местоположения, сконфигурированную с возможностью определять контролируемое пространство (126) на голографически построенном анатомическом изображении или поблизости от него; и
один или более контролируемых объектов (128), содержащих анатомический элемент пользователя или виртуальный объект, положение и ориентация которых контролируются системой определения местоположения таким образом, что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении;
причем система определения местоположения включает в себя одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы и матрицы светочувствительных датчиков для определения положения и ориентации контролируемого пространства и одного или более контролируемых объектов в одной и той же системе координат.
2. Система по п. 1, в которой отклик на голографически построенном анатомическом изображении (124) включает в себя одно или более из: сдвига или вращения голографически построенного анатомического изображения и коррекции увеличения голографически построенного анатомического изображения.
3. Система по п. 1, в которой голографически построенное анатомическое изображение (124) отображает наложенные медицинские данные, нанесенные на него в некоторых положениях.
4. Система по п. 1, в которой отклик на голографически построенном анатомическом изображении (124) генерирует управляющие сигналы для работы инструментов (602) с роботизированным управлением.
5. Система по п. 1, в которой отклик на голографически построенном анатомическом изображении включает в себя исходные точки (162), размещенные так, чтобы направлять углы виртуальной камеры для дополнительного устройства отображения.
6. Система по п. 1, при этом система интерактивного голографического отображения расположена удаленно от местоположения пациента и соединена с местоположением пациента через коммуникационную сеть (910), так что голографически построенное анатомическое изображение используют для удаленного управления инструментами (906) в местоположении пациента.
7. Система по п. 1, дополнительно содержащая механизм (166) распознавания речи, сконфигурированный с возможностью преобразовывать голосовые команды в команды изменения визуальных характеристик голографически построенного анатомического изображения.
8. Система интерактивного голографического отображения, содержащая:
процессор (114);
память (116), связанную с процессором;
модуль (115) создания голограммы, содержащийся в памяти и сконфигурированный с возможностью отображать голографически построенное анатомическое изображение (124) в виде голограммы в воздухе или на голографическом устройстве отображения;
систему (120) определения местоположения, сконфигурированную с возможностью определять контролируемое пространство (126) на голографически построенном анатомическом изображении или поблизости от него;
один или более контролируемых объектов (128), содержащих анатомический элемент пользователя или виртуальный объект, положение и ориентация которых контролируются системой определения местоположения таким образом, что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении, причем данный отклик на голографически построенном анатомическом изображении включает в себя одно или более из: сдвига или вращения голографически построенного анатомического изображения и коррекции увеличения голографически построенного анатомического изображения;
причем система определения местоположения включает в себя одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы и матрицы светочувствительных датчиков для определения положения и ориентации контролируемого пространства и одного или более контролируемых объектов в одной и той же системе координат.
9. Система по п. 8, в которой голографически построенное анатомическое изображение (124) отображает наложенные медицинские данные, нанесенные на него в некоторых положениях.
10. Система по п. 8, в которой отклик на голографически построенном анатомическом изображении генерирует управляющие сигналы для работы инструментов (602) с роботизированным управлением.
11. Система по п. 8, в которой отклик на голографически построенном анатомическом изображении включает в себя исходные точки (162), размещенные так, чтобы направлять углы виртуальной камеры для дополнительного устройства отображения.
12. Система по п. 8, дополнительно содержащая механизм (166) распознавания речи, сконфигурированный с возможностью преобразовывать голосовые команды в команды изменения визуальных характеристик голографически построенного анатомического изображения.
13. Способ взаимодействия с голографическим устройством отображения, содержащий:
отображение (1002) голографически построенного анатомического изображения;
определение (1004) местоположения контролируемого пространства на голографически построенном анатомическом изображении или поблизости от него для определения области взаимодействия системой определения местоположения, которая включает в себя одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы и матрицы светочувствительных датчиков;контроль (1006) положения и ориентации одного или более контролируемых объектов, содержащих анатомический элемент пользователя или виртуальный объект, системой определения местоположения;
определение (1008) совпадения пространственных точек между контролируемым пространством и одним или более контролируемыми объектами; и,
если определено совпадение, вызывание (1010) отклика на голографически построенном анатомическом изображении.
14. Способ по п. 13, в котором вызывание отклика включает в себя одно или более из: перемещения (1012) голографически построенного анатомического изображения и коррекции (1014) масштаба голографически построенного анатомического изображения.
15. Способ по п. 13, дополнительно содержащий построение (1030) голографически построенного анатомического изображения с наложенными медицинскими данными, нанесенными в некоторых положениях на голографически построенном анатомическом изображении.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161549273P | 2011-10-20 | 2011-10-20 | |
US61/549,273 | 2011-10-20 | ||
PCT/IB2012/055595 WO2013057649A1 (en) | 2011-10-20 | 2012-10-15 | Holographic user interfaces for medical procedures |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2014120182A RU2014120182A (ru) | 2015-11-27 |
RU2608322C2 true RU2608322C2 (ru) | 2017-01-17 |
Family
ID=47326233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2014120182A RU2608322C2 (ru) | 2011-10-20 | 2012-10-15 | Голографические пользовательские интерфейсы для медицинских процедур |
Country Status (8)
Country | Link |
---|---|
US (1) | US20140282008A1 (ru) |
EP (1) | EP2769270B1 (ru) |
JP (1) | JP6157486B2 (ru) |
CN (1) | CN103959179B (ru) |
BR (1) | BR112014009129A2 (ru) |
IN (1) | IN2014CN03103A (ru) |
RU (1) | RU2608322C2 (ru) |
WO (1) | WO2013057649A1 (ru) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2749119B1 (en) * | 2011-08-24 | 2017-11-29 | LG Electronics Inc. | Mobile terminal and controlling method thereof |
EP2629178B1 (en) * | 2012-02-15 | 2018-01-10 | Immersion Corporation | High definition haptic effects generation using primitives |
KR101409845B1 (ko) * | 2012-12-20 | 2014-06-19 | 전자부품연구원 | 영상 표시 장치 및 방법 |
US9383975B1 (en) | 2013-01-28 | 2016-07-05 | Richard Stanley Fencel | Projection of software and integrated circuit diagrams into actual 3D space |
US20140218397A1 (en) * | 2013-02-04 | 2014-08-07 | Mckesson Financial Holdings | Method and apparatus for providing virtual device planning |
US9639666B2 (en) * | 2013-03-15 | 2017-05-02 | Covidien Lp | Pathway planning system and method |
US9804675B2 (en) | 2013-06-27 | 2017-10-31 | Elwha Llc | Tactile feedback generated by non-linear interaction of surface acoustic waves |
US20150003204A1 (en) * | 2013-06-27 | 2015-01-01 | Elwha Llc | Tactile feedback in a two or three dimensional airspace |
CN104679226B (zh) * | 2013-11-29 | 2019-06-25 | 上海西门子医疗器械有限公司 | 非接触式医疗控制系统、方法及医疗设备 |
CN105302281A (zh) * | 2014-05-28 | 2016-02-03 | 席东民 | 一种全息虚拟触觉产生装置 |
EP3095377A4 (en) * | 2014-06-10 | 2017-09-13 | Olympus Corporation | Endoscope system and endoscope system operation method |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
CN105373212B (zh) * | 2014-08-25 | 2020-06-23 | 席东民 | 一种虚拟触觉产生装置 |
JP5927366B1 (ja) * | 2014-09-24 | 2016-06-01 | オリンパス株式会社 | 医療システム |
DE102015118050A1 (de) * | 2014-10-24 | 2016-04-28 | Hectec Gmbh | Verfahren zur Planung, Vorbereitung, Begleitung, Überwachung und/oder abschließenden Kontrolle eines operativen Eingriffs in den menschlichen oder tierischen Körper, Vorrichtung zum Ausführen eines solchen Eingriffs und Verwendung der Vorrichtung |
US10235807B2 (en) * | 2015-01-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Building holographic content using holographic tools |
US10740971B2 (en) | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
US10007413B2 (en) | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
US20160314621A1 (en) | 2015-04-27 | 2016-10-27 | David M. Hill | Mixed environment display of attached data |
CN104771232A (zh) * | 2015-05-05 | 2015-07-15 | 北京汇影互联科技有限公司 | 一种电磁定位系统及其三维影像视角的选取方法 |
US20160364003A1 (en) * | 2015-06-10 | 2016-12-15 | Wayne Patrick O'Brien | Holographic interface for manipulation |
US11449146B2 (en) * | 2015-06-10 | 2022-09-20 | Wayne Patrick O'Brien | Interactive holographic human-computer interface |
US9520002B1 (en) | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
CN107924459B (zh) * | 2015-06-24 | 2021-08-27 | 埃达技术股份有限公司 | 用于肾结石去除程序的交互式3d镜放置和测量的方法和系统 |
US9984478B2 (en) * | 2015-07-28 | 2018-05-29 | PME IP Pty Ltd | Apparatus and method for visualizing digital breast tomosynthesis and other volumetric images |
US9952656B2 (en) | 2015-08-21 | 2018-04-24 | Microsoft Technology Licensing, Llc | Portable holographic user interface for an interactive 3D environment |
US10007352B2 (en) | 2015-08-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Holographic display system with undo functionality |
KR20170029320A (ko) * | 2015-09-07 | 2017-03-15 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US10304247B2 (en) | 2015-12-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Third party holographic portal |
US9990078B2 (en) | 2015-12-11 | 2018-06-05 | Immersion Corporation | Systems and methods for position-based haptic effects |
DE102015226669B4 (de) * | 2015-12-23 | 2022-07-28 | Siemens Healthcare Gmbh | Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information |
CA3016346A1 (en) | 2016-03-21 | 2017-09-28 | Washington University | Virtual reality or augmented reality visualization of 3d medical images |
CN105898217B (zh) * | 2016-04-14 | 2019-08-06 | 京东方科技集团股份有限公司 | 全息操作设备及控制设备、全息操作方法及控制方法 |
CN105739281B (zh) | 2016-04-14 | 2018-12-21 | 京东方科技集团股份有限公司 | 图像显示系统以及图像显示方法 |
US10126553B2 (en) | 2016-06-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Control device with holographic element |
US10620717B2 (en) | 2016-06-30 | 2020-04-14 | Microsoft Technology Licensing, Llc | Position-determining input device |
US10242643B2 (en) | 2016-07-18 | 2019-03-26 | Microsoft Technology Licensing, Llc | Constrained head-mounted display communication |
GB2568426B (en) | 2016-08-17 | 2021-12-15 | Synaptive Medical Inc | Methods and systems for registration of virtual space with real space in an augmented reality system |
US10394317B2 (en) * | 2016-09-15 | 2019-08-27 | International Business Machines Corporation | Interaction with holographic image notification |
US10768630B2 (en) * | 2017-02-09 | 2020-09-08 | International Business Machines Corporation | Human imperceptible signals |
CN107194163A (zh) * | 2017-05-15 | 2017-09-22 | 上海联影医疗科技有限公司 | 一种显示方法和系统 |
US10748443B2 (en) * | 2017-06-08 | 2020-08-18 | Honeywell International Inc. | Apparatus and method for visual-assisted training, collaboration, and monitoring in augmented/virtual reality in industrial automation systems and other systems |
US10898272B2 (en) * | 2017-08-08 | 2021-01-26 | Biosense Webster (Israel) Ltd. | Visualizing navigation of a medical device in a patient organ using a dummy device and a physical 3D model |
US10957427B2 (en) | 2017-08-10 | 2021-03-23 | Nuance Communications, Inc. | Automated clinical documentation system and method |
US11316865B2 (en) | 2017-08-10 | 2022-04-26 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
DE102017127718A1 (de) * | 2017-11-23 | 2019-05-23 | Olympus Winter & Ibe Gmbh | Benutzerassistenzsystem für wiederverwendbare Medizinprodukte |
WO2020072034A1 (en) * | 2018-10-01 | 2020-04-09 | Leia Inc. | Holographic reality system, multiview display, and method |
US11320911B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Hand motion and orientation-aware buttons and grabbable objects in mixed reality |
KR20220048973A (ko) * | 2019-05-29 | 2022-04-20 | 스티븐 비. 머피 | 수술에서 증강 현실을 이용하기 위한 시스템들 및 방법들 |
JP2022552064A (ja) * | 2019-08-19 | 2022-12-15 | ライト フィールド ラボ、インコーポレイテッド | 消費者向けデバイスのライトフィールドディスプレイ |
US10981046B2 (en) | 2019-08-26 | 2021-04-20 | Light Field Lab, Inc. | Light field display system for sporting events |
US20210236209A1 (en) * | 2020-02-01 | 2021-08-05 | Mediview Xr, Inc. | Real time fused holographic visualization and guidance for deployment of structural heart repair or replacement product |
DE102020204785A1 (de) * | 2020-04-15 | 2021-10-21 | Fresenius Medical Care Deutschland Gmbh | Medizinisches Gerät mit einem Display und mit einer Verarbeitungseinheit und Verfahren hierfür |
US11564767B2 (en) * | 2020-04-22 | 2023-01-31 | Warsaw Orthopedic, Inc. | Clinical diagnosis and treatment planning system and methods of use |
EP4176435A1 (en) * | 2020-07-03 | 2023-05-10 | Varian Medical Systems International AG | Radioablation treatment systems and methods |
WO2022135604A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳迈瑞生物医疗电子股份有限公司 | 医疗信息显示系统及医疗系统 |
GB2603911B (en) * | 2021-02-17 | 2023-06-07 | Advanced Risc Mach Ltd | Foveation for a holographic imaging system |
US11478327B2 (en) | 2021-02-18 | 2022-10-25 | Xenco Medical, Inc. | Surgical display |
US11273003B1 (en) * | 2021-02-18 | 2022-03-15 | Xenco Medical, Inc. | Surgical display |
EP4134974A1 (en) | 2021-08-12 | 2023-02-15 | Koninklijke Philips N.V. | Dynamic care assistance mechanism |
US11681373B1 (en) * | 2021-12-08 | 2023-06-20 | International Business Machines Corporation | Finger movement management with haptic feedback in touch-enabled devices |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090309874A1 (en) * | 2008-06-11 | 2009-12-17 | Siemens Medical Solutions Usa, Inc. | Method for Display of Pre-Rendered Computer Aided Diagnosis Results |
US20100020926A1 (en) * | 2008-07-25 | 2010-01-28 | Jan Boese | Method for representing interventional instruments in a 3d data set of an anatomy to be examined as well as a reproduction system for performing the method |
WO2010092533A1 (en) * | 2009-02-13 | 2010-08-19 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and apparatus for 3d object shape and surface topology measurements by contour depth extraction acquired in a single shot |
US20110128555A1 (en) * | 2008-07-10 | 2011-06-02 | Real View Imaging Ltd. | Broad viewing angle displays and user interfaces |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4001643B2 (ja) * | 1993-10-05 | 2007-10-31 | スナップ−オン・テクノロジイズ・インク | 両手解放型自動車整備装置 |
US20020036617A1 (en) * | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
DE10130278B4 (de) * | 2001-06-26 | 2005-11-03 | Carl Zeiss Meditec Ag | Verfahren und Vorrichtung zur Darstellung eines Operationsgebietes bei Laseroperationen |
US6975994B2 (en) * | 2001-09-12 | 2005-12-13 | Technology Innovations, Llc | Device for providing speech driven control of a media presentation |
US7831292B2 (en) * | 2002-03-06 | 2010-11-09 | Mako Surgical Corp. | Guidance system and method for surgical procedures with improved feedback |
WO2005010623A2 (en) * | 2003-07-24 | 2005-02-03 | Zebra Imaging, Inc. | Enhanced environment visualization using holographic stereograms |
CN1934457A (zh) * | 2004-03-26 | 2007-03-21 | 皇家飞利浦电子股份有限公司 | Mr系统的非专家控制 |
US20070182812A1 (en) * | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
US7824328B2 (en) * | 2006-09-18 | 2010-11-02 | Stryker Corporation | Method and apparatus for tracking a surgical instrument during surgery |
US20080231926A1 (en) * | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
DE102008015312A1 (de) * | 2008-03-20 | 2009-10-01 | Siemens Aktiengesellschaft | Displaysystem zur Wiedergabe medizinischer Hologramme |
US7720322B2 (en) * | 2008-06-30 | 2010-05-18 | Intuitive Surgical, Inc. | Fiber optic shape sensor |
US10004387B2 (en) * | 2009-03-26 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Method and system for assisting an operator in endoscopic navigation |
KR101114750B1 (ko) * | 2010-01-29 | 2012-03-05 | 주식회사 팬택 | 다차원 영상을 이용한 사용자 인터페이스 장치 |
-
2012
- 2012-10-15 IN IN3103CHN2014 patent/IN2014CN03103A/en unknown
- 2012-10-15 US US14/352,409 patent/US20140282008A1/en not_active Abandoned
- 2012-10-15 EP EP12798835.0A patent/EP2769270B1/en not_active Not-in-force
- 2012-10-15 WO PCT/IB2012/055595 patent/WO2013057649A1/en active Application Filing
- 2012-10-15 BR BR112014009129A patent/BR112014009129A2/pt not_active Application Discontinuation
- 2012-10-15 JP JP2014536380A patent/JP6157486B2/ja not_active Expired - Fee Related
- 2012-10-15 CN CN201280051749.8A patent/CN103959179B/zh not_active Expired - Fee Related
- 2012-10-15 RU RU2014120182A patent/RU2608322C2/ru not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090309874A1 (en) * | 2008-06-11 | 2009-12-17 | Siemens Medical Solutions Usa, Inc. | Method for Display of Pre-Rendered Computer Aided Diagnosis Results |
US20110128555A1 (en) * | 2008-07-10 | 2011-06-02 | Real View Imaging Ltd. | Broad viewing angle displays and user interfaces |
US20100020926A1 (en) * | 2008-07-25 | 2010-01-28 | Jan Boese | Method for representing interventional instruments in a 3d data set of an anatomy to be examined as well as a reproduction system for performing the method |
WO2010092533A1 (en) * | 2009-02-13 | 2010-08-19 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and apparatus for 3d object shape and surface topology measurements by contour depth extraction acquired in a single shot |
Also Published As
Publication number | Publication date |
---|---|
JP6157486B2 (ja) | 2017-07-05 |
WO2013057649A1 (en) | 2013-04-25 |
JP2015504320A (ja) | 2015-02-12 |
US20140282008A1 (en) | 2014-09-18 |
EP2769270A1 (en) | 2014-08-27 |
CN103959179B (zh) | 2017-09-15 |
CN103959179A (zh) | 2014-07-30 |
EP2769270B1 (en) | 2018-09-19 |
BR112014009129A2 (pt) | 2017-04-18 |
IN2014CN03103A (ru) | 2015-07-03 |
RU2014120182A (ru) | 2015-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2608322C2 (ru) | Голографические пользовательские интерфейсы для медицинских процедур | |
US10580325B2 (en) | System and method for performing a computerized simulation of a medical procedure | |
CN103415255B (zh) | 利用血管内装置形状对血管图像进行非刚性体变形 | |
JP5437997B2 (ja) | 放射性イメージングのための画像生成装置および方法 | |
JP5992448B2 (ja) | 画像システム及び方法 | |
EP3857519B1 (en) | Overlay and manipulation of medical images in a virtual environment | |
De Paolis et al. | Augmented visualization with depth perception cues to improve the surgeon’s performance in minimally invasive surgery | |
Gsaxner et al. | The HoloLens in medicine: A systematic review and taxonomy | |
JP2018534011A (ja) | 拡張現実感手術ナビゲーション | |
JP2014512550A6 (ja) | 画像システム及び方法 | |
JP2021510107A (ja) | 超音波画像データの三次元撮像およびモデリング | |
CN105592816B (zh) | 具有用户可定义的感兴趣区域的图像引导系统 | |
Sugimoto | Extended reality (XR: VR/AR/MR), 3D printing, holography, AI, radiomics, and online VR Tele-medicine for precision surgery | |
CN115804652A (zh) | 手术操作系统及方法 | |
US6616618B2 (en) | Method of and device for visualizing the orientation of therapeutic sound waves onto an area to be treated or processed | |
Ivaschenko et al. | Focused visualization in surgery training and navigation | |
Indraccolo et al. | Augmented reality and MYO for a touchless interaction with virtual organs | |
Porro et al. | An integrated environment for plastic surgery support: building virtual patients, simulating interventions, and supporting intraoperative decisions | |
De Paolis et al. | Advanced visualization and interaction systems for surgical pre-operative planning | |
US11869216B2 (en) | Registration of an anatomical body part by detecting a finger pose | |
US20210358220A1 (en) | Adapting an augmented and/or virtual reality | |
Krapichler et al. | Human-machine interface for a VR-based medical imaging environment | |
Armstrong | Performance factors in neurosurgical simulation and augmented reality image guidance | |
Singh | Augmented Reality on the da Vinci Surgical System | |
Ghandorh | Augmented Reality Simulation Modules for EVD Placement Training and Planning Aids |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20201016 |