RU2754288C1 - Способ подготовки и выполнения хирургической операции на голове с использованием смешанной реальности - Google Patents

Abstract

Изобретение относится к медицине, а именно к способам подготовки и выполнения хирургической операции на голове с использованием смешанной реальности. При осуществлении способа пациенту проводят компьютерную томографию головы, результаты сканирования передают на компьютер, где выполняют построение трехмерных моделей анатомических структур, представляющих интерес для хирурга. На построенной 3D модели головы выбирают области, на которых будет фиксироваться держатель оптического маркера. Держатель должен обеспечивать возможность опоры на мягкие ткани, расположенные над лобной, теменной и носовой костями черепа, и иметь форму, позволяющую ему, при условии плотного прилегания к голове, занимать на ней единственное фиксированное положение. На основе выбранных областей осуществляют построение трехмерной модели держателя и печатают его на 3D принтере. К изготовленному держателю одной из граней прикрепляют объемный оптический маркер, на каждую открытую грань которого нанесен уникальный код, созданный таким образом, чтобы камера, встроенная в очки, смогла его распознать и определить ориентацию и положение маркера. В очки смешанной реальности загружают данные, включающие модель маркера с нанесенным кодом и связанные с ним трехмерные модели анатомических структур. Маркер при помощи держателя фиксируют на голове пациента в положении, совпадающем с положением модели держателя на трехмерной модели головы. Достигается упрощение способа подготовки и выполнения хирургической операции на голове с использованием смешанной реальности, с сохранением или увеличением точности совмещения виртуальных 3D моделей анатомических структур с телом пациента. 3 з.п. ф-лы, 14 ил.

Description

Изобретение относится к медицине, а именно к способам подготовки и выполнения хирургических операций с использованием смешанной реальности.

Изобретение может быть использовано, в частности, в челюстно-лицевой и реконструктивной хирургии, например, при выполнении реконструктивно-пластических операций для устранения обширных дефектов челюстей и окружающих мягких тканей, возникших после удаления злокачественных и доброкачественных новообразований, в результате травм и деформаций различного генеза.

Технология смешанной реальности (Mixed reality, MR) дает возможность наблюдателю видеть виртуальные объекты в контексте реального мира. Современный подход позволяет проецировать изображение этих объектов перед глазами пользователя в виде голограммы, используя для этого так называемые очки смешанной реальности. Это позволяет наблюдателю взаимодействовать в реальном времени между различными материальными и виртуальными объектами, как будто они существуют в единой среде. Используя эту особенность, можно повысить производительность и качество услуг во многих областях, в частности, в хирургии головы и шеи.

В настоящее время опубликовано немало научных трудов по использованию смешанной реальности в разных областях медицины: нейрохирургии, кардиологии, урологии, пластической хирургии, в том числе стоматологии и челюстно-лицевой хирургии.

Известен способ хирургического лечения глубоких ожогов кожи [патент RU2639449, опубликован 21.12.2017]. Хирургическое лечение ожогов выполняют в первые часы после получения ожога. Перед выполнением оперативного вмешательства выполняют неинвазивные дерматологические исследования области повреждения, результаты которых обрабатывают с помощью аппаратно-программного комплекса. Определяют необходимый объем оперативного вмешательства, создавая виртуальное сопровождение операции с возможностью отслеживать и контролировать действия хирурга, который работает в очках с дополненной реальностью. Некрэктомию тканей выполняют строго до подкожной жировой клетчатки, которую интимно укрывают пластическим рассасывающимся биоматериалом.

Недостаток этого способа заключается в том, что не предлагается полное совмещение виртуальной модели пораженной области с телом пациента. Это не позволяет полностью реализовать достоинства данной технологии и добиться максимальной результативности при проведении операции.

Известен способ навигации на основе дополненной реальности для использования в хирургических и нехирургических процедурах, под управлением переносного вычислительного устройства (очков дополненной реальности) [заявка US 20200188030, опубликована 18.06.2020]. В заявке показано переносное вычислительное устройство, включающее один или несколько датчиков, частично или полностью прозрачный дисплей и систему управления. Система управления сконфигурирована для приема данных, показывающих трехмерную модель части тела. Система управления дополнительно сконфигурирована для приема данных от одного или нескольких датчиков. На основе данных от датчиков система управления дополнительно конфигурируется для определения относительного положения части физического тела относительно носимого вычислительного устройства. На основе определенного относительного положения система управления конфигурируется так, чтобы при просмотре через дисплей голограмма, соответствующая по меньшей мере части трехмерной модели части тела отображалась так, что казалась наложенной на по меньшей мере часть физического тела.

Размещение маркеров непосредственно на анатомических ориентирах на теле пациента при подготовке к хирургической операции на голове сопряжено со следующими проблемами:

- Очевидно, что маркеры на анатомические ориентиры могут устанавливаться только вне операционного поля - это ограничивает возможности по выбору места для их размещения. Таким образом, при проведении хирургической операции в челюстно-лицевой области, для размещения маркеров может возникнуть необходимость обрить голову, что вызовет дополнительный дискомфорт у пациента.

- В некоторых положениях наблюдателя относительно пациента часть или все маркеры могут оказаться вне прямой видимости для камер очков и тогда трекинг будет потерян.

- Размещение маркеров на эластичных, легко деформируемых поверхностях снижает точность трекинга.

- Из-за возможности отклеивания или смещения маркеров данная технология существенно ужесточает требования к максимальному периоду времени от момента размещения маркеров и проведения томографического обследования пациента до выполнения хирургической операции.

Наиболее близким по технической сущности является способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для ее осуществления [патент RU2707369, опубликован 26.11.2019]. Способ включает этапы планирования хирургической операции, хирургической навигации и хирургического вмешательства с использованием дополненной реальности, причем на этапе планирования хирургической операции пациенту проводят компьютерную или магнитно-резонансную томографию и формируют трехмерное растровое изображение индивидуальной анатомии пациента, которое передают на компьютер комплекса оборудования для осуществления хирургической операции с использованием дополненной реальности, при этом на этапе хирургической навигации выполняют построение контура и трехмерную реконструкцию всех анатомических структур, представляющих интерес для хирурга в предстоящей операции, путем установки трех ключевых точек на анатомических ориентирах, видимых на экране компьютера в виде трехмерной модели и также видимых или осязаемых на теле пациента, причем точки выбирают с возможностью образования ими треугольника, после чего выбирают траекторию и безопасные пределы хирургического доступа, определяют матрицу трансформации координат между системой координат стереокамеры комплекса и системой координат томографа, в котором пациент проходил диагностику, посредством установки кончиком навигационной указки комплекса на теле пациента тех же трех точек и в той же последовательности, что и на анатомической модели, и фиксации компьютером комплекса позиции точек, после установки трех ключевых точек, при необходимости устанавливают дополнительные точки, находящиеся на той же анатомической поверхности, после чего запускают процесс регистрации точек с точками на поверхности трехмерных моделей анатомии пациента, при этом на экране компьютера дополнительно отображают трехмерную модель навигационной указки, при этом положение и ориентация трехмерной модели навигационной указки относительно моделей анатомии пациента соответствует физическому положению указки относительно анатомической поверхности пациента, на этапе хирургического вмешательства используют навигационную указку для поиска интересующих анатомических структур, точки доступа к ним, направления их расположения относительно точки доступа, расстояния до них, а также для ограничения области хирургического доступа, при этом ориентируясь на изображение на экране компьютера или в очках дополненной реальности, в область хирургического доступа устанавливают навигационную указку таким образом, чтобы интересующая анатомическая структура находилась на линии продолжения указки, при этом на экране отображается расстояние до анатомической структуры в миллиметрах, а для ограничения области хирургического доступа, ориентируясь на изображение на экране компьютера или в очках дополненной реальности, перемещают навигационную указку таким образом, чтобы линия продолжения указки двигалась вдоль контура интересующей анатомической структуры, указку двигают по линии проекции интересующей анатомической структуры на поверхности тела и очерчивают область предстоящего хирургического доступа, после чего выполняют хирургическую операцию, в ходе которой при необходимости устанавливают новую точку доступа и корректируют область доступа. Комплекс оборудования для осуществления хирургической операции с использованием дополненной реальности содержит блок камер, установленный над операционным полем и включающий камеру дополненной реальности и ToF-камеру, стереокамеру, работающую в инфракрасном диапазоне длин волн, очки дополненной реальности, содержащие пульт управления, связанные с компьютером, и маркеры, при этом стереокамера установлена таким образом, что в область ее видимости попадают маркеры, выполненные сферическими и отражающими, расположенные на блоке камер, навигационной указке, очках дополненной реальности и базовом маркере системы координат, причем конфигурация маркеров на каждом из них отлична от других, базовый маркер системы координат неподвижно закреплен на черепном зажиме или операционном столе, а компьютер снабжен ножным контроллером в виде блока с педалями.

Недостатком предложенного способа является сложность этапа хирургической навигации, а также недостаточная точность совмещения трехмерной модели анатомических структур (голограммы) с телом пациента. Дополнительную сложность вносит необходимость использования, кроме ключевых точек, базового маркера для отслеживания перемещения пациента.

Предлагаемое изобретение направлено на упрощение способа подготовки и выполнения хирургической операции на голове с использованием смешанной реальности, с сохранением или увеличением точности совмещения виртуальных 3D моделей (голограмм) всех анатомических структур, представляющих интерес для хирурга в предстоящей операции, с телом пациента. Это даст возможность использовать технологию смешанной реальности для проведения сложных хирургических операций, требующих высокой точности и абластичности.

Сущность способа подготовки и выполнения хирургической операции на голове с использованием смешанной реальности заключается в том, что пациенту проводят компьютерную томографию головы, результаты сканирования передают на компьютер, где выполняют построение трехмерных моделей всех анатомических структур, представляющих интерес для хирурга в предстоящей операции, затем, на построенной 3D модели головы выбирают области, на которых будет фиксироваться держатель оптического маркера, при этом держатель должен обеспечивать возможность опоры на мягкие ткани, расположенные над лобной, теменной и носовой костями черепа и иметь форму, позволяющую ему, при условии плотного прилегания к голове, занимать на ней единственное фиксированное положение, после чего, на основе выбранных областей, осуществляют построение трехмерной модели держателя и печатают его на 3D принтере, затем к изготовленному держателю одной из граней прикрепляют объемный оптический маркер, на каждую открытую грань которого нанесен уникальный код, созданный таким образом, чтобы камера, встроенная в очки, смогла его распознать и определить ориентацию и положение маркера, после чего в очки смешанной реальности загружают данные, включающие модель маркера с нанесенным кодом и связанные с ним трехмерные модели анатомических структур, построенные ранее, далее, маркер при помощи держателя фиксируют на голове пациента в положении, совпадающем с положением модели держателя на трехмерной модели головы, после чего выполняют хирургическое вмешательство.

После автоматического совмещения голограммы анатомических структур с реальными органами, при необходимости проводят ручную коррекцию совмещения следующим образом: отмечают точку, лежащую на поверхности одной из 3D моделей анатомических структур пациента, затем, глядя на пациента через очки, в ручном режиме, отмеченную точку максимально точно совмещают с ее прототипом на теле пациента, после чего вращают голограмму анатомических структур вокруг трех пространственных координатных осей, с началом координат в отмеченной точке, добиваясь максимально точного совмещения голограммы с реальными органами пациента, при этом отслеживают еще минимум две точки на поверхности голограммы, не совпадающие с началом координат и разнесенные между собой таким образом, чтобы вместе с началом координат образовать треугольник.

Маркеру придают форму объемного многогранника, например, куба (гексаэдра). Код, нанесенный на плоские грани маркера, представляет собой светлый многоугольник, который образуют путем комбинации нескольких прямоугольников, расположенных под прямым углом друг к другу, размещенный на темном контрастном фоне, изображающем текстуру с непериодической угловатой структурой с высоким локальным контрастом.

Технический результат предлагаемого способа заключается в том, что за счет использования специального объемного оптического маркера закрепляемого на голове пациента при помощи персонально изготовленного, адаптированного к индивидуальной анатомии пациента, держателя, увеличивается простота и удобство этапа хирургической навигации, с увеличением точности совмещения виртуальных 3D моделей (голограмм) всех анатомических структур, представляющих интерес для хирурга в предстоящей операции на голове, с телом пациента.

На прилагаемых к описанию чертежах дано:

- схема континуума реальности-виртуальности (фиг. 1);

- схема работы системы дополненной реальности на основе дифракционного волновода (фиг. 2);

- 3D модель специального объемного оптического маркера (фиг. 3);

- код, наносимый на грани специального объемного оптического маркера (фиг. 4);

- блок-схема способа подготовки и выполнения хирургической операции на голове с использованием смешанной реальности (основной вариант реализации) (фиг. 5);

- 3D модель головы (фиг. 6);

- 3D модель головы с указанием областей, на которых будет фиксироваться держатель маркера (фиг. 7);

- 3D модель головы с присоединенными 3D моделями держателя и объемного оптического маркера (фиг. 8);

- распечатанный на 3D принтере держатель с присоединенным объемным оптическим маркером (фиг. 9);

- блок-схема способа подготовки и выполнения хирургической операции на голове с использованием смешанной реальности (дополнительный вариант реализации) (фиг. 10);

- киста в левом носовом синусе, отмеченная красным цветом, на исходной компьютерной томограмме (фиг. 11);

- 3D-модель черепа и кисты, привязанные к модели объемного оптического маркера (фиг. 12);

- вид черепа и кисты через очки HoloLens (фиг. 13);

- вид изолированной кисты через очки HoloLens (фиг. 14). Минимальный состав комплекса оборудования, необходимого для

выполнения хирургической операции на голове с использованием смешанной реальности включает в себя (но не ограничивается):

- Компьютер, оснащенный всеми необходимыми устройствами ввода информации.

- Очки смешанной реальности, например, Microsoft HoloLens, Magic Leap и т.п.

- Объемный оптический маркер, служащий для привязки виртуальной 3D модели индивидуальных анатомических структур пациента к его реальным органам. На каждую открытую грань маркера нанесен уникальный код, созданный таким образом, чтобы камера, встроенная в очки, смогла его распознать и определить ориентацию и положение маркера.

- Персональный для каждого пациента держатель маркера (далее держатель или ДМ), изготавливаемый с учетом индивидуальных анатомических особенностей при помощи печати на 3D принтере.

В состав комплекса оборудования, необходимого для выполнения хирургической операции на голове с использованием смешанной реальности входят очки смешанной реальности, например, это могут быть очки Microsoft HoloLens или Magic Leap.

Чтобы внести ясность в используемую терминологию, приведем некоторые определения.

Континуум реальности-виртуальности представляет собой непрерывную шкалу в диапазоне между полностью виртуальной и абсолютно реальной действительностью. Таким образом, континуум реальности-виртуальности охватывает все возможные вариации и композиции реальных и виртуальных объектов (фиг. 1).

Реальный мир мы видим сами, без каких-либо дополнительных гаджетов и технологий.

Виртуальная реальность (англ. Virtual reality, VR, искусственная реальность) полностью отсекает реальный мир, человек видит картинку, нарисованное, спроектированное окружение.

Дополненная виртуальность (англ. Augmented virtuality, AV) - это виртуальная реальность, в которой присутствуют объекты из настоящего мира.

Дополненная реальность (англ. Augmented reality, AR) частично заменяет реальный мир, на существующий мир накладывается виртуальное изображение. По сути, это подсказка или голограмма, нарисованная поверх реального мира. Важно понимать, что виртуальная картинка не дает ощущение реального расположения и взаимодействия объектов с окружающими миром. И именно в этом ключевое отличие дополненной реальности от смешанной реальности.

Смешанная реальность (англ. Mixed reality, MR), иногда называемая как гибридная реальность (охватывает дополненную реальность и дополненную виртуальность), является следствием объединения реального и виртуальных миров для созданий новых окружений и визуализаций, где физический и цифровой объекты сосуществуют и взаимодействуют в реальном времени. Существует не только в реальном или виртуальном виде, а как смесь реальной и виртуальной реальности. Смешанная реальность позволяет видеть взаимодействие реальных и виртуальных объектов. Человек уже может оценить передний и задний план, как объекты расположены относительно друг друга и, самое важное - появляется точка соприкосновения реальных и виртуальных объектов.

[Википедия https://ru.wikipedia.org/wiki/Смешанная_реальность]

Microsoft HoloLens - очки смешанной реальности, разработанные Microsoft. Оптика HoloLens устроена очень сложно (если сравнивать, например, с устройствами виртуальной реальности), что обусловлено необходимостью не просто выводить изображение на экран, но еще и правильно совмещать его с объектами реального мира. Жидкокристаллические проекторы с разрешением сторон 16:9, которые Microsoft назвала «световыми движками», создают изображение, которое затем проходит через визуализационную оптику, волновод, combiner (устройство, совмещающее проекцию и изображение реального мира) и дифракционные решетки.

Принцип работы очков на основе дифракционных волноводов (фиг.2) заключается в следующем: на оптической плоскопараллельной пластине - волноводе, находится пара дифракционных решеток. Через одну из решеток, расположенную вне области просмотра (обычно выше, над глазом), за счет дифракции света на решетке вводится изображение. В данном методе высокой когерентности не требуется, поэтому изображение может быть сгенерировано как OLED матрицей, так и IPS и прочими методами. Изображение, заведенное через дифракционную решетку, распространяется по волноводу в следствии эффекта полного внутреннего отражения. Дойдя до второй решетки, которая расположена в просмотровой зоне (на месте очковой линзы), свет дифрагирует на ней, в следствие чего изображение проецируется в сторону глаза. Так как дифракционная решетка рассчитана на работу при определенном угле освещения, то наблюдатель может видеть через нее окружающий мир без помех. Возможно использование дополнительных решеток для изменения направления распространения изображения или для расширения изображения от источника. Данная технология относится к способу с искусственным добавлением оптического пути (то есть перенос изображения с расстояния вблизи глаза на комфортное расстояние наблюдения).

[Статья «Очки дополненной реальности: где мы сейчас?», автор Aleksandr Chezhegov (alexchez100), 25 мая 2020, https://habr.com/ru/post/503630]

Как уже говорилось, смешанной реальностью называется технология, где виртуальный и реальный мир взаимодействуют, а это значит, что стоит задача точного взаимного позиционирования виртуальных и реальных объектов с точки зрения пользователя. Для решения этой задачи, в частности используется система оптического трекинга.

Оптические методы отслеживания представляют собой совокупность алгоритмов компьютерного зрения и отслеживающих устройств, в роли которых выступают камеры видимого или инфракрасного диапазона, стереокамеры и камеры глубины.

В зависимости от выбора системы отсчета выделяют два подхода для отслеживания положения:

- Outside-in подход подразумевает присутствие неподвижного внешнего наблюдателя (камера), определяющего положение движущегося объекта по характерным точкам.

- Inside-out подход предполагает наличие на движущемся объекте оптического сенсора, благодаря которому возможно отслеживать движение относительно неподвижных точек в окружающем пространстве. Используется, в частности, в Microsoft HoloLens.

Также в зависимости от наличия специальных оптических маркеров выделяют отдельно:

- Безмаркерный трекинг как правило строится на сложных алгоритмах с использованием двух и более камер, либо стереокамер с сенсорами глубины.

- Трекинг с использованием маркеров предполагает заранее заданную модель объекта, которую можно отслеживать даже с одной камерой. Маркерами обычно служат источники инфракрасного излучения (как активные, так и пассивные), а также видимые маркеры наподобие QR-кодов. Такой вид трекинга возможен только в пределах прямой видимости маркера.

[Статья «Обзор методов и технологий отслеживания положения для виртуальной реальности», автор Дамир Сайфуллин (DexterKZ), 20 сентября 2016, https://habr.com/ru/post/3977571

Трекинг с использованием специальных маркеров, или меток, удобен тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.

При хирургическом вмешательстве с использованием технологии MR, важнейшее значение приобретает точность совмещения реального и виртуального объектов - тела пациента и виртуальной 3D модели (голограммы) пораженного органа.

В предлагаемом способе рекомендуется использование специального объемного оптического маркера, закрепляемого на голове пациента при помощи персонально изготовленного, адаптированного к индивидуальной анатомии пациента, держателя.

Маркер может иметь, например, форму куба (гексаэдра), его 3D модель 1 показана на фиг. 3. На все грани модели маркера 1, кроме одной, нанесен уникальный код 2 (фиг. 4).

При этом оптимальным с точки зрения уверенности распознавания представляется код 2 в виде светлого многоугольника 3, образованного путем комбинации нескольких прямоугольников, расположенных под прямым углом друг к другу, размещенного на темном контрастном фоне 4, изображающем текстуру с непериодической угловатой структурой с высоким локальным контрастом. При этом код 2 должен быть размещен на плоской поверхности и не иметь глянцевости.

Способ подготовки и выполнения хирургической операции на голове с использованием смешанной реальности подготовки отражен на блок-схеме (фиг. 5) и осуществляется следующим образом.

Пациент проходит процедуру компьютерной томографии головы (до 3-го позвонка). В результате такой процедуры рабочая станция томографа формирует трехмерное растровое изображение индивидуальной анатомии пациента. Файлы результатов сканирования передаются на компьютер комплекса оборудования для выполнения хирургической операции на голове с использованием смешанной реальности. Используя полученные данные, с помощью программного обеспечения выполняют сегментацию (построение контура) и трехмерную реконструкцию (построение трехмерной модели) головы пациента целиком, а также всех анатомических структур, которые представляют интерес для хирурга в предстоящей операции. Примерами таких анатомических структур являются новообразования, кости черепа и проч. Далее, на основе полученных 3D-моделей, хирург планирует предстоящую операцию.

Из подготовленных 3D-моделей выбирают модель головы 5 целиком (фиг. 6). На поверхности модели 5 обозначают области 6 (фиг. 7), на которых будет фиксироваться держатель маркера. Эти области 6 выбирают с таким расчетом, чтобы держатель обеспечивал возможность опоры на мягкие ткани, расположенные, в частности, над лобной, теменной и носовой костями черепа и имел форму, позволяющую ему при плотном прилегании к голове по всей площади контактной поверхности занимать единственное фиксированное положение на голове пациента.

После этого, на основе выбранных ранее областей 6, осуществляют построение трехмерной модели держателя 7 (фиг. 8), а также объемного оптического маркера 1, рекомендации по конструированию которого приведены выше. Обе модели распечатывают на 3D принтере. Держатель и маркер могут быть изготовлены как одно целое.

Также, согласно рекомендациям, разрабатывают коды 2, уникальные для каждой грани маркера, которые впоследствии наносят любым способом (например, прямой печатью или в виде самоклеящихся этикеток) на все грани маркера, кроме той, которой он будет соединяться с держателем.

Держатель 8 маркера 9 (материальное воплощение) может выглядеть, например, так, как показано на фиг. 9. Он представляет из себя устройство, содержащее обруч 10, обеспечивающий возможность опоры на мягкие ткани, расположенные над лобной и теменной костями черепа, носоупор 11, обеспечивающий возможность опоры на ткани над носовой костью, мост 12, соединяющий обруч и носоупор, а также платформу 13 для крепления маркера.

Обруч 10 держателя 8 имеет форму, напоминающую полый усеченный конус, внутренняя поверхность которого повторяет индивидуальную анатомию пациента, что позволяет обручу 10 при плотном прилегании к голове фиксироваться на ней в единственном положении. Носоупор 11 добавляет держателю еще одну опорную поверхность, кроме того, однозначно определяет положение обруча 10 на голове. Их совместное использование позволяет держателю при плотном прилегании к голове пациента занимать единственное фиксированное положение.

На платформу 13 держателя 8 крепят при помощи клея или любым другим способом (например, винтами или шурупами) оптический маркер 9. При этом размещение уникальных кодов на гранях маркера 9 относительно держателя 8 должно в точности соответствовать спроектированному. При таком подходе получают полностью идентичные виртуальную и материальную конструкции держателя с присоединенным маркером.

Так как 3D модель головы 5 с высокой точностью соответствует оригиналу, а размещенная на ней модель держателя 7 с маркером 1 занимает то же место, что и материальные объекты в реальности, достигается полное соответствие между взаимным положением маркера и головы в реальности и виртуальности. Это позволяет очкам визуализировать необходимые модели анатомических структур в точном соответствии с расположением реальных органов пациента (фиг. 13).

К виртуальному маркеру 1 привязывают все созданные 3D модели анатомических структур, т.е. точно фиксируют их взаимное расположение (фиг. 8 и 12), затем все эти данные загружают в очки смешанной реальности. Это можно сделать разными способами, например, создав специальное приложение для очков, которое будет хранить в своей памяти все необходимые данные.

Далее, маркер при помощи держателя фиксируют на голове пациента. Когда в поле зрения наблюдателя попадает маркер, очки визуализируют модели анатомических структур в виде голограммы строго в том же месте, где располагаются реальные органы пациента. После этого выполняют хирургическое вмешательство.

При недостаточной точности автоматического совмещения голограммы анатомических структур с реальными органами, проводят ручную коррекцию совмещения (фиг. 10). Для этого на одной из 3D моделей анатомических структур пациента отмечают легко отличимую точку, лежащую на ее поверхности. Например, на модели головы это может быть кончик носа, на модели черепа - точка, лежащая на пересечении нижнего края центральных резцов верхней челюсти и щели между ними и т.п.

Затем, глядя на пациента через очки, в ручном режиме (например, используя пульт управления или жесты), отмеченную точку на голограмме максимально точно совмещают с ее прототипом на теле пациента. После этого вращают голограмму вокруг трех пространственных координатных осей, с началом координат в этой точке, добиваясь максимально точного совмещения всей голограммы с реальной анатомией пациента. Для лучшего отслеживания совмещения нужно выбрать на поверхности голограммы еще минимум две легко отличимые точки, разнесенные между собой (например, по разные стороны головы) и образующие вместе с центром координат треугольник.

Проиллюстрируем способ подготовки и выполнения хирургической операции на голове с использованием смешанной реальности клиническим примером.

Пациент 14 (фиг. 13) прошел процедуру компьютерной томографии головы. В левом носовом синусе обнаружена киста 15 (фиг. 11), которая была рекомендована для удаления.

Используя полученные данные, врач-рентгенолог с помощью программного обеспечения Materialize Mimics выполнил сегментацию (построение контура) и трехмерную реконструкцию (построение трехмерной модели) головы 5, кисты 15 и черепа 16 (фиг. 6, 12). Киста 15 была выделена послойно вручную, т.к. такие структуры на КТ сливаются с соседними тканями, и программа не может их автоматически разделить.

По технологии, описанной выше, на основании 3D модели головы 5 (фиг. 6), был разработан и изготовлен держатель 8 с маркером 9 (фиг. 9).

Полученные модели с привязкой к маркеру (фиг. 8, 12) были экспортированы в межплатформенную среду Unity, которая имеет специальный инструментарий для HoloLens. В этой среде было разработано приложение для использования в очках HoloLens, содержащее все необходимые для дальнейшей работы данные. В приложение был добавлен пользовательский интерфейс, в частности, использование жестов, которые распознают очки. Например - клик для скрытия черепа 16 и клик с перетаскиванием для изменения непрозрачности при просмотре голограммы.

После фиксации держателя 8 с маркером 9 на голове пациента 14, через очки HoloLens, можно увидеть, например, голограмму черепа 16 и кисты 15 (фиг. 13) или вид изолированной кисты 15 (фиг. 14).

Claims (4)

1. Способ подготовки и выполнения хирургической операции на голове с использованием смешанной реальности, при осуществлении которого пациенту проводят компьютерную томографию головы, результаты сканирования передают на компьютер, где выполняют построение трехмерных моделей всех анатомических структур, представляющих интерес для хирурга в предстоящей операции, отличающийся тем, что на построенной 3D модели головы выбирают области, на которых будет фиксироваться держатель оптического маркера, при этом держатель должен обеспечивать возможность опоры на мягкие ткани, расположенные над лобной, теменной и носовой костями черепа и иметь форму, позволяющую ему, при условии плотного прилегания к голове, занимать на ней единственное фиксированное положение, после чего, на основе выбранных областей, осуществляют построение трехмерной модели держателя и печатают его на 3D принтере, затем к изготовленному держателю одной из граней прикрепляют объемный оптический маркер, на каждую открытую грань которого нанесен уникальный код, созданный таким образом, чтобы камера, встроенная в очки, смогла его распознать и определить ориентацию и положение маркера, после чего в очки смешанной реальности загружают данные, включающие модель маркера с нанесенным кодом и связанные с ним трехмерные модели анатомических структур, построенные ранее, далее, маркер при помощи держателя фиксируют на голове пациента в положении, совпадающем с положением модели держателя на трехмерной модели головы, после чего выполняют хирургическое вмешательство.

2. Способ подготовки и выполнения хирургической операции по п. 1, отличающийся тем, что после автоматического совмещения голограммы анатомических структур с реальными органами, при необходимости проводят ручную коррекцию совмещения следующим образом: отмечают точку, лежащую на поверхности одной из 3D моделей анатомических структур пациента, затем, глядя на пациента через очки, в ручном режиме, отмеченную точку совмещают с ее прототипом на теле пациента, после чего вращают голограмму анатомических структур вокруг трех пространственных координатных осей, с началом координат в отмеченной точке, добиваясь совмещения голограммы с реальными органами пациента, при этом отслеживают еще минимум две точки на поверхности голограммы, не совпадающие с началом координат и разнесенные между собой таким образом, чтобы вместе с началом координат образовать треугольник.

3. Способ подготовки и выполнения хирургической операции по п. 1, отличающийся тем, что маркеру придают форму объемного многогранника в виде куба.

4. Способ подготовки и выполнения хирургической операции по п. 1, отличающийся тем, что код, нанесенный на плоские грани маркера, представляет собой светлый многоугольник, который образуют путем комбинации прямоугольников, расположенных под прямым углом друг к другу, размещенный на темном контрастном фоне, изображающем текстуру с непериодической угловатой структурой.

Images