RU202367U1

RU202367U1 - Marker holder for mixed reality head surgery

Info

Publication number: RU202367U1
Application number: RU2020132951U
Authority: RU
Inventors: Владимир Михайлович Иванов; Александр Сергеевич Клыгач; Сергей Васильевич Стрелков
Original assignee: Владимир Михайлович Иванов
Priority date: 2020-10-06
Filing date: 2020-10-06
Publication date: 2021-02-15

Abstract

Полезная модель относится к медицине, а именно к устройствам для выполнения хирургических операций на голове с использованием смешанной реальности. Сущность полезной модели заключается в том, что устройство для выполнения хирургической операции на голове с использованием смешанной реальности, с обеспечением возможности фиксации на голове, содержит держатель с оптическим маркером, при этом держатель и маркер соединены между собой, держатель изготавливается персонально, с учетом индивидуальных анатомических особенностей пациента при помощи печати на 3D-принтере и включает обруч, обеспечивающий возможность опоры на мягкие ткани, расположенные над лобной и теменной костями черепа, носоупор, обеспечивающий возможность опоры на ткани над носовой костью, мост, соединяющий обруч и носоупор, а также платформу для крепления маркера. Обруч держателя имеет форму полого усеченного конуса, внутренняя поверхность которого повторяет индивидуальную анатомию пациента. Оптический маркер имеет форму объемного многогранника, например, куба (гексаэдра) и прикреплен к платформе держателя при помощи разъемного или неразъемного соединения. Технический результат полезной модели достигается за счет фиксации держателя с оптическим маркером над лобной и теменной костями черепа, что увеличивает доступность операционного поля при выполнении хирургического вмешательства с использованием смешанной реальности в челюстно-лицевой области. 2 з.п. ф-лы, 5 ил.The utility model relates to medicine, namely to devices for performing head surgery using mixed reality. The essence of the utility model lies in the fact that a device for performing a surgical operation on the head using mixed reality, with the possibility of fixation on the head, contains a holder with an optical marker, while the holder and the marker are interconnected, the holder is made individually, taking into account individual anatomical features of the patient using printing on a 3D printer and includes a hoop that provides the ability to support soft tissues located above the frontal and parietal bones of the skull, a nose pad that provides the ability to support tissue over the nasal bone, a bridge connecting the hoop and a nose pad, and a platform for attachment of the marker. The holder hoop has the shape of a hollow truncated cone, the inner surface of which repeats the individual anatomy of the patient. The optical marker has the shape of a three-dimensional polyhedron, for example, a cube (hexahedron) and is attached to the holder platform using a detachable or non-detachable connection. The technical result of the utility model is achieved by fixing the holder with an optical marker above the frontal and parietal bones of the skull, which increases the accessibility of the operating field when performing surgery using mixed reality in the maxillofacial region. 2 c.p. f-ly, 5 dwg

Description

Полезная модель относится к медицине, а именно к устройствам для выполнения хирургических операций на голове с использованием смешанной реальности.The utility model relates to medicine, namely to devices for performing head surgery using mixed reality.

Полезная модель может быть использована, в частности, в челюстно-лицевой и реконструктивной хирургии, например, при выполнении реконструктивно-пластических операций для устранения обширных дефектов челюстей и окружающих мягких тканей, возникших после удаления злокачественных и доброкачественных новообразований, в результате травм и деформаций различного генеза.The useful model can be used, in particular, in maxillofacial and reconstructive surgery, for example, when performing reconstructive plastic operations to eliminate extensive defects of the jaws and surrounding soft tissues that have arisen after the removal of malignant and benign neoplasms, as a result of injuries and deformities of various origins. ...

Технология смешанной реальности (Mixed reality, MR) дает возможность наблюдателю видеть виртуальные объекты в контексте реального мира. Современный подход позволяет проецировать изображение этих объектов перед глазами пользователя в виде голограммы, используя для этого так называемые очки смешанной реальности. Это позволяет наблюдателю взаимодействовать в реальном времени между различными материальными и виртуальными объектами, как будто они существуют в единой среде. Используя эту особенность, можно повысить производительность и качество услуг во многих областях, в частности, в хирургии головы и шеи.Mixed reality (MR) technology enables the observer to see virtual objects in the context of the real world. The modern approach allows projecting an image of these objects in front of the user's eyes in the form of a hologram, using so-called mixed reality glasses. This allows the observer to interact in real time between various material and virtual objects, as if they exist in a single environment. Using this feature, it is possible to improve the productivity and quality of services in many areas, in particular in head and neck surgery.

В настоящее время опубликовано немало научных трудов по использованию смешанной реальности в разных областях медицины: нейрохирургии, кардиологии, урологии, пластической хирургии, в том числе стоматологии и челюстно-лицевой хирургии.Currently, many scientific papers have been published on the use of mixed reality in various fields of medicine: neurosurgery, cardiology, urology, plastic surgery, including dentistry and maxillofacial surgery.

Наиболее близким по технической сущности является специальное устройство, изготовленное при помощи трехмерной печати, и предназначенное для отслеживания положения челюстно-лицевой области в дополненной реальности [патент CN107951561, опубликован 24.07.2020]. Изобретение относится к области медицинских хирургических челюстно-лицевых устройств и инструментов, а также к технологиям дополненной реальности, в частности к устройству, предназначенному для отслеживания положения челюстно-лицевой области в дополненной реальности, изготовленному с помощью трехмерной печати и фиксируемому между зубами верхней и нижней челюсти. Устройство содержит держатель маркера - окклюзионную пластину с уникальным рельефом, отражающим отпечатки зубов верхней и нижней челюсти, изготавливаемую индивидуально для каждого пациента при помощи печати на 3D-принтере и модуль оптического маркера. Пластина и модуль маркера снабжены разъемом, предназначенным для их соединения.The closest in technical essence is a special device made using three-dimensional printing, and designed to track the position of the maxillofacial region in augmented reality [patent CN107951561, published 07/24/2020]. The invention relates to the field of medical surgical maxillofacial devices and instruments, as well as to technologies of augmented reality, in particular to a device designed to track the position of the maxillofacial region in augmented reality, made using three-dimensional printing and fixed between the teeth of the upper and lower jaw ... The device contains a marker holder - an occlusal plate with a unique relief that reflects the imprints of the teeth of the upper and lower jaw, made individually for each patient using printing on a 3D printer and an optical marker module. The marker plate and module are equipped with a connector for their connection.

Недостатком описанного устройства является близость его расположения к операционному полю при выполнении хирургического вмешательства в челюстно-лицевой области, что может помешать или воспрепятствовать продолжению хирургического вмешательства.The disadvantage of the described device is the proximity of its location to the operating field when performing surgical intervention in the maxillofacial region, which can interfere or impede the continuation of the surgical intervention.

Предлагаемое техническое решение направлено на улучшение условий выполнения хирургического вмешательства в челюстно-лицевой области с использованием смешанной реальности.The proposed technical solution is aimed at improving the conditions for performing surgical intervention in the maxillofacial area using mixed reality.

Сущность полезной модели заключается в том, что устройство, применяемое при выполнении хирургической операции на голове с использованием смешанной реальности и изготовленное с обеспечением возможности фиксации на голове, содержит держатель с оптическим маркером, при этом, держатель и маркер соединены между собой, держатель изготавливается персонально, с учетом индивидуальных анатомических особенностей пациента при помощи печати на 3D-принтере и включает обруч, обеспечивающий возможность опоры на мягкие ткани, расположенные над лобной и теменной костями черепа, носоупор, обеспечивающий возможность опоры на ткани над носовой костью, мост, соединяющий обруч и носоупор, а также платформу для крепления маркера, при этом обруч держателя имеет форму полого усеченного конуса, внутренняя поверхность которого повторяет индивидуальную анатомию пациента. Оптический маркер имеет форму объемного многогранника, например, куба (гексаэдра) и прикреплен к платформе держателя при помощи разъемного (винты, шурупы, штифты) или неразъемного (клей, сварка) соединения.The essence of the utility model lies in the fact that the device used in performing a surgical operation on the head using mixed reality and made to be fixed on the head contains a holder with an optical marker, while the holder and the marker are connected to each other, the holder is made personally, taking into account the individual anatomical features of the patient using printing on a 3D printer and includes a hoop that provides the ability to support soft tissues located above the frontal and parietal bones of the skull, a nasal pad that provides the ability to support tissue over the nasal bone, a bridge connecting the hoop and the nose pad as well as a platform for attaching a marker, while the holder hoop has the shape of a hollow truncated cone, the inner surface of which repeats the individual anatomy of the patient. The optical marker has the shape of a three-dimensional polyhedron, for example, a cube (hexahedron) and is attached to the holder platform using a detachable (screws, screws, pins) or one-piece (glue, welding) connection.

Технический результат предлагаемой полезной модели достигается за счет фиксации держателя с оптическим маркером над лобной и теменной костями черепа, что увеличивает доступность операционного поля при выполнении хирургического вмешательства с использованием смешанной реальности в челюстно-лицевой области.The technical result of the proposed utility model is achieved by fixing the holder with an optical marker above the frontal and parietal bones of the skull, which increases the availability of the operating field when performing surgery using mixed reality in the maxillofacial region.

На прилагаемых к описанию чертежах дано:The drawings attached to the description give:

- 3D-модель специального объемного оптического маркера (фиг. 1);- 3D model of a special volumetric optical marker (Fig. 1);

- код, наносимый на грани специального объемного оптического маркера (фиг. 2);- the code applied to the edges of a special volumetric optical marker (Fig. 2);

- 3D-модель головы с указанием областей, на которых будет фиксироваться держатель маркера (фиг. 3);- 3D-model of the head with an indication of the areas on which the marker holder will be fixed (Fig. 3);

- 3D-модель головы с присоединенными 3D-моделями держателя и объемного оптического маркера (фиг. 4);- 3D model of the head with attached 3D models of the holder and volumetric optical marker (Fig. 4);

- распечатанный на 3D-принтере держатель с присоединенным объемным оптическим маркером (фиг. 5).- a holder printed on a 3D printer with an attached volumetric optical marker (Fig. 5).

Держатель оптического маркера (далее держатель или ДМ) занимает важное место в составе оборудования, необходимого для выполнения хирургической операции на голове с использованием очков смешанной реальности (например, Microsoft HoloLens).The holder of the optical marker (hereinafter referred to as the holder or DM) occupies an important place in the equipment required for performing head surgery using mixed reality glasses (for example, Microsoft HoloLens).

Смешанной реальностью называется технология, где виртуальный и реальный мир взаимодействуют, а это значит, что стоит задача точного взаимного позиционирования виртуальных и реальных объектов с точки зрения пользователя. Для решения этой задачи, в частности используется система оптического трекинга.Mixed reality is a technology where the virtual and real world interact, which means that the task is to accurately position the virtual and real objects from the user's point of view. To solve this problem, in particular, an optical tracking system is used.

Трекинг с использованием специальных маркеров, или меток, удобен тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.Tracking with the use of special markers, or marks, is convenient in that they are easier to recognize by the camera and give it a more rigid binding to the place for the virtual model. This technology is much more reliable than the "markerless" technology and works practically without failures.

Держатель служит для фиксации в определенном положении оптического маркера на теле пациента. Это позволяет при использовании технологии смешанной реальности точно совместить реальный и виртуальный объект -тело пациента и виртуальную 3D-модель (голограмму) пораженного органа.The holder is used to fix the optical marker in a certain position on the patient's body. This allows, when using mixed reality technology, to accurately combine a real and virtual object - the patient's body and a virtual 3D model (hologram) of the affected organ.

Персональный для каждого пациента держатель маркера изготавливается с учетом индивидуальных анатомических особенностей при помощи печати на 3D-принтере и обеспечивает возможность фиксации на голове пациента.The marker holder, personal for each patient, is made taking into account individual anatomical features using 3D printing and provides the ability to fix it on the patient's head.

Объемный оптический маркер, закрепленный на держателе, служит для привязки виртуальной 3D-модели индивидуальных анатомических структур пациента к его реальным органам. На каждую открытую грань маркера нанесен уникальный код, созданный таким образом, чтобы камера, встроенная в очки, смогла его распознать и определить ориентацию и положение маркера.The volumetric optical marker, fixed on the holder, is used to link the virtual 3D model of the patient's individual anatomical structures to his real organs. Each open face of the marker is uniquely coded so that the camera integrated into the glasses can recognize it and determine the marker orientation and position.

Маркер может иметь, например, форму куба (гексаэдра), его 3D-модель 1 показана на фиг. 1. На все грани модели маркера 1, кроме одной, нанесен уникальный код 2 (фиг. 2).The marker can have, for example, the shape of a cube (hexahedron), its 3D model 1 is shown in Fig. 1. On all faces of the marker model 1, except for one, a unique code 2 is applied (Fig. 2).

При этом оптимальным с точки зрения уверенности распознавания представляется код 2 в виде светлого многоугольника 3, образованного путем комбинации нескольких прямоугольников, расположенных под прямым углом друг к другу, размещенного на темном контрастном фоне 4, изображающем текстуру с непериодической угловатой структурой с высоким локальным контрастом. При этом код 2 должен быть размещен на плоской поверхности и не иметь глянцевости.In this case, code 2 in the form of a light polygon 3 formed by a combination of several rectangles located at right angles to each other, placed on a dark contrasting background 4, depicting a texture with a non-periodic angular structure with high local contrast, appears to be optimal from the point of view of recognition confidence. In this case, code 2 should be placed on a flat surface and not have any glossiness.

Конструирование держателя осуществляется в следующей последовательности.The holder is designed in the following sequence.

Сначала пациент проходит процедуру компьютерной томографии головы. В результате такой процедуры рабочая станция томографа формирует трехмерное растровое изображение индивидуальной анатомии пациента. Используя полученные данные, с помощью программного обеспечения выполняют сегментацию (построение контура) и трехмерную реконструкцию (построение трехмерной модели) головы пациента целиком, а также всех анатомических структур, которые представляют интерес для хирурга в предстоящей операции. Примерами таких анатомических структур являются новообразования, кости черепа и проч.First, the patient undergoes a CT scan of the head. As a result of this procedure, the workstation of the tomograph generates a three-dimensional raster image of the individual anatomy of the patient. Using the obtained data, the software is used to perform segmentation (contouring) and three-dimensional reconstruction (building a three-dimensional model) of the patient's head as a whole, as well as all anatomical structures that are of interest to the surgeon in the upcoming operation. Examples of such anatomical structures are neoplasms, skull bones, etc.

Далее, выбирают модель головы 5 целиком (фиг. 3). На поверхности модели 5 обозначают области 6, на которых будет фиксироваться держатель маркера. Эти области 6 выбирают с таким расчетом, чтобы держатель обеспечивал возможность опоры на мягкие ткани, расположенные, в частности, над лобной, теменной и носовой костями черепа и имел форму, позволяющую ему при плотном прилегании к голове по всей площади контактной поверхности занимать единственное фиксированное положение на голове пациента.Next, the entire head model 5 is selected (Fig. 3). On the surface of the model 5, the areas 6 are designated on which the marker holder will be fixed. These areas 6 are chosen so that the holder provides the ability to support soft tissues located, in particular, above the frontal, parietal and nasal bones of the skull and has a shape that allows it to fit snugly to the head over the entire contact surface to occupy a single fixed position on the patient's head.

После этого, на основе выбранных ранее областей 6, осуществляют построение трехмерной модели держателя 7 (фиг. 4), а также объемного оптического маркера 1, рекомендации по конструированию которого приведены выше. Обе модели распечатывают на 3D-принтере. Держатель и маркер могут быть изготовлены как одно целое.After that, on the basis of the previously selected areas 6, a three-dimensional model of the holder 7 (Fig. 4), as well as a volumetric optical marker 1, the design recommendations of which are given above, are constructed. Both models are 3D printed. The holder and marker can be manufactured as one piece.

Также, согласно рекомендациям, разрабатывают коды 2, уникальные для каждой грани маркера, которые впоследствии наносят любым способом (например, прямой печатью или в виде самоклеящихся этикеток) на все грани маркера, кроме той, которой он будет соединяться с держателем.Also, according to the recommendations, codes 2 are developed that are unique for each face of the marker, which are subsequently applied in any way (for example, by direct printing or in the form of self-adhesive labels) on all faces of the marker, except for the one with which it will be connected to the holder.

Держатель 8 маркера 9 (материальное воплощение) может выглядеть, например, так, как показано на фиг. 5. Он представляет из себя устройство, содержащее обруч 10, обеспечивающий возможность опоры на мягкие ткани, расположенные над лобной и теменной костями черепа, носоупор 11, обеспечивающий возможность опоры на ткани над носовой костью, мост 12, соединяющий обруч и носоупор, а также платформу 13 для крепления маркера.The holder 8 of the marker 9 (material embodiment) may look, for example, as shown in FIG. 5. It is a device containing a hoop 10, which provides the ability to support the soft tissues located above the frontal and parietal bones of the skull, the nose pad 11, which provides the ability to support the tissue over the nasal bone, the bridge 12 connecting the hoop and the nose pad, as well as the platform 13 for attaching the marker.

Обруч 10 держателя 8 имеет форму, напоминающую полый усеченный конус, внутренняя поверхность которого повторяет индивидуальную анатомию пациента, что позволяет обручу 10 при плотном прилегании к голове фиксироваться на ней в единственном положении. Носоупор 11 добавляет держателю еще одну опорную поверхность, кроме того, однозначно определяет положение обруча 10 на голове. Их совместное использование позволяет держателю при плотном прилегании к голове пациента занимать единственное фиксированное положение.The hoop 10 of the holder 8 has a shape that resembles a hollow truncated cone, the inner surface of which repeats the individual anatomy of the patient, which allows the hoop 10, with a snug fit to the head, to be fixed on it in a single position. The nose pad 11 adds one more support surface to the holder, in addition, it uniquely determines the position of the hoop 10 on the head. Their combined use allows the holder to take a single fixed position with a snug fit to the patient's head.

На платформу 13 держателя 8 крепят при помощи клея или любым другим способом (например, винтами или шурупами) оптический маркер 9. При этом размещение уникальных кодов на гранях маркера 9 относительно держателя 8 должно в точности соответствовать спроектированному. При таком подходе получают полностью идентичные виртуальную и материальную конструкции держателя с присоединенным маркером.An optical marker 9 is attached to the platform 13 of the holder 8 using glue or in any other way (for example, screws or screws). In this case, the placement of unique codes on the edges of the marker 9 relative to the holder 8 should exactly correspond to the designed one. With this approach, completely identical virtual and material structures of the holder with an attached marker are obtained.

Так как 3D-модель головы 5 с высокой точностью соответствует оригиналу, а размещенная на ней модель держателя 7 с маркером 1 занимает то же место, что и материальные объекты в реальности, достигается полное соответствие между взаимным положением маркера и головы в реальности и виртуальности. Это позволяет очкам визуализировать необходимые модели анатомических структур в точном соответствии с расположением реальных органов пациента.Since the 3D model of the head 5 corresponds to the original with high accuracy, and the model of the holder 7 with the marker 1 placed on it occupies the same place as the material objects in reality, full correspondence is achieved between the mutual position of the marker and the head in reality and virtuality. This allows the glasses to visualize the necessary models of anatomical structures in exact accordance with the location of the patient's real organs.

К виртуальному маркеру 1 привязывают все созданные 3D-модели анатомических структур, т.е. точно фиксируют их взаимное расположение, затем все эти данные загружают в очки смешанной реальности. Это можно сделать разными способами, например, создав специальное приложение для очков, которое будет хранить в своей памяти все необходимые данные.All created 3D models of anatomical structures are linked to virtual marker 1, i.e. accurately fix their relative position, then all this data is loaded into the glasses of mixed reality. This can be done in different ways, for example, by creating a special application for glasses, which will store all the necessary data in its memory.

Перед выполнением хирургического вмешательства маркер 9 при помощи держателя 8 фиксируют на голове пациента. Когда в поле зрения наблюдателя попадает маркер, очки визуализируют модели анатомических структур в виде голограмм строго в том же месте, где располагаются реальные органы пациента.Before performing the surgical intervention, the marker 9 is fixed on the patient's head using the holder 8. When a marker enters the observer's field of view, the glasses visualize models of anatomical structures in the form of holograms exactly in the same place where the patient's real organs are located.

Claims

1. A device for performing a surgical operation on the head using mixed reality, with the possibility of fixation on the head, containing a holder with an optical marker, while the holder and the marker are connected to each other, the holder is made individually, taking into account the individual anatomical characteristics of the patient by printing on 3D printer, characterized in that the holder includes a hoop that provides the ability to support soft tissues located above the frontal and parietal bones of the skull, a nose pad that provides the ability to support tissue over the nasal bone, a bridge connecting the hoop and nose pad, and a platform for attachment marker, while the holder hoop has the shape of a hollow truncated cone, the inner surface of which repeats the individual anatomy of the patient.

2. The device for performing surgery on the head using mixed reality according to claim 1, characterized in that the optical marker has the shape of a three-dimensional polyhedron, for example, a cube (hexahedron).

3. A device for performing a surgical operation on the head using mixed reality according to claim 1, characterized in that the optical marker is attached to the holder platform using a detachable or non-detachable connection.