RU216092U1 - AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE - Google Patents

AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE Download PDF

Info

Publication number
RU216092U1
RU216092U1 RU2022125878U RU2022125878U RU216092U1 RU 216092 U1 RU216092 U1 RU 216092U1 RU 2022125878 U RU2022125878 U RU 2022125878U RU 2022125878 U RU2022125878 U RU 2022125878U RU 216092 U1 RU216092 U1 RU 216092U1
Authority
RU
Russia
Prior art keywords
event
task
surgical
video image
endoscopic video
Prior art date
Application number
RU2022125878U
Other languages
Russian (ru)
Inventor
Люк Дэвид Рональд ХЕАРС
Пол Кристофер РОБЕРТС
Руперт МЕНЗИС
Марк Клиффорд СЛЭК
Original Assignee
Смр Серджикал Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Смр Серджикал Лимитед filed Critical Смр Серджикал Лимитед
Application granted granted Critical
Publication of RU216092U1 publication Critical patent/RU216092U1/en

Links

Images

Abstract

Устройство для автоматического дополнения эндоскопического видеоизображения для задачи на основе данных о состоянии, которые описывают состояние хирургического роботизированного средства, используемого для по меньшей мере частичного выполнения этой задачи. Устройство дополнения содержит детектор событий и средство дополнения. Детектор событий выполнен с возможностью приема данных о состоянии; и идентификации в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи. Средство дополнения выполнено с возможностью приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; и, в ответ на идентификацию детектором событий в данных о состоянии паттерна, указывающего наступление события, автоматического дополнения метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время наступления события относительно эндоскопического видеоизображения. 17 з.п. ф-лы, 13 фиг.A device for automatically completing an endoscopic video image for a task based on state data that describes the state of the surgical robot used to at least partially perform this task. The adder device contains an event detector and an adder. The event detector is configured to receive state data; and identifying one or more patterns in the state data indicating the occurrence of an event during task execution. The supplement means is configured to receive an endoscopic video image captured during the execution of a task, the endoscopic video image being synchronized in time with the status data; and, in response to the event detector identifying a pattern in the state data indicating the occurrence of an event, automatically supplementing the metadata forming part of or associated with the endoscopic video image with information identifying the event and the time of occurrence of the event relative to the endoscopic video image. 17 w.p. f-ly, 13 figs.

Description

ПРЕДПОСЫЛКИ СОЗДАНИЯ ПОЛЕЗНОЙ МОДЕЛИ BACKGROUND TO CREATING A UTILITY MODEL

[0001] Известно применение роботов для ассистирования и выполнения хирургических операций. На фиг. 1 изображен обычный хирургический робот 100, состоящий из основания 108, руки 102 и инструмента 105. Основание создает опору для робота, и само жестко присоединено, например, к полу операционной, потолку операционной или тележке. Рука проходит между основанием и инструментом. Рука является шарнирной посредством множества гибких сочленений 103 вдоль ее длины, которые используются для установки хирургического инструмента в заданном положении относительно пациента. Хирургический инструмент присоединен к дальнему концу 104 руки робота. Хирургический инструмент проникает в тело пациента 101 в месте 107 введения троакара с целью доступа к области хирургического вмешательства. Инструмент содержит на своем дальнем конце рабочий орган 106 для участия в медицинской процедуре.[0001] The use of robots for assisting and performing surgical operations is known. In FIG. 1 depicts a conventional surgical robot 100 consisting of a base 108, an arm 102, and an instrument 105. The base provides support for the robot and is itself rigidly attached to, for example, the operating room floor, operating room ceiling, or cart. The hand passes between the base and the instrument. The arm is articulated through a plurality of flexible joints 103 along its length, which are used to position the surgical instrument in a predetermined position relative to the patient. The surgical instrument is attached to the distal end 104 of the robot's arm. The surgical instrument enters the body of the patient 101 at the trocar insertion site 107 in order to access the area of the surgical intervention. The instrument contains at its distal end an operating member 106 for participating in a medical procedure.

[0002] Хирургический робот 100 находится под удаленным управлением оператора (например, хирурга) при помощи пульта 200 оператора, представленного на фиг. 2. Пульт 200 оператора может быть расположен в том же помещении (например, в операционной), что и хирургический робот 100, или на удалении от него. Пульт 200 оператора содержит устройства 202, 204 ввода для управления состоянием руки 102 и/или присоединенного к ней инструмента 105. Устройства 202, 204 ввода могут представлять собой рукоятки, или органы ручного управления, установленные на пантографических механизмах. Средство управления преобразует движение органов ручного управления в сигналы управления с целью приведения в движение сочленений рук и/или рабочего органа инструмента хирургического робота. Пульт 200 оператора также содержит дисплей 206. Дисплей 206 расположен так, чтобы он был виден пользователю, приводящему в действие устройства 202, 204 ввода. Дисплей используется для отображения видеопотока из области хирургического вмешательства (например, эндоскопического видеоизображения).[0002] The surgical robot 100 is remotely controlled by an operator (eg, a surgeon) using the operator console 200 shown in FIG. 2. The operator console 200 may be located in the same room (eg, operating room) as the surgical robot 100 or away from it. The operator console 200 includes input devices 202, 204 for controlling the state of the hand 102 and/or instrument 105 attached to it. The input devices 202, 204 may be handles or manual controls mounted on pantograph mechanisms. The control means converts the movement of the manual controls into control signals in order to drive the joints of the arms and/or the working body of the instrument of the surgical robot. The operator console 200 also includes a display 206. The display 206 is positioned so that it is visible to the user operating the input devices 202, 204. The display is used to display the video stream from the surgical site (eg, endoscopic video).

[0003] Некоторые хирургические процедуры могут требовать нескольких хирургических роботов, каждый из которых несет инструмент или другое приспособление, которые используются одновременно друг с другом в области хирургического вмешательства. На фиг. 3 изображено хирургическое роботизированное средство 300 с множеством роботов 302, 304, 306, действующих в общей рабочей области в отношении пациента 308. Например, хирургические роботы часто используют в эндоскопической хирургии (например, в лапароскопической хирургии), которая также может называться минимально инвазивной хирургией. Как известно специалистам в данной области техники, в ходе эндоскопической процедуры хирург вводит эндоскоп через небольшой разрез или естественное отверстие тела, такое как, но без ограничения, рот или ноздри. Эндоскоп представляет собой жесткую или гибкую трубку с присоединенной к ней миниатюрной камерой, которая передает на видеомонитор (например, дисплей 206) изображения в реальном времени, которые хирург использует для содействия направлению его инструментов через тот же разрез/отверстие или через другой разрез/отверстие. Эндоскоп позволяет хирургу видеть значимую область организма в подробностях без необходимости во вскрытии и обнажении соответствующей области. Данное техническое решение позволяет хирургу видеть внутри организма пациента и действовать через разрез намного меньшего размера, чем требовался бы для традиционной открытой хирургической операции. Соответственно, в обычной роботизированной эндоскопической хирургии имеется эндоскоп, присоединенный к одной руке хирургического робота, и один или более хирургических инструментов, таких как щипцы и/или скальпель, присоединенных к одной или более рукам других хирургических роботов.[0003] Some surgical procedures may require multiple surgical robots, each of which carries an instrument or other device, that are used simultaneously with each other in the surgical area. In FIG. 3 depicts a surgical robotic tool 300 with a plurality of robots 302, 304, 306 operating in a common workspace with respect to a patient 308. For example, surgical robots are often used in endoscopic surgery (eg, laparoscopic surgery), which may also be referred to as minimally invasive surgery. As is known to those skilled in the art, during an endoscopic procedure, the surgeon inserts the endoscope through a small incision or natural body opening such as, but not limited to, the mouth or nostrils. An endoscope is a rigid or flexible tube with a miniature camera attached to it that transmits to a video monitor (eg, display 206) real-time images that the surgeon uses to help guide his instruments through the same incision/hole or through another incision/hole. The endoscope allows the surgeon to see a significant area of the body in detail without the need to open and expose the corresponding area. This solution allows the surgeon to see inside the patient's body and operate through a much smaller incision than would be required for traditional open surgery. Accordingly, in conventional robotic endoscopic surgery, there is an endoscope attached to one arm of the surgical robot and one or more surgical instruments such as forceps and/or a scalpel attached to one or more arms of other surgical robots.

[0004] На фиг. 4 представлен примерный эндоскоп 400, выполненный с возможностью присоединения к концу руки робота с целью применения в минимально инвазивной хирургии. Эндоскоп 400 содержит дальний конец 402 для введения в область хирургического вмешательства пациента и ближний конец 404. Дальний конец 402 соединен с ближним концом 404 удлиненной осью 406. Ближний конец 404 содержит средство 408 сопряжения для вхождения в контакт с концом руки робота.[0004] In FIG. 4 shows an exemplary endoscope 400 configured to be attached to the end of a robotic arm for use in minimally invasive surgery. The endoscope 400 includes a distal end 402 for insertion into the patient's surgical site and a proximal end 404. The distal end 402 is connected to the proximal end 404 by an elongated shaft 406. The proximal end 404 includes an interface 408 for engaging with the end of the robot arm.

[0005] Эндоскоп 400 содержит источник питания и источник света для освещения области хирургического вмешательства. Эндоскоп 400 также содержит линию передачи данных для извлечения данных изображений из области хирургического вмешательства. Они все могут быть присоединены к ближнему концу 404 эндоскопа 400 независимо и внешним образом по отношению к руке робота, как представлено на фиг. 4. На фиг. 4 питание подается через штангу 412, данные изображений извлекаются через штангу 412, и свет подается через световую штангу 410. В альтернативном варианте осуществления любое одно или более из входного светового потока, входного питания и выходных данных может подаваться в эндоскоп/извлекаться из эндоскопа через руку робота. [0005] The endoscope 400 includes a power source and a light source for illuminating a surgical area. The endoscope 400 also includes a data link for retrieving image data from the surgical site. They can all be attached to the proximal end 404 of the endoscope 400 independently and externally to the robot arm, as shown in FIG. 4. In FIG. 4, power is supplied through shaft 412, image data is retrieved through shaft 412, and light is delivered through light shaft 410. In an alternative embodiment, any one or more of light input, power input, and data output may be supplied to/retrieved from the endoscope through the arm. robot.

[0006] Эндоскоп 400 установлен на конце руки робота. Средство 408 сопряжения эндоскопа входит в контакт с ответным средством сопряжения руки робота. Эндоскоп 400 выполнен с возможностью присоединения к руке робота и отсоединения от нее при помощи средств сопряжения руки робота и эндоскопа. В некоторых случаях эндоскоп 400 выполнен с возможностью действия независимо от руки робота при нахождении в отсоединенном состоянии. Иначе говоря, в этих случаях эндоскоп 400, если он отсоединен от руки робота, может приводиться в действие вручную сотрудником персонала операционной. [0006] The endoscope 400 is mounted on the end of the robot's arm. The endoscope interface 408 comes into contact with the reciprocal interface of the robot arm. The endoscope 400 is configured to be attached to and detached from the robot arm by interfaces between the robot arm and the endoscope. In some cases, the endoscope 400 is configured to operate independently of the robot's arm when in a detached state. In other words, in these cases, the endoscope 400, if detached from the robot arm, can be operated manually by a member of the operating room staff.

[0007] В дополнение к изображениям, захваченным эндоскопом (которые в настоящем документе могут совместно называться эндоскопическим видеоизображением) и используемым во время хирургической операции, изображения, захваченные эндоскопом, могут записываться и впоследствии использоваться по множеству назначений, таких как, но без ограничения, изучение хирургических процедур и/или обучение хирургическим процедурам и оценка и/или критический анализ эффективности хирурга (третьей стороной или самим хирургом).[0007] In addition to images captured by the endoscope (which may be collectively referred to herein as endoscopic video) and used during surgery, images captured by the endoscope can be recorded and subsequently used for a variety of purposes such as, but not limited to, studying surgical procedures and/or training in surgical procedures and evaluation and/or critical review of the surgeon's performance (by a third party or by the surgeon himself).

[0008] Одно из преимуществ роботизированной хирургии перед традиционной ручной хирургией заключается в том, что она допускает более простой сбор данных о выполнении хирургических процедур. Например, может осуществляться контроль и регистрация движения и/или положения робота (роботов) во время хирургической операции. Это может являться преимущественным при обеспечении возможности связывания или иного соединения эндоскопического видеоизображения с данными, сгенерированными/собранными хирургическим роботом (роботами) или о нем (них), с целью повышения полезности эндоскопического видеоизображения при обучении, оценке/критическом анализе эффективности и т. д.[0008] One of the advantages of robotic surgery over traditional manual surgery is that it allows easier collection of data on the performance of surgical procedures. For example, the movement and/or position of the robot(s) during a surgical operation may be monitored and recorded. This may be advantageous in allowing the endoscopic video image to be linked or otherwise connected to data generated/collected by or about the surgical robot(s) in order to increase the usefulness of the endoscopic video image in training, performance evaluation/criticism, etc.

[0009] Описанные ниже варианты осуществления представлены лишь в качестве примера и не ограничивают реализации, преодолевающие любой или все недостатки известных хирургических роботизированных средств. [0009] The embodiments described below are provided by way of example only and are not intended to be limiting to implementations that overcome any or all of the shortcomings of known surgical robotics.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ПОЛЕЗНОЙ МОДЕЛИBRIEF DESCRIPTION OF THE ESSENCE OF THE UTILITY MODEL

[0010] Данное краткое описание представлено для представления выбора концепций, которые дополнительно описаны ниже в подробном описании. Данное краткое описание не предназначено для идентификации ключевых признаков или существенных признаков заявленного предмета изобретения, как не предназначено оно и для использования с целью ограничения объема заявленного предмета изобретения.[0010] This brief description is presented to introduce a selection of concepts, which are further described below in the detailed description. This summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.

[0011] В настоящем документе описаны способы и средства автоматического дополнения эндоскопического видеоизображения для задачи, по меньшей мере частично выполняемых хирургическим роботизированным средством, на основе данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи. Средство содержит детектор событий и устройство дополнения. Детектор событий выполнен с возможностью приема данных о состоянии; и идентификации в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи. Устройство дополнения выполнено с возможностью: приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; и, в ответ на идентификацию детектором событий в данных о состоянии паттерна, указывающего наступление события, дополнения метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время наступления события относительно эндоскопического видеоизображения.[0011] Described herein are methods and means for automatically augmenting an endoscopic video image for a task at least partially performed by a surgical robot based on state data describing the state of the surgical robot during the task. The tool contains an event detector and an add-on device. The event detector is configured to receive state data; and identifying one or more patterns in the state data indicating the occurrence of an event during task execution. The add-on device is configured to: receive an endoscopic video image captured during a task, the endoscopic video image being synchronized in time with the status data; and, in response to the event detector's identification in the state data of a pattern indicating the occurrence of an event, supplementing the metadata forming part of or associated with the endoscopic video image with information identifying the event and the time of occurrence of the event relative to the endoscopic video image.

[0012] В первом аспекте предоставляется устройство дополнения для генерирования дополненного эндоскопического видеоизображения, при этом устройство дополнения содержит: детектор событий, выполненный с возможностью приема данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, по меньшей мере частично выполняемой хирургическим роботизированным средством, при этом хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, при этом рука содержит сочленения, при помощи которых можно изменять конфигурацию руки; и идентификации в данных о состоянии паттернов, указывающих наступление события в ходе выполнения задачи; и средство дополнения, выполненное с возможностью: приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; и, в ответ на идентификацию детектором событий в данных о состоянии паттерна, указывающего наступление события, автоматического дополнения метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения.[0012] In a first aspect, an add-on device is provided for generating an augmented endoscopic video image, the add-on device comprising: an event detector configured to receive state data describing the state of the surgical robot during a task at least partially performed by the surgical robot wherein the surgical robotic tool comprises at least one surgical robot comprising a base and an arm extending from the base to the instrument attachment site, the arm comprising articulations with which the arm configuration can be changed; and identifying patterns in the state data indicating the occurrence of an event during task execution; and supplementary means, configured to: receive an endoscopic video image captured during a task, the endoscopic video image being synchronized in time with the status data; and, in response to the event detector identifying a pattern in the state data indicating the occurrence of an event, automatically supplementing the metadata forming part of or associated with the endoscopic video image with information identifying the event and the time of the event relative to the endoscopic video image.

[0013] Информация, идентифицирующая событие и время события, может быть видна пользователю при последующем просмотре пользователем дополненного эндоскопического видеоизображения.[0013] Information identifying the event and the time of the event may be visible to the user when the user subsequently views the augmented endoscopic video image.

[0014] Информация, идентифицирующая событие и время события, может быть выборочно видна пользователю при последующем просмотре пользователем дополненного эндоскопического видеоизображения.[0014] Information identifying the event and the time of the event may be selectively visible to the user when the user subsequently views the augmented endoscopic video image.

[0015] Информация, идентифицирующая событие и время события, может быть автоматически видна или не видна пользователю при последующем просмотре пользователем дополненного эндоскопического видеоизображения на основе привилегий, связанных с пользователем.[0015] The information identifying the event and the time of the event may or may not be automatically visible to the user when the user subsequently views the augmented endoscopic video based on the privileges associated with the user.

[0016] Дополнение метаданных информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения, может включать добавление в эндоскопическое видеоизображение в момент времени события закладки, идентифицирующей это событие.[0016] Complementing the metadata with information identifying the event and the time of the event relative to the endoscopic video image may include adding a bookmark to the endoscopic video image at the time of the event that identifies the event.

[0017] Один или более паттернов могут включать множество паттернов, при этом каждый паттерн соответствует отличающемуся событию, и детектор событий может быть выполнен с возможностью выборочной идентификации лишь некоторого подмножества из множества паттернов.[0017] One or more patterns may include a plurality of patterns, with each pattern corresponding to a different event, and the event detector may be configured to selectively identify only some subset of the plurality of patterns.

[0018] Один или более паттернов могут включать множество паттернов, при этом каждый паттерн соответствует отличающемуся событию, и детектор событий может быть выполнен с возможностью идентификации подмножества из множества паттернов на основе привилегий пользователя, связанных с пользователем, который запустил дополнение.[0018] One or more patterns may include a plurality of patterns, with each pattern corresponding to a different event, and the event detector may be configured to identify a subset of the plurality of patterns based on user privileges associated with the user who ran the add-on.

[0019] Данные о состоянии могут по меньшей мере частично содержать данные, сгенерированные хирургическим роботизированным средством.[0019] The state data may at least partially comprise data generated by the surgical robotic tool.

[0020] Данные о состоянии могут по меньшей мере частично содержать данные, сгенерированные одним или более источниками, внешними по отношению к хирургическому роботизированному средству. [0020] The state data may at least partially comprise data generated by one or more sources external to the surgical robotic tool.

[0021] Паттерны могут быть выполнены с возможностью идентификации одного или более событий инструментов, при этом одно или более событий инструментов могут включать одно или более из следующего: изменения инструмента, присоединенного к руке хирургического робота хирургического роботизированного средства; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой инструмент под напряжением, изменения состояния инструмента под напряжением; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой эндоскоп, очистки эндоскопа; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой эндоскоп, выполнения регулировки баланса белого в отношении средства формирования изображений эндоскопа; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой эндоскоп, выхода величины или частоты движения эндоскопа за пределы некоторого диапазона; и изменения инструмента, активно управляемого хирургическим роботизированным средством.[0021] The patterns may be configured to identify one or more instrument events, wherein the one or more instrument events may include one or more of the following: changes to an instrument attached to a surgical robotic arm; if at least one instrument attached to the surgical robot arm of the surgical robot is an energized instrument, changing the energized state of the instrument; if at least one instrument attached to the arm of the surgical robot of the surgical robot is an endoscope, cleaning the endoscope; if at least one instrument attached to the surgical robot arm of the surgical robot is an endoscope, performing white balance adjustment on the endoscope imaging means; if at least one instrument attached to the arm of the surgical robot of the surgical robot is an endoscope, the magnitude or frequency of movement of the endoscope exceeds a certain range; and changing the instrument actively controlled by the surgical robot.

[0022] Паттерны могут быть выполнены с возможностью идентификации одного или более событий столкновений, при этом одно или более событий столкновений могут включать одно или более из следующего: столкновения между по меньшей мере двумя руками хирургических роботов хирургического роботизированного средства; столкновения между по меньшей мере двумя инструментами, присоединенными к разным рукам хирургического робота хирургического роботизированного средства; и столкновения между рукой хирургического робота хирургического роботизированного средства и инструментом, присоединенным к другой руке хирургического робота хирургического роботизированного средства.[0022] The patterns may be configured to identify one or more collision events, wherein the one or more collision events may include one or more of the following: collisions between at least two surgical robotic arms of the surgical robotic tool; collisions between at least two instruments attached to different arms of the surgical robot of the surgical robot; and collision between the surgical robot arm of the surgical robot and an instrument attached to the other arm of the surgical robot of the surgical robot.

[0023] Задача может представлять собой хирургическую процедуру, выполняемую в отношении пациента, и один или более паттернов могут быть выполнены с возможностью идентификации одного или более событий пациента, при этом одно или более событий пациента могут включать одно или более из следующего: выхода одного или более основных показателей состояния организма или одного или более других показателей здоровья пациента за пределы некоторого диапазона; и изменения одного или более основных показателей состояния организма и/или одного или более других показателей здоровья пациента. [0023] A task may be a surgical procedure performed on a patient, and one or more patterns may be configured to identify one or more patient events, wherein one or more patient events may include one or more of the following: exit of one or more than the basic indicators of the state of the body or one or more other indicators of the patient's health outside a certain range; and changes in one or more vital signs and/or one or more other signs of a patient's health.

[0024] Хирургическое роботизированное средство может находиться под управлением оператора, и паттерны могут быть выполнены с возможностью идентификации одного или более событий оператора, при этом одно или более событий оператора могут включать одно или более из следующего: выхода одного или более основных показателей состояния организма и/или одного или более других показателей здоровья оператора за пределы некоторого диапазона; изменения одного или более основных показателей состояния организма и/или одного или более других показателей здоровья оператора; изменения усилия захватывания, прикладываемого оператором к одному или более устройствам ввода, используемым для управления хирургическим роботизированным средством; и изменения толкающего усилия, прикладываемого оператором к одному или более из устройств ввода.[0024] The surgical robotic tool may be under the control of an operator and the patterns may be configured to identify one or more operator events, wherein the one or more operator events may include one or more of the following: output of one or more vital signs, and /or one or more other indicators of the operator's health outside a certain range; changes in one or more vital signs and/or one or more other health indicators of the operator; changing the grip force applied by the operator to one or more input devices used to control the surgical robotic tool; and changing the pushing force applied by the operator to one or more of the input devices.

[0025] Хирургическое роботизированное средство может находиться под управлением оператора, и паттерны могут быть выполнены с возможностью идентификации одного или более событий эффективности оператора, при этом одно или более событий эффективности оператора могут включать одно или более из следующего: падения эффективности оператора при выполнении задачи ниже допустимого уровня, и изменения эффективности оператора при выполнении задачи.[0025] The surgical robotic tool may be under the control of an operator, and the patterns may be configured to identify one or more operator performance events, wherein the one or more operator performance events may include one or more of the following: operator performance drops while performing the task below acceptable level, and changes in the efficiency of the operator when performing the task.

[0026] Эффективность оператора при выполнении задачи может основываться на одном или более критериях эффективности, при этом один или более критериев эффективности могут включать одно или более из следующего: траектории, по которой движется рука хирургического робота при выполнении этапа задачи; плавности движения руки хирургического робота; и времени на выполнение этапа задачи.[0026] The performance of an operator in performing a task may be based on one or more performance criteria, wherein the one or more performance criteria may include one or more of the following: the trajectory along which the surgical robot arm moves in performing a task step; smoothness of movement of the hand of the surgical robot; and time to complete a task step.

[0027] Один или более паттернов могут быть выполнены с возможностью идентификации аварийных событий.[0027] One or more patterns may be configured to identify abnormal events.

[0028] Задача может включать множество этапов, и один или более паттернов могут быть выполнены с возможностью автоматической идентификации одного или более этапов задачи на основе данных о состоянии.[0028] A task may include multiple steps, and one or more patterns may be configured to automatically identify one or more task steps based on state data.

[0029] Данные о состоянии могут включать информацию об инструментах, описывающую инструменты, присоединенные к по меньшей мере одному хирургическому роботу в ходе выполнения задачи, и информацию о положении хирургического робота, описывающую движение и/или положение по меньшей мере одного хирургического робота в ходе выполнения задачи; и детектор событий может быть выполнен с возможностью идентификации этапа наложения шва в ходе выполнения задачи путем идентификации паттернов в информации об инструментах и информации о положении хирургического робота.[0029] The state data may include instrument information describing instruments attached to at least one surgical robot during a task, and surgical robot position information describing the movement and/or position of at least one surgical robot during execution. tasks; and the event detector may be configured to identify the suturing step during the execution of the task by identifying patterns in the instrument information and position information of the surgical robot.

[0030] Детектор событий может быть выполнен с возможностью идентификации этапа наложения шва в ходе выполнения задачи, если детектор событий на основе информации об инструментах идентифицирует присоединение к хирургическим роботам по меньшей мере двух иглодержателей, и детектор событий на основе информации о положении хирургического робота идентифицирует, что хирургические роботы совершают повторяющиеся круговые движения.[0030] An event detector may be configured to identify a suturing step during a task if the event detector, based on the instrument information, identifies at least two needle holders being attached to the surgical robots, and the event detector, based on the position information of the surgical robot, identifies, that surgical robots make repetitive circular motions.

[0031] Средство может быть дополнительно выполнено с возможностью связывания дополненного эндоскопического видеоизображения и всех или части данных о состоянии так, что информация, идентифицирующая событие, идентифицирует время наступления события относительно эндоскопического видеоизображения и данных о состоянии.[0031] The means may be further configured to associate the augmented endoscopic video image and all or part of the status data such that the event identification information identifies the time of occurrence of the event relative to the endoscopic video image and the status data.

[0032] Часть эндоскопического видеоизображения и часть данных о состоянии, относящиеся к идентифицированному событию, могут быть выполнены с возможностью извлечения из информации, идентифицирующей событие. [0032] The part of the endoscopic video image and the part of the status data related to the identified event can be made with the possibility of extracting from the information identifying the event.

[0033] Задача может представлять собой хирургическую процедуру, выполняемую в отношении человека.[0033] The task may be a surgical procedure performed on a person.

[0034] Устройство дополнения может содержать хирургическое роботизированное средство.[0034] The augmentation device may comprise a surgical robotic tool.

[0035] Во втором аспекте предоставляется реализуемый на компьютере способ генерирования дополненного эндоскопического видеоизображения, при этом способ включает, на одном или более устройствах на вычислительной основе: прием эндоскопического видеоизображения, захваченного в ходе выполнения задачи, по меньшей мере частично выполняемой хирургическим роботизированным средством, при этом хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, при этом рука содержит множество сочленений, при помощи которых можно изменять конфигурацию руки; прием данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, при этом данные о состоянии синхронизированы по времени с эндоскопическим видеоизображением; идентификацию в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи; и, в ответ на идентификацию в данных о состоянии паттерна, указывающего наступление события в ходе выполнения задачи, дополнение метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения.[0035] In a second aspect, a computer-implemented method for generating an augmented endoscopic video image is provided, the method comprising, on one or more devices on a computational basis: receiving an endoscopic video image captured during a task at least partially performed by a surgical robotic tool, when this surgical robotic tool contains at least one surgical robot containing a base and an arm extending from the base to the attachment point of the tool, while the arm contains a plurality of joints, with which you can change the configuration of the hand; receiving status data describing the state of the surgical robot during the execution of a task, the status data being synchronized in time with the endoscopic video image; identifying one or more patterns in the state data indicating the occurrence of an event during the execution of a task; and, in response to identifying in the state data a pattern indicating the occurrence of an event during the execution of a task, supplementing the metadata forming part of or associated with the endoscopic video image with information identifying the event and the time of the event relative to the endoscopic video image.

[0036] При необходимости вышеописанные признаки могут быть объединены, что очевидно специалистам в данной области техники, и могут быть скомбинированы с любыми из аспектов примеров, описанных в настоящем документе.[0036] If necessary, the features described above may be combined, as will be apparent to those skilled in the art, and may be combined with any of the aspects of the examples described herein.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВBRIEF DESCRIPTION OF GRAPHICS

[0037] Ниже будут подробно описаны примеры со ссылкой на сопроводительные графические материалы, в которых:[0037] Examples will now be described in detail with reference to the accompanying drawings, in which:

[0038] на фиг. 1 представлена принципиальная схема примерного хирургического робота, выполняющего примерную хирургическую процедуру;[0038] in FIG. 1 is a schematic diagram of an exemplary surgical robot performing an exemplary surgical procedure;

[0039] на фиг. 2 представлена принципиальная схема примерного пульта оператора;[0039] in FIG. 2 is a schematic diagram of an exemplary operator console;

[0040] на фиг. 3 представлена принципиальная схема примерного хирургического роботизированного средства с множеством хирургических роботов;[0040] in FIG. 3 is a schematic diagram of an exemplary surgical robot with a plurality of surgical robots;

[0041] на фиг. 4 представлена принципиальная схема примерного эндоскопа, выполненного с возможностью присоединения к руке хирургического робота;[0041] in FIG. 4 is a schematic diagram of an exemplary endoscope capable of being attached to the arm of a surgical robot;

[0042] на фиг. 5 представлена блок-схема примерного устройства дополнения;[0042] in FIG. 5 is a block diagram of an exemplary add-on device;

[0043] на фиг. 6 представлена принципиальная схема примерного хирургического роботизированного средства;[0043] in FIG. 6 is a schematic diagram of an exemplary surgical robotic tool;

[0044] на фиг. 7 представлена принципиальная схема примерного хирургического робота;[0044] in FIG. 7 is a schematic diagram of an exemplary surgical robot;

[0045] на фиг. 8 представлена блок-схема примерного способа дополнения эндоскопического видеоизображения;[0045] in FIG. 8 is a flowchart of an exemplary method for augmenting an endoscopic video image;

[0046] на фиг. 9 представлена принципиальная схема примерного дисплея пульта оператора;[0046] in FIG. 9 is a schematic diagram of an exemplary operator console display;

[0047] на фиг. 10 представлена принципиальная схема примерного дополненного эндоскопического видеоизображения;[0047] in FIG. 10 is a schematic diagram of an exemplary augmented endoscopic video image;

[0048] на фиг. 11 представлена принципиальная схема примерного дополненного эндоскопического видеоизображения, просматриваемого в мультимедийном проигрывателе; [0048] in FIG. 11 is a schematic diagram of an exemplary augmented endoscopic video viewed in a media player;

[0049] на фиг. 12 представлена принципиальная схема примерного дополненного эндоскопического видеоизображения, связанного с соответствующими данными о состоянии; и[0049] in FIG. 12 is a schematic diagram of an exemplary augmented endoscopic video image associated with related status data; and

[0050] на фиг. 13 представлена блок-схема примерного устройства на вычислительной основе.[0050] in FIG. 13 is a block diagram of an exemplary computational device.

[0051] Сопроводительные графические материалы иллюстрируют различные примеры. Специалистам в данной области техники будет понятно, что изображенные границы элементов (например, блоки, группы блоков или другие формы) в графических материалах представляют один пример границ. В некоторых примерах может иметь место случай, в котором один элемент может быть обозначен как множество элементов, или множество элементов могут быть обозначены как один элемент. При необходимости общие ссылочные позиции используются на всех фигурах для указания аналогичных элементов.[0051] The accompanying graphics illustrate various examples. Those skilled in the art will appreciate that depicted borders of elements (eg, blocks, groups of blocks, or other shapes) in graphics represent one example of borders. In some examples, there may be a case in which one element may be designated as a plurality of elements, or a plurality of elements may be designated as one element. Where appropriate, common reference numbers are used throughout the figures to indicate like elements.

ПОДРОБНОЕ ОПИСАНИЕ DETAILED DESCRIPTION

[0052] Следующее описание представлено в качестве примера, позволяющего специалистам в данной области техники осуществлять и применять настоящее изобретение. Настоящее изобретение не ограничивается вариантами осуществления, описанными в настоящем документе, и специалистам в данной области техники будут очевидны различные модификации описанных вариантов осуществления. Варианты осуществления описаны лишь в качестве примера.[0052] The following description is provided as an example to enable those skilled in the art to make and use the present invention. The present invention is not limited to the embodiments described herein, and various modifications of the described embodiments will be apparent to those skilled in the art. Embodiments are described by way of example only.

[0053] В настоящем документе описаны способы и устройства автоматического дополнения эндоскопического видеоизображения, захваченного в ходе выполнения задачи (например, хирургической операции), по меньшей мере частично выполняемой хирургическим роботизированным средством, на основе данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи. Хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, причем рука содержит сочленения, при помощи которых можно изменять конфигурацию руки. Способ включает прием эндоскопического видеоизображения; прием данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, которые синхронизированы по времени с эндоскопическим видеоизображением; идентификацию в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи; и, в ответ на идентификацию в данных о состоянии паттерна, указывающего наступление события, дополнение эндоскопического видеоизображения информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения. [0053] Described herein are methods and apparatus for automatically augmenting an endoscopic video image captured during a task (e.g., surgery) performed at least partially by a surgical robot based on state data describing the state of the surgical robot during execution. tasks. The surgical robotic tool comprises at least one surgical robot comprising a base and an arm extending from the base to the instrument attachment site, the arm having articulations with which the arm configuration can be changed. The method includes receiving an endoscopic video image; receiving state data describing the state of the surgical robot during the execution of the task, which is synchronized in time with the endoscopic video image; identifying one or more patterns in the state data indicating the occurrence of an event during the execution of a task; and, in response to identifying a pattern in the state data indicating the occurrence of an event, supplementing the endoscopic video image with information identifying the event and the time of the event relative to the endoscopic video image.

[0054] В первую очередь, обратимся к фиг. 5, на которой изображено примерное устройство 500 дополнения для автоматического дополнения эндоскопического видеоизображения, захваченного в ходе выполнения задачи (например, хирургической операции), по меньшей мере частично выполняемой хирургическим роботизированным средством 502. Хирургическое роботизированное средство 502 содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения хирургического инструмента, при этом рука содержит множество сочленений, при помощи которых можно изменять конфигурацию руки. Примерное хирургическое роботизированное средство 502 описано ниже со ссылкой на фиг. 6. [0054] Referring first to FIG. 5, which depicts an exemplary augmentation device 500 for automatically augmenting an endoscopic video image captured during a task (e.g., surgery) performed at least partially by a surgical robotic tool 502. The surgical robotic tool 502 includes at least one surgical robot comprising a base and an arm extending from the base to the point of attachment of the surgical instrument, the arm having a plurality of articulations with which the configuration of the arm can be changed. An exemplary surgical robotic tool 502 is described below with reference to FIG. 6.

[0055] Устройство 500 дополнения содержит детектор 504 событий и средство 506 дополнения. Детектор 504 событий и/или средство 506 дополнения может быть реализовано одним или более устройствами на вычислительной основе, как, например, но без ограничения, устройством на вычислительной основе, описанным ниже со ссылкой на фиг. 12.[0055] The padding device 500 includes an event detector 504 and an padding tool 506 . The event detector 504 and/or adder 506 may be implemented by one or more computational devices, such as, but not limited to, the computational device described below with reference to FIG. 12.

[0056] Детектор 504 событий выполнен с возможностью приема данных о состоянии, указывающих или описывающих состояние хирургического роботизированного средства 502 в ходе выполнения роботом задачи (например, хирургической операции). Данные о состоянии синхронизированы по времени с эндоскопическим видеоизображением, захваченным в ходе выполнения задачи. Данные о состоянии могут быть синхронизированы по времени с эндоскопическим видеоизображением любым подходящим способом, который обеспечивает возможность корреляции событий, обнаруженных на основе данных о состоянии, с конкретным моментом или промежутком времени в эндоскопическом видеоизображении. Например, и эндоскопическое видеоизображение, и данные о состоянии могут включать или могут быть связаны с общими отметками времени или общей шкалой времени. [0056] The event detector 504 is configured to receive status data indicating or describing the state of the surgical robot 502 during a task (eg, surgery) performed by the robot. The status data is time synchronized with the endoscopic video captured during the task. The state data may be time synchronized with the endoscopic video image in any suitable manner that allows events detected based on the state data to be correlated with a particular point or time in the endoscopic video image. For example, both endoscopic video and status data may include or may be associated with common timestamps or a common timeline.

[0057] Как более подробно описано ниже, данные о состоянии могут содержать любые данные или информацию о хирургическом роботизированном средстве 502 и/или любую информацию об окружающих условиях, в которых хирургическое роботизированное средство 502 действовало в ходе выполнения задачи. Все или часть данных о состоянии могут генерироваться самим хирургическим роботизированным средством 502 (например, данные, связанные с положением и/или движением руки (рук) хирургического робота, присоединенного к ней инструмента и каких-либо органов ручного управления, при помощи которых осуществляется управление движением руки (рук) робота. В некоторых случаях по меньшей мере часть данных о состоянии может генерироваться одним или более внешними источниками. [0057] As described in more detail below, the state data may include any data or information about the surgical robot 502 and/or any information about the environment in which the surgical robot 502 operated during a task. All or part of the state data may be generated by the surgical robot 502 itself (e.g., data related to the position and/or movement of the surgical robot's arm(s), its attached instrument, and any hand controls that control the movement. robot arm(s) In some instances, at least a portion of the state data may be generated by one or more external sources.

[0058] Например, как представлено на фиг. 5, часть данных о состоянии может генерироваться оборудованием для записи звука и/или видеоизображений, как, например, но без ограничения, камерой 508, которая захватывает звук и/или видеоизображение в помещении (например, в операционной), где выполняется задача; и/или оборудованием для контроля состояния здоровья, таким как, например, но без ограничения, пульсометр 510, который осуществляет контроль одного или более показателей здоровья пациента (если задача выполняется в отношении пациента) и/или оператора (например, хирурга), управляющего хирургическим роботизированным средством 502. Специалистам в данной области техники будет очевидно, что это оборудование представляет собой лишь примеры внешних источников данных о состоянии, и могут иметься другие внешние источники данных о состоянии. Например, другие внешние источники данных о состоянии могут включать больничную койку, при этом больничная койка представляет собой «интеллектуальную» койку, выполненную с возможностью генерирования, например, данных о положении; и оборудование для инсуффляции. Как известно специалистам в данной области техники, в ходе лапароскопической хирургической операции в организм пациента при помощи оборудования для инсуффляции с целью надувания полости для получения большего объема часто вдувают газы, такие как, но без ограничения, диоксид углерода.[0058] For example, as shown in FIG. 5, a portion of the state data may be generated by audio and/or video recording equipment such as, but not limited to, a camera 508 that captures audio and/or video in a room (eg, operating room) where a task is being performed; and/or health monitoring equipment, such as, for example, but not limited to, a 510 heart rate monitor that monitors one or more health indicators of a patient (if the task is performed on a patient) and/or an operator (e.g., a surgeon) operating a surgical robotic tool 502. Those skilled in the art will appreciate that these equipments are only examples of external health data sources, and other external health data sources may be available. For example, other external sources of state data may include a hospital bed, wherein the hospital bed is a "smart" bed configured to generate, for example, position data; and equipment for insufflation. As is known to those skilled in the art, during laparoscopic surgery, gases such as, but not limited to, carbon dioxide are often blown into the patient's body using insufflation equipment to inflate the cavity to obtain a larger volume.

[0059] Детектор 504 событий выполнен с возможностью приема данных о состоянии, сгенерированных хирургическим роботизированным средством502 и/или одним или более внешними источниками 508, 510, при помощи любых подходящих средств. Например, в некоторых случаях хирургическое роботизированное средство 502 и/или один или более внешних источников 508, 510 выполнены с возможностью доставки данных о состоянии в детектор 504 событий при помощи беспроводного или проводного соединения 512 связи, такого как, но без ограничения, соединение Ethernet, соединение Wi-Fi®, соединение Bluetooth®, соединение ближней бесконтактной связи (NFC) и т. п. В этих примерах все или часть данных о состоянии могут доставляться в детектор 504 событий в реальном времени (или по существу в реальном времени) одновременно с выполнением задачи (например, хирургической операции). В других случаях данные о состоянии могут захватываться другим устройством (например, устройством на вычислительной основе) в ходе выполнения задачи и сохраняться в устройстве 514 хранения данных (например, в запоминающем устройстве), а затем доставляться в детектор 504 событий через соединение 512 связи или при помощи любых других подходящих средств. В некоторых случаях все или часть данных о состоянии могут храниться в местоположении выполнения задачи (например, в операционной) на переносном носителе данных, таком как, но без ограничения, карта памяти USB (универсальной последовательной шины), и физически переноситься в местоположение детектора 504 событий, где он соединяется с детектором 504 событий так, что детектор 504 событий может считывать данные о состоянии из переносного носителя данных.[0059] The event detector 504 is configured to receive status data generated by the surgical robot 502 and/or one or more external sources 508, 510 by any suitable means. For example, in some cases, the surgical robot 502 and/or one or more external sources 508, 510 are configured to deliver status data to the event detector 504 using a wireless or wired communication connection 512, such as, but not limited to, an Ethernet connection, a Wi-Fi® connection, a Bluetooth® connection, a Near Field Communication (NFC) connection, and the like. In these examples, all or part of the state data may be delivered to the event detector 504 in real time (or substantially real time) simultaneously with performing a task (for example, a surgical operation). In other cases, the state data may be captured by another device (eg, a computing-based device) during the execution of a task and stored in a data storage device 514 (eg, a storage device) and then delivered to the event detector 504 via the communication connection 512 or upon by any other suitable means. In some cases, all or part of the state data may be stored at the task execution location (e.g., in the operating room) on a portable storage medium such as, but not limited to, a USB (Universal Serial Bus) memory stick, and physically transferred to the location of the event detector 504 where it is connected to the event detector 504 so that the event detector 504 can read the status data from the portable storage medium.

[0060] Детектор 504 событий выполнен с возможностью анализа данных о состоянии с целью идентификации событий, наступивших в ходе выполнения задачи (например, хирургической операции). События, наступившие в ходе выполнения задачи (например, хирургической операции), могут включать, но без ограничения: изменение инструмента, присоединенного к руке робота хирургического роботизированного средства; возникновение столкновения между несколькими руками робота или между множеством инструментов, присоединенных к рукам робота; выход одного или более основных показателей состояния организма и/или одного или более других показателей здоровья пациента за пределы некоторого диапазона; выхода одного или более основных показателей состояния организма оператора (например, хирурга) и/или одного или более других показателей здоровья оператора за пределы некоторого диапазона; использование хирургического роботизированного средства 502 для выполнения конкретного действия (например, наложения шва); и отступление от ожидаемой последовательности событий (например, в то время как ожидался этап наложения шва, выполнялся этап разрезания). Более обширный список примерных событий, которые могут быть идентифицированы детектором 504 событий, описан ниже. Как более подробно описано ниже, детектор 504 событий может быть выполнен с возможностью идентификации событий, наступивших в ходе выполнения задачи, путем идентификации паттернов в данных о состоянии. Например, детектор 504 событий может быть выполнен с возможностью определения использования хирургического роботизированного средства 502 для выполнения наложения шва, если траектория, по которой движется рука робота или присоединенный к ней игольный инструмент, указывает, что было выполнено наложение шва. Паттерны, указывающие наступление события, могут быть предварительно определены или могут быть выучены на основе ранее выполненных задач.[0060] The event detector 504 is configured to analyze the state data to identify events that occurred during the execution of a task (eg, a surgical operation). Events occurring during the execution of a task (eg, a surgical operation) may include, but are not limited to: a change in an instrument attached to a robotic arm of a surgical robotic tool; the occurrence of a collision between a plurality of robot arms or between a plurality of tools attached to the robot arms; the output of one or more basic indicators of the state of the body and/or one or more other indicators of the patient's health outside a certain range; the output of one or more key indicators of the operator's body condition (for example, a surgeon) and/or one or more other indicators of the operator's health outside a certain range; using the surgical robotic tool 502 to perform a specific action (eg, suturing); and a departure from the expected sequence of events (eg, while the suturing step was expected, the cutting step was being performed). A more extensive list of exemplary events that can be identified by the event detector 504 is described below. As described in more detail below, the event detector 504 can be configured to identify events occurring during the execution of a task by identifying patterns in the state data. For example, the event detector 504 may be configured to determine whether the surgical robot 502 has been used to perform a suture if the path followed by the robot arm or the needle tool attached to it indicates that the suture has been performed. Patterns indicating the occurrence of an event may be predetermined or may be learned from previously completed tasks.

[0061] В некоторых случаях, в ответ на обнаружение на основе данных состояния наступления события в ходе выполнения задачи (например, хирургической операции), детектор 504 событий может быть выполнен с возможностью генерирования вывода, указывающего, что событие было обнаружено, тип события, время события и необязательно продолжительность события, и его доставки в средство 506 дополнения.[0061] In some cases, in response to detecting an event occurring during a task (e.g., a surgical operation) based on the state data, the event detector 504 may be configured to generate output indicating that an event has been detected, event type, time event, and optionally the duration of the event, and its delivery to the add-on engine 506.

[0062] Средство 506 дополнения выполнено с возможностью приема эндоскопического видеоизображения, захваченного эндоскопом 516 в ходе выполнения задачи. В некоторых случаях эндоскопическое видеоизображение может быть захвачено эндоскопом 516, присоединенным к и управляемым одной из рук робота хирургического роботизированного средства 502. Однако в других случаях эндоскопическое видеоизображение может быть захвачено эндоскопом, управляемым вручную. Например, пользователь может иметь возможность извлечения эндоскопа, присоединенного к одной из рук робота, и ручного управления движением и действиями эндоскопа. В некоторых случаях, если пользователь извлекает эндоскоп из руки робота и управляет эндоскопом вручную, хирургическое роботизированное средство может больше не иметь возможности точного отслеживания положения и/или движения эндоскопа. Как следствие, хирургическое роботизированное средство может быть выполнено с возможностью ограничения отклика на управляющие входные сигналы при возникновении такой ситуации. [0062] The adder 506 is configured to receive an endoscopic video image captured by the endoscope 516 during a task. In some instances, endoscopic video may be captured by an endoscope 516 attached to and controlled by one of the robotic arms of the surgical robot 502. However, in other instances, endoscopic video may be captured by a manually operated endoscope. For example, a user may be able to remove an endoscope attached to one of the robot's arms and manually control the movement and actions of the endoscope. In some instances, if the user removes the endoscope from the robot arm and operates the endoscope manually, the surgical robot may no longer be able to accurately track the position and/or movement of the endoscope. As a consequence, the surgical robot may be configured to limit the response to control inputs when such a situation occurs.

[0063] Средство 506 дополнения выполнено с возможностью приема эндоскопического видеоизображения при помощи любых подходящих средств. Например, в некоторых случаях сам эндоскоп 516 может быть выполнен с возможностью доставки эндоскопического видеоизображения в средство 506 дополнения при помощи беспроводного или проводного соединения 512 связи, такого как, без ограничения, соединение Ethernet, соединение Wi-Fi®, соединение Bluetooth®, соединение ближней бесконтактной связи (NFC) и т. п. В этих примерах все или часть эндоскопического видеоизображения может доставляться в средство 506 дополнения в реальном времени (или по существу в реальном времени) в ходе выполнения задачи (например, хирургической операции). В других случаях эндоскопическое видеоизображение может сохраняться в устройстве 514 хранения данных (например, в запоминающем устройстве), а затем доставляться в средство 506 дополнения через соединение 512 связи или при помощи любых других подходящих средств. Например, эндоскопическое видеоизображение может храниться в местоположении выполнения задачи (например, в операционной) на переносном носителе данных, таком как, но без ограничения, карта памяти USB, который физически переносится в местоположение средства 506 дополнения, где он соединяется с средством 506 дополнения так, что средство 506 дополнения может считывать эндоскопическое видеоизображение из переносного носителя данных.[0063] The augmentation means 506 is configured to receive the endoscopic video image by any suitable means. For example, in some cases, the endoscope 516 itself may be configured to deliver the endoscopic video image to the add-on 506 using a wireless or wired communication connection 512, such as, but not limited to, an Ethernet connection, a Wi-Fi® connection, a Bluetooth® connection, a non-contact communication (NFC); and the like. In these examples, all or part of the endoscopic video image may be delivered to the adder 506 in real time (or substantially real time) during a task (eg, surgery). In other cases, the endoscopic video image may be stored in a data storage device 514 (eg, a storage device) and then delivered to an adder 506 via a communication connection 512 or by any other suitable means. For example, the endoscopic video image may be stored at a task location (eg, in an operating room) on a portable storage medium, such as, but not limited to, a USB memory stick, that is physically transferred to the location of the add-on 506, where it is connected to the add-on 506 so that that the adder 506 can read the endoscopic video image from the portable storage medium.

[0064] Средство 506 дополнения выполнено с возможностью, в ответ на определение детектором 504 событий на основе данных о состоянии наступления события в ходе выполнения задачи, добавления в эндоскопическое видеоизображение информации (например, метки), идентифицирующей наступление события и время наступления события и необязательно идентифицирующей продолжительность события, с целью генерирования дополненного эндоскопического видеоизображения. В некоторых случаях информация или метка может быть не видна пользователю, когда дополненное эндоскопическое видеоизображение впоследствии воспроизводится или просматривается в видеопроигрывателе. Например, в некоторых случаях информация или метка может быть выполнена с возможностью обнаружения специальным средством или программным обеспечением. Специальное средство или программное обеспечение могут быть выполнены с возможностью определения идентифицированных событий на основе информации или меток и представления пользователю списка идентифицированных событий. Если пользователь выбирает одно из идентифицированных событий, средство выполнена с возможностью представления или вывода части эндоскопического видеоизображения, относящейся к идентифицированному событию.[0064] The adder 506 is configured to, in response to the detection by the event detector 504 based on the event occurrence state data during the execution of the task, to add information (e.g., a label) to the endoscopic video image identifying the occurrence of the event and the time of occurrence of the event, and optionally identifying the duration of the event, in order to generate an augmented endoscopic video image. In some cases, the information or label may not be visible to the user when the augmented endoscopic video is subsequently played back or viewed in a video player. For example, in some cases, the information or label may be made detectable by a dedicated tool or software. Special tool or software may be configured to determine the identified events based on the information or labels and present a list of identified events to the user. If the user selects one of the identified events, the means is configured to present or output a portion of the endoscopic video image related to the identified event.

[0065] В других случаях информация или метка может быть видна пользователю, когда дополненное эндоскопическое видеоизображение впоследствии воспроизводится или просматривается в видеопроигрывателе. В некоторых случаях метка может принимать форму закладки, позволяющей пользователю легко переходить к определенному моменту эндоскопического видеоизображения при воспроизведении дополнительного эндоскопического видеоизображения мультимедийным проигрывателем. Например, при загрузке пользователем дополненного эндоскопического видеоизображения в мультимедийный проигрыватель пользователю может быть представлен список закладок в видеоизображении, и пользователь может перемещаться непосредственно к одному из моментов или отрезков, идентифицируемых закладкой, путем выбора закладки. В некоторых случаях средство 506 дополнения может быть выполнено с возможностью автоматической группировки меток и/или закладок на основе, например, типа события и/или каких-либо других критериев. В некоторых случаях средство 506 дополнения также может быть выполнено с возможностью автоматической идентификации дополнительных событий на основе событий, идентифицированных при помощи данных о состоянии, и дополнения эндоскопического видеоизображения информацией/меткой, идентифицирующей каждое дополнительное событие. В некоторых случаях информация (например, метка), относящаяся к конкретному событию, может быть включена в метаданные, образующие часть эндоскопического видеоизображения или связанные с ним. [0065] In other cases, the information or label may be visible to the user when the augmented endoscopic video is subsequently played or viewed in a video player. In some cases, the label may take the form of a bookmark, allowing the user to easily jump to a specific point in the endoscopic video when the additional endoscopic video is played back by the media player. For example, when a user loads an augmented endoscopic video image into a media player, the user may be presented with a list of bookmarks in the video image, and the user may navigate directly to one of the points or segments identified by the bookmark by selecting the bookmark. In some cases, adder 506 may be configured to automatically group labels and/or bookmarks based on, for example, event type and/or some other criteria. In some cases, adder 506 may also be configured to automatically identify additional events based on the events identified by the status data and add information/label to the endoscopic video image identifying each additional event. In some cases, information (eg, a label) related to a particular event may be included in the metadata that forms part of or is associated with the endoscopic video image.

[0066] Устройство 500 дополнения может являться удаленной от хирургического роботизированного средства 502. Например, хирургическое роботизированное средство 502 может быть расположено в операционной, а устройство 500 дополнения может находиться в другом помещении в больнице или лечебном центре. [0066] Add-on device 500 may be remote from surgical robot 502. For example, surgical robot 502 may be located in an operating room, and add-on device 500 may be located elsewhere in a hospital or treatment center.

[0067] Ниже сделана отсылка к фиг. 6, на которой изображено хирургическое роботизированное средство 502. В данном примере хирургическое роботизированное средство 502 содержит два хирургических робота 602 и 604, управляемых блоком 606 управления. Блок 606 управления принимает входные данные 608 из пульта 610 оператора (как, например, но без ограничения, пульта 200 оператора, представленного на фиг. 2), включая входные данные из первого и второго органов 612, 614 ручного управления. Блок 606 управления выполнен с возможностью приема других входных данных из пульта 610 оператора, таких как, например, входные данные от ножной педали (педалей), входные данные распознавания голоса, входные данные распознавания жестов, входные данные распознавания глаза и т. д. Блок 606 управления также принимает входные данные 616 от хирургических роботов 602, 604. Эти входные данные включают данные датчиков от датчиков положения и датчиков крутящего момента, расположенных на сочленениях рук робота. Блок 606 управления выполнен с возможностью приема других входных данных 616 от каждого робота, таких как тактильная обратная связь, данные от хирургических инструментов или о хирургических инструментах. В ответ на входные данные, принятые от роботов 602, 604 и пульта 610 оператора, блок 606 управления управляет роботами 602, 604. Блок 606 управления содержит один или более процессоров 618 и запоминающее устройство 620. В запоминающем устройстве 620 постоянным образом хранится программный код, который может исполняться одним или более процессорами 618 для управления приводными механизмами.[0067] Reference is made below to FIG. 6, which depicts a surgical robot 502. In this example, the surgical robot 502 includes two surgical robots 602 and 604 controlled by a control unit 606. The control unit 606 receives input 608 from the operator's console 610 (such as, but not limited to, the operator's console 200 shown in FIG. 2), including input from the first and second manual controls 612, 614. The control unit 606 is configured to receive other input from the operator console 610, such as, for example, input from the foot pedal(s), voice recognition input, gesture recognition input, eye recognition input, etc. Block 606 The control also receives input 616 from surgical robots 602, 604. This input includes sensor data from position sensors and torque sensors located at the joints of the robot's arms. The control unit 606 is configured to receive other input 616 from each robot, such as haptic feedback, data from surgical instruments, or about surgical instruments. In response to input received from robots 602, 604 and operator console 610, control unit 606 controls robots 602, 604. Control unit 606 includes one or more processors 618 and memory 620. Memory 620 permanently stores program code, which may be executed by one or more processors 618 to control actuators.

[0068] Хотя хирургическое роботизированное средство 502, представленное на фиг. 6, содержит два хирургических робота, специалистам в данной области техники будет очевидно, что способы и технические решения, описанные в настоящем документе, в равной мере применимы к хирургическим роботизированным средствам, содержащим только одного хирургического робота, и хирургическим роботизированным средствам, содержащим более двух хирургических роботов.[0068] Although the surgical robot 502 shown in FIG. 6 contains two surgical robots, it will be apparent to those skilled in the art that the methods and techniques described herein are equally applicable to surgical robots containing only one surgical robot and to surgical robots containing more than two surgical robots. robots.

[0069] Ниже сделана отсылка к фиг. 7, на которой изображена примерная реализация хирургического робота 700. Один или более из хирургических роботов 602, 604, представленных на фиг. 6, могут быть реализованы как хирургический робот 700, представленный на фиг. 7. Хирургический робот 700 содержит руку 702, проходящую от основания 704, закрепленного на месте при выполнении задачи (например, хирургической процедуры). В некоторых случаях основание 704 может быть установлено на шасси. Шасси может представлять собой тележку, например прикроватную тележку, для установки робота на высоте койки. Альтернативно, шасси может представлять собой устройство, установленное на потолке, или устройство, установленное на койке.[0069] Reference is made below to FIG. 7, which depicts an exemplary implementation of a surgical robot 700. One or more of the surgical robots 602, 604 shown in FIG. 6 may be implemented as the surgical robot 700 shown in FIG. 7. The surgical robot 700 includes an arm 702 extending from a base 704 secured in place while performing a task (eg, a surgical procedure). In some cases, the base 704 may be mounted on a chassis. The chassis may be a trolley, such as a bedside trolley, for mounting the robot at bed height. Alternatively, the chassis may be a ceiling-mounted device or a bed-mounted device.

[0070] Рука 702 проходит от основания 704 робота до места 706 присоединения хирургического инструмента 708. Рука является гибкой. Она является шарнирной посредством нескольких гибких сочленений 710 вдоль ее длины. Между сочленениями находятся жесткие элементы 712 руки. Рука, представленная на фиг. 7, содержит семь сочленений. Сочленения включают один или более шарниров вращения (имеющих ось вращения вдоль продольного направления элементов руки по обе стороны от шарнира), одно или более сочленений горизонтальной осью (имеющих ось вращения, поперечную продольному направлению предыдущего элемента руки), одно или более сочленений вертикальной осью (также имеющих ось вращения, поперечную продольному направлению предыдущего элемента руки, а также поперечную оси вращения совмещенного сочленения горизонтальной осью). Однако рука может быть сочленена иначе. Например, рука может содержать большее или меньшее количество сочленений. Рука может содержать сочленения, допускающее движение, отличное от вращения между соответствующими частями сочленения, например, телескопическое сочленение. Робот содержит набор приводных механизмов 714, при этом каждый приводной механизм 714 приводит в движение одно или более из сочленений 710. [0070] The arm 702 extends from the base 704 of the robot to the attachment point 706 of the surgical instrument 708. The arm is flexible. It is articulated through multiple flexible joints 710 along its length. Between the joints are rigid elements 712 of the hand. The hand shown in Fig. 7 contains seven joints. Articulations include one or more pivot joints (having an axis of rotation along the longitudinal direction of the arm elements on either side of the hinge), one or more horizontal axis joints (having an axis of rotation transverse to the longitudinal direction of the previous arm element), one or more vertical axis joints (also having an axis of rotation transverse to the longitudinal direction of the previous arm element, as well as transverse to the axis of rotation of the combined joint by a horizontal axis). However, the arm may be articulated differently. For example, a hand may contain more or less articulations. The arm may comprise articulations allowing movement other than rotation between respective articulation parts, such as a telescoping articulation. The robot includes a set of actuators 714, with each actuator 714 driving one or more of the joints 710.

[0071] Место 706 присоединения обеспечивает возможность разъемного присоединения хирургического инструмента 708 к дальнему концу руки. Хирургический инструмент 708 содержит линейную жесткую ось и рабочий наконечник на дальнем конце оси. Рабочий наконечник содержит рабочий орган для участия в медицинской процедуре. Хирургический инструмент может быть выполнен так, что он проходит линейно параллельно оси вращения конечного сочленения руки. Например, хирургический инструмент может проходить по оси, совпадающей с осью вращения конечного сочленения руки. Хирургический инструмент 708 может представлять собой, например, режущее, захватывающее, прижигающее устройство или устройство формирования изображений (например, эндоскоп). [0071] The attachment site 706 allows the surgical instrument 708 to be releasably attached to the distal end of the arm. The surgical instrument 708 includes a linear rigid axis and a working tip at the distal end of the axis. The working tip contains a working body for participation in a medical procedure. The surgical instrument may be configured to extend linearly parallel to the axis of rotation of the end articulation of the arm. For example, the surgical instrument may pass along an axis coinciding with the axis of rotation of the end articulation of the arm. The surgical instrument 708 may be, for example, a cutting, grasping, cauterizing, or imaging device (eg, an endoscope).

[0072] Рука робота содержит ряд датчиков 716, 718. Эти датчики содержат для каждого сочленения датчик 716 положения для регистрации положения сочленения, и датчик 718 крутящего момента для регистрации крутящего момента, приложенного к оси вращения сочленения. Один или оба датчика положения и крутящего момента для сочленения могут быть встроены в двигатель этого сочленения. Выходные данные датчиков передаются в блок 606 управления, где они образуют входные данные для одного или более процессоров 618.[0072] The robot arm includes a number of sensors 716, 718. These sensors include, for each joint, a position sensor 716 for detecting the position of the joint, and a torque sensor 718 for detecting the torque applied to the axis of rotation of the joint. One or both of the position and torque sensors for a joint may be built into the motor of that joint. The output of the sensors is passed to the control unit 606 where it forms the input to one or more processors 618.

[0073] Ниже сделана отсылка к фиг. 8, на которой изображен примерный способ 800 автоматического дополнения эндоскопического видеоизображения, захваченного в ходе выполнения задачи (например, хирургической операции), которая по меньшей мере частично выполняется хирургическим роботизированным средством 502, на основе данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи. В частности в способе 800 события, наступившие в ходе выполнения задачи, обнаруживают на основе данных о состоянии, и эндоскопическое видеоизображение дополняют информацией (например, одной или более метками), идентифицирующей обнаруженные события и время, в которое эти события наступили относительно эндоскопического видеоизображения. [0073] Reference is made below to FIG. 8, which depicts an exemplary method 800 for automatically augmenting endoscopic video captured during a task (e.g., surgery) that is at least partially performed by the surgical robot 502 based on state data describing the state of the surgical robot during execution. tasks. In particular, in the method 800, events occurring during the execution of a task are detected based on the state data, and the endoscopic video image is supplemented with information (e.g., one or more labels) identifying the detected events and the time at which these events occurred relative to the endoscopic video image.

[0074] Способ 800 начинается с блока 802, в котором устройство 500 дополнения (например, средство 506 дополнения) принимает эндоскопическое видеоизображение, захваченное эндоскопом в ходе выполнения задачи (например, хирургической операции), по меньшей мере частично выполняемой хирургическим роботизированным средством 502. Как описано выше, в некоторых случаях эндоскопическое видеоизображение может быть захвачено эндоскопом, присоединенным к и управляемым одной из рук робота хирургического роботизированного средства 502. В других случаях эндоскопическое видеоизображение может быть захвачено эндоскопом, приводимым в действие вручную. Как описано выше, эндоскопическое видеоизображение может быть принято устройством 500 дополнения (например, средством 506 дополнения) при помощи любых подходящих средств. Например, эндоскопическое видеоизображение может быть непосредственно доставлено в устройство 500 дополнения (например, в средство 506 дополнения) эндоскопа при помощи проводного или беспроводного соединения связи (например, соединения Ethernet, соединения Wi-Fi®, соединения Bluetooth®, соединения NFC и т. д.). В других случаях эндоскопическое видеоизображение может сохраняться в запоминающем устройстве или другом устройстве и доставляться в устройство 500 дополнения посредством другого устройства.[0074] Method 800 begins at block 802, in which augmentation device 500 (eg, augmentation agent 506) receives endoscopic video captured by the endoscope during a task (eg, surgical operation) at least partially performed by surgical robotic instrument 502. As described above, in some cases, endoscopic video may be captured by an endoscope attached to and controlled by one of the robot arms of the surgical robot 502. In other cases, endoscopic video may be captured by a manually operated endoscope. As described above, the endoscopic video image may be received by the adder 500 (eg, adder 506) by any suitable means. For example, the endoscopic video image can be directly delivered to the endoscope add-on device 500 (e.g., add-on device 506) using a wired or wireless communication connection (e.g., Ethernet connection, Wi-Fi® connection, Bluetooth® connection, NFC connection, etc. .). In other cases, the endoscopic video image may be stored in a storage device or other device and delivered to the augmentation device 500 via another device.

[0075] В блоке 804 устройство 500 дополнения (например, детектор 504 событий) принимает данные о состоянии, описывающие состояние хирургического роботизированного средства 502 в ходе выполнения задачи (например, хирургической операции). Данные о состоянии могут включать любую информацию, описывающую хирургическое роботизированное средство 502 в ходе выполнения задачи (например, хирургической операции) или описывающую окружающие условия, в которых действовало хирургическое роботизированное средство 502. Как описано выше, данные о состоянии являются синхронизированными по времени с эндоскопическим видеоизображением так, что события, обнаруженные на основе данных о состоянии, можно скоррелировать с моментом или промежутком времени в эндоскопическом видеоизображении.[0075] At block 804, augmentation device 500 (eg, event detector 504) receives state data describing the state of surgical robot 502 during a task (eg, surgery). The state data may include any information describing the surgical robot 502 during a task (e.g., a surgical operation) or describing the environment in which the surgical robot 502 operated. As described above, the state data is time synchronized with the endoscopic video image. so that events detected based on the status data can be correlated to a point or time interval in the endoscopic video image.

[0076] Все или часть данных о состоянии могут генерироваться самим хирургическим роботизированным средством 502 (например, хирургическое роботизированное средство выполнено с возможностью генерирования данных, относящихся к положению и/или движению руки (рук) хирургического робота, и/или присоединенных к ней инструментов). В некоторых случаях часть данных о состоянии может генерироваться одним или более внешними источниками. Данные о состоянии могут содержать один или более потоков данных, каждый из которых отдельно синхронизирован по времени с эндоскопическим видеоизображением. Термин «поток данных» используется в настоящем документе как означающий набор данных, которые были сгенерированы одним источником и описывают один элемент хирургического роботизированного средства 502. Например, как описано выше, каждое сочленение хирургического роботизированного средства 502 может содержать датчик 716 положения для регистрации положения сочленения и датчик 718 крутящего момента для регистрации крутящего момента вокруг оси вращения сочленения. Потоком данных можно считать данные, генерируемые каждым датчиком 716 положения. Аналогично, потоком данных можно считать данные, генерируемые каждым датчиком 718 крутящего момента.[0076] All or part of the state data may be generated by the surgical robot 502 itself (for example, the surgical robot is configured to generate data relating to the position and/or movement of the surgical robot's arm(s) and/or instruments attached thereto) . In some cases, some of the state data may be generated by one or more external sources. The state data may comprise one or more data streams, each of which is separately time-synchronized with the endoscopic video image. The term "data stream" is used herein to mean a set of data that has been generated by a single source and describes a single element of the surgical robot 502. For example, as described above, each joint of the surgical robot 502 may include a position sensor 716 for detecting the position of the joint and a torque sensor 718 for detecting a torque about an axis of rotation of the joint. The data stream can be considered the data generated by each position sensor 716 . Similarly, data generated by each torque sensor 718 can be considered a data stream.

[0077] Данные о состоянии могут содержать информацию или данные, описывающие текущее состояние руки (рук) робота хирургического роботизированного средства, как, например, но без ограничения, информацию о положении и/или крутящем моменте, указывающую положение и/или движение руки (рук) робота или ее сочленений. В частности данные о состоянии могут содержать данные о положении и/или крутящем моменте, сгенерированные датчиками 716, 718 положения и/или крутящего момента. Например, каждый датчик 716 положения может сообщать угол стыковки сочленения, которое он регистрирует, и/или каждый датчик крутящего момента может сообщать крутящий момент, действующий на сочленение, которое он регистрирует. Специалистам в данной области техники будет очевидно, что эти датчики представляют собой лишь пример, и что хирургический робот (роботы) может содержать другие датчики, предоставляющие информацию в отношении состояния руки (рук) робота. [0077] The state data may comprise information or data describing the current state of the surgical robotic arm(s), such as, but not limited to, position and/or torque information indicating the position and/or movement of the arm(s). ) of the robot or its joints. In particular, the status data may comprise position and/or torque data generated by the position and/or torque sensors 716, 718. For example, each position sensor 716 may report the mating angle of the joint it senses and/or each torque sensor may report the torque acting on the joint it senses. Those skilled in the art will appreciate that these sensors are only exemplary, and that the surgical robot(s) may contain other sensors that provide information regarding the condition of the robot's arm(s).

[0078] Данные о состоянии могут также или альтернативно содержать данные или информацию, описывающую состояние инструментов, присоединенных к руке (рукам) робота. Например, данные о состоянии могут содержать информацию, идентифицирующую, присоединен ли инструмент к руке (рукам) робота, и, если инструмент присоединен, тип инструмента, присоединенного к руке (рукам) робота. В частности хирургическое роботизированное средство 502 может содержать средства обнаружения присоединения инструмента к руке (например, хирургическое роботизированное средство может содержать такие средства вхождения в контакт с инструментом, как средства, описанные в опубликованной патентной заявке заявителя на патент Великобритании №2552855 A, которая включена в настоящий документ посредством ссылки), и средства автоматического обнаружения типа инструмента (например, каждый инструмент может содержать RFID или другой компонент, выполненный с возможностью автоматического предоставления хирургическому роботизированному средству информации о его идентификаторе при присоединении к руке робота), и эта информация может доставляться в детектор 504 событий как данные о состоянии. Данные о состоянии могут также или альтернативно содержать такую информацию, как, но без ограничения, информация о положении и/или крутящем моменте, указывающая положение и/или движение инструмента (инструментов), присоединенного к руке (рукам) робота. Специалистам в данной области техники будет очевидно, что эта информация представляет собой лишь пример, и что хирургический робот или сами инструменты могут содержать другие датчики, предоставляющие информацию о состоянии инструментов. [0078] The state data may also or alternatively comprise data or information describing the state of the tools attached to the robot arm(s). For example, the state data may include information identifying whether a tool is attached to the robot's arm(s) and, if the instrument is attached, the type of instrument attached to the robot's arm(s). In particular, the surgical robotic tool 502 may include means for detecting the attachment of an instrument to the hand (for example, the surgical robotic tool may include means for entering into contact with the instrument, such as those described in Applicant's GB 2552855 A, which is incorporated herein). document by reference), and means for automatically detecting the type of instrument (for example, each instrument may contain an RFID or other component configured to automatically provide the surgical robot with information about its identifier when attached to the robot arm), and this information can be delivered to the detector 504 events as state data. The state data may also or alternatively comprise information such as, but not limited to, position and/or torque information indicative of the position and/or movement of the tool(s) attached to the robot arm(s). Those skilled in the art will appreciate that this information is merely an example, and that the surgical robot or the instruments themselves may contain other sensors that provide information about the status of the instruments.

[0079] Если по меньшей мере один из инструментов, присоединенных к руке (рукам) робота, представляет собой инструмент под напряжением, такой как, но без ограничения, инструмент для электрокаутеризации, электрохирургический инструмент, находящийся под напряжением за счет электрического тока для выполнения хирургической функции (например, прижигания, разрезания и т. д.), то данные о состоянии могут содержать информацию о состоянии инструментов под напряжением, как, например, но без ограничения, о том, находится ли инструмент под напряжением в настоящий момент, и, если находится, о форме кривой электрического тока, используемой для подачи напряжения на инструмент. [0079] If at least one of the instruments attached to the robot arm(s) is an energized instrument, such as, but not limited to, an electrocautery instrument, an electrosurgical instrument energized by an electric current to perform a surgical function (e.g., cauterized, cut, etc.), the condition data may contain information about the state of live tools, such as, but not limited to, whether the tool is currently live, and if it is , about the shape of the electric current curve used to apply voltage to the tool.

[0080] Если по меньшей мере один из инструментов, присоединенных к руке (рукам) робота, представляет собой эндоскоп, данные о состоянии могут содержать информацию, указывающую положение, движение, состояние и/или поле обзора эндоскопа.[0080] If at least one of the instruments attached to the robot arm(s) is an endoscope, the state data may include information indicative of the position, movement, state, and/or field of view of the endoscope.

[0081] Данные о состоянии могут также или альтернативно содержать данные или информацию, описывающую состояние устройств ввода оператора (например, органов 612, 614 ручного управления), используемых для управления работой рук робота и инструментов. Как описано выше, устройства ввода оператора могут, например, представлять собой механические устройства ввода, приводимые в действие вручную, такие как органы ручного управления или рычаги управления. В этих случаях данные о состоянии могут содержать такие данные, как, но без ограничения, данные о положении и/или крутящем моменте, указывающие положение и/или движение устройств ввода (например, органов 612, 614 ручного управления). Например, одно или более устройств ввода могут содержать датчик положения, выполненный с возможностью регистрации положения устройства ввода, и/или датчик крутящего момента, выполненный с возможностью регистрации крутящего момента или усилия, приложенного к устройству ввода. В некоторых случаях орган ручного управления может быть установлен на пантографических механизмах при помощи кардановых подвесов. В этих случаях эти механизмы и/или кардановы подвесы могут содержать датчики положения и/или датчики крутящего момента, измеряющие положения и крутящий момент сочленений соединения и/или карданова подвеса. Результаты этих измерений затем могут доставляться в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии. [0081] The state data may also or alternatively comprise data or information describing the state of operator input devices (eg, manual controls 612, 614) used to control the operation of the robot's arms and tools. As described above, the operator input devices may, for example, be manually actuated mechanical input devices such as manual controls or control levers. In these cases, the status data may include data such as, but not limited to, position and/or torque data indicating the position and/or movement of input devices (eg, manual controls 612, 614). For example, one or more input devices may include a position sensor configured to detect the position of the input device and/or a torque sensor configured to detect torque or force applied to the input device. In some cases, the manual control can be mounted on pantographic mechanisms using gimbals. In these cases, these mechanisms and/or gimbals may contain position sensors and/or torque sensors that measure the positions and torque of the joint and/or gimbals. The results of these measurements may then be delivered to the augmentation device 500 (eg, event detector 504) as status data.

[0082] В некоторых случаях, когда устройства ввода представляют собой органы ручного управления, каждый орган ручного управления может содержать один или более датчиков контакта с рукой и т. п., которые выполнены с возможностью обнаружения нахождения руки пользователя в контакте с органом ручного управления или захватывания органа ручного управления, что указывает, используется ли этот орган ручного управления. В этих случаях информация об обнаружении контакта с рукой, генерируемая датчиком (датчиками) контакта с рукой, может быть доставлена в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии. В некоторых случаях, когда устройства ввода представляют собой органы ручного управления, каждый орган ручного управления может также или альтернативно содержать один или более датчиков захватывания, выполненных с возможностью обнаружения усилия захватывания, приложенного к органу ручного управления (т. е. того, насколько сильно оператор захватывает орган ручного управления). В этих случаях информация об усилии захватывания, генерируемая датчиком (датчиками) усилия захватывания, может быть доставлена в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии. В некоторых случаях датчик (датчики) контакта с рукой и датчики захватывания могут представлять собой один датчик или могут быть объединены иначе. В некоторых случаях оператор может быть оснащен датчиками движения на его/ее руках, которые обнаруживают движение рук оператора. В этих случаях данные о движении рук, генерируемые датчиком движения руки, могут быть доставлены в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии.[0082] In some cases where the input devices are hand controls, each hand control may include one or more hand contact sensors, etc., that are configured to detect whether the user's hand is in contact with the hand control or gripping the manual control, which indicates whether the manual control is being used. In these cases, the hand contact detection information generated by the hand contact sensor(s) may be delivered to the augmentation device 500 (eg, event detector 504) as status data. In some cases where the input devices are manual controls, each manual control may also or alternatively comprise one or more grip sensors configured to detect the grip force applied to the manual control (i.e., how hard the operator grabs the hand control). In these cases, the grip force information generated by the grip force sensor(s) may be delivered to the augmentation device 500 (eg, event detector 504) as status data. In some cases, the hand contact sensor(s) and the grip sensors may be a single sensor or otherwise combined. In some cases, the operator may be equipped with motion sensors on his/her hands that detect the movement of the operator's hands. In these cases, the hand motion data generated by the hand motion sensor may be delivered to the augmentation device 500 (eg, event detector 504) as state data.

[0083] Данные о состоянии могут также или альтернативно содержать информацию о режиме работы хирургического роботизированного средства 502. Например, в некоторых случаях хирургическое роботизированное средство 502 может быть выполнено с возможностью действия в одном из множества режимов, таких как, но без ограничения, активный режим, в котором оператор (например, хирург) управляет одной или более руками робота с целью выполнения задачи (например, хирургической операции); режим выбора, в котором оператор (например, хирург) выбирает или включает руку (руки) робота, которой он будет управлять с пульта 610 оператора; и режим смены инструмента, в котором удаляется, присоединяется и/или изменяется по меньшей мере один из инструментов, присоединенных к руке робота. Также может иметься несколько типов активного режима. Например, в некоторых случаях может иметься активный режим эндоскопа, в котором оператор управляет эндоскопом, присоединенным к руке робота, и активный режим инструмента, в котором оператор управляет одним или более инструментами, присоединенными к одной или более рукам робота. В этих случаях данные о состоянии могут содержать информацию о текущем режиме работы хирургического роботизированного средства 502. Специалистам в данной области техники будет очевидно, что эти режимы являются лишь примерными режимами работы хирургического роботизированного средства, и что могут иметься дополнительные или другие режимы работы хирургического роботизированного средства 502.[0083] The state data may also or alternatively contain information about the mode of operation of the surgical robot 502. For example, in some instances, the surgical robot 502 may be configured to operate in one of a variety of modes, such as, but not limited to, active mode. in which an operator (eg, a surgeon) controls one or more arms of the robot to perform a task (eg, a surgical operation); a selection mode in which an operator (eg, a surgeon) selects or turns on the robot arm(s) to be controlled from the operator console 610; and a tool change mode in which at least one of the tools attached to the robot arm is removed, attached and/or changed. There may also be several types of active mode. For example, in some cases, there may be an endoscope active mode in which an operator controls an endoscope attached to a robot arm and an instrument active mode in which an operator controls one or more instruments attached to one or more robot arms. In these cases, the state data may include information about the current mode of operation of the surgical robot 502. Those skilled in the art will appreciate that these modes are only exemplary modes of operation of the surgical robot, and that there may be additional or other modes of operation of the surgical robot. 502.

[0084] Если выполняемой задачей является хирургическая процедура, выполняемая в отношении пациента, данные о состоянии могут также или альтернативно содержать данные, относящиеся к пациенту. Например, данные о состоянии могут содержать информацию о здоровье пациента или данные, описывающие состояние здоровья пациента в ходе выполнения задачи. Например, данные о состоянии могут содержать информацию, описывающую основные показатели состояния организма (например, температуру тела, частоту пульса, частоту дыхания) или другие показатели здоровья (например, кровяное давление, насыщение кислородом, глюкоза/сахар крови) пациента в ходе выполнения задачи (например, хирургической операции). Как правило, в ходе хирургической операции основные показатели состояния организма и другие показатели здоровья пациента измеряются специальным медицинским измерительным оборудованием, таким как пульсометр, пульсоксиметр, глюкометр непрерывного действия (CGM) и т. п. В этих случаях медицинское измерительное оборудование может быть выполнено с возможностью отправки информации об основных показателях состояния организма или другой информации о показателях здоровья пациента в устройство 500 дополнения (например, детектор 504 событий), например, через сеть связи (например, сеть проводной или беспроводной связи). [0084] If the task being performed is a surgical procedure performed on a patient, the condition data may also or alternatively contain data related to the patient. For example, the state data may contain information about the patient's health or data describing the state of the patient's health during a task. For example, health data may contain information that describes a patient's vital signs (eg, body temperature, pulse rate, respiration rate) or other health indicators (eg, blood pressure, oxygen saturation, blood glucose/sugar) during a task ( such as surgery). Typically, during surgery, vital signs and other health indicators of the patient are measured by special medical measuring equipment such as a heart rate monitor, pulse oximeter, continuous glucose meter (CGM), etc. In these cases, the medical measuring equipment can be configured to sending vital sign information or other patient health information to the augmentation device 500 (eg, event detector 504), for example, via a communication network (eg, a wired or wireless communication network).

[0085] Однако в других случаях информация об основных показателях состояния организма и/или других показателях здоровья пациента может быть получена другим способом. Например, в некоторых случаях операционная, в которой выполняется хирургическая операция, может быть оборудована устройством записи видеоизображения и/или звука, и данные об основных показателях состояния организма и/или другие медицинские данные пациента могут быть получены из записи видеоизображения и/или звука. Например, если медицинское измерительное оборудование генерирует слышимое представление измерения (например, набор слышимых тонов или прерывистых звуковых сигналов), оценка измерения может быть получена путем анализа звука, записанного устройством записи видеоизображения и/или звука. В другом примере, если медицинское измерительное оборудование видимым образом отображает текущий или предыдущий результат измерения, результат измерения может быть получен путем анализа видеоизображения, записанного устройством записи видеоизображения (например, результат измерения может быть считан из медицинского измерительного оборудования). В других случаях один или более основных показателей состояния организма пациента могут быть получены из эндоскопического видеоизображения. Например, частоту пульса пациента или уровень насыщения крови пациента кислородом можно идентифицировать из эндоскопического видеоизображения при помощи методик анализа видеоизображений. В частности уровень насыщения крови пациента кислородом может быть определен на основе цвета крови пациента. Определению основных показателей состояния организма или других показателей здоровья пациента из эндоскопического видеоизображения может способствовать освещение соответствующей части организма пациента. [0085] However, in other cases, information about the basic indicators of the state of the body and/or other indicators of the health of the patient can be obtained in another way. For example, in some cases, the operating room in which a surgical operation is performed may be equipped with a video and/or audio recording device, and vital signs and/or other medical data of the patient may be obtained from the video and/or audio recording. For example, if the medical measuring equipment generates an audible representation of the measurement (eg, a set of audible tones or intermittent audio signals), an evaluation of the measurement can be obtained by analyzing the audio recorded by the video and/or audio recorder. In another example, if the medical measuring equipment visually displays the current or previous measurement result, the measurement result may be obtained by analyzing the video image recorded by the video recording device (for example, the measurement result may be read from the medical measuring equipment). In other instances, one or more vital signs of the patient's body condition may be obtained from the endoscopic video image. For example, a patient's pulse rate or a patient's blood oxygen saturation level can be identified from an endoscopic video image using video image analysis techniques. In particular, the oxygen saturation level of a patient's blood can be determined based on the color of the patient's blood. Illumination of the corresponding part of the patient's body can help determine the vital signs of the state of the body or other indicators of the health of the patient from the endoscopic video image.

[0086] Данные о состоянии могут также или альтернативно содержать другую информацию, относящуюся к пациенту, как, например, но без ограничения, демографическую информацию, такую как возраст и вес, а также другую медицинскую информацию, такую как предыдущие снимки (например, рентгеновские, MRI), предыдущие результаты, историю болезни, историю диагноза и/или план течения.[0086] The condition data may also or alternatively contain other information related to the patient, such as, but not limited to, demographic information such as age and weight, and other medical information such as previous images (e.g., x-rays, MRI), previous findings, medical history, diagnosis history, and/or course plan.

[0087] В некоторых случаях данные о состоянии также могут содержать информацию о здоровье хирурга или данные, описывающие здоровье оператора (например, хирурга), управляющего хирургическим роботизированным средством. Например, данные о состоянии могут содержать информацию или данные, описывающие один или более основных сигналов состояния организма (например, температуру тела, частоту пульса, частоту дыхания) и/или других показателей здоровья (например, кровяное давление) оператора (например, хирурга) в ходе выполнения задачи (например, хирургической операции). Например, в некоторых случаях, когда устройства ввода представляют собой органы ручного управления, эти органы ручного управления могут содержать датчики, измеряющие частоту сердечных сокращений оператора (например, хирурга), дрожь движений оператора (например, хирурга) и/или скорость потоотделения оператора (например, хирурга) и предоставляющие информацию или данные, связанные с измеренной частотой сердечных сокращений, дрожью и/или скоростью потоотделения, в детектор 504 событий как данные о состоянии. В других случаях могут иметься внешние медицинские устройства и т. п., выполненные с возможностью измерения основных показателей состояния организма или других показателей здоровья оператора (например, хирурга) в ходе выполнения задачи. Как описано выше в отношении основных показателей состояния организма и других показателей здоровья пациента, медицинские устройства, измеряющие основные показатели состояния организма или другие показатели здоровья оператора (например, хирурга), могут быть выполнены с возможностью доставки данных об измеренных показателях в детектор 504 событий, например, через сеть связи, или оценка измеренных показателей может быть получена другими средствами (например, путем анализа видеоизображения и/или звука операционной).[0087] In some cases, the state data may also contain information about the health of the surgeon or data describing the health of the operator (eg, surgeon) operating the surgical robotic tool. For example, the state data may comprise information or data describing one or more of the body's basic health signals (eg, body temperature, pulse rate, respiration rate) and/or other health indicators (eg, blood pressure) of an operator (eg, surgeon) in the progress of a task (for example, a surgical operation). For example, in some cases where the input devices are manual controls, these manual controls may include sensors that measure the heart rate of the operator (e.g., the surgeon), the trembling of the operator (e.g., the surgeon), and/or the sweat rate of the operator (e.g., the operator). , surgeon) and providing information or data related to the measured heart rate, trembling and/or sweat rate to the event detector 504 as status data. In other instances, there may be external medical devices and the like capable of measuring vital signs or other health indicators of an operator (eg, surgeon) in the course of performing a task. As described above with respect to vital signs and other indicators of patient health, medical devices that measure vital signs or other indicators of the health of an operator (e.g., a surgeon) can be configured to deliver measured data to an event detector 504, e.g. , via a communication network, or an assessment of the measured values can be obtained by other means (for example, by analyzing the video image and / or sound of the operating room).

[0088] Как описано выше, в некоторых случаях помещение (например, операционная), в которой выполняется задача, может быть оснащено оборудованием для записи звука и/или видеоизображения с целью записи звука и/или видеоизображения помещения во время выполнения задачи. В этих случаях данные о состоянии могут также или альтернативно содержать видео- и аудиоданные, захваченные оборудованием для записи звука и/или видеоизображения.[0088] As described above, in some cases, the room (eg, operating room) in which the task is performed may be equipped with sound and/or video recording equipment to record the sound and/or video of the room during the task. In these cases, the state data may also or alternatively comprise video and audio data captured by the audio and/or video recording equipment.

[0089] В некоторых случаях данные о состоянии могут также или альтернативно содержать информацию о выполняемой задаче. Например, данные о состоянии могут содержать информацию о задаче (например, хирургической процедуре), по меньшей мере частично выполняемой хирургическим роботизированным средством 502. В некоторых случаях, если задача включает некоторое количество этапов, данные о состоянии могут содержать информацию, указывающую этапы задачи, которые были выполнены и время их выполнения. Например, оператор (например, хирург) хирургического роботизированного средства 502 может иметь возможность указывать в ходе выполнения задачи этап или фазу задачи, которую он/она выполняет в настоящий момент, и эта информация может быть доставлена в устройство 500 дополнения (например, детектор 504 событий) как данные о состоянии. Например, как представлено на фиг. 9, пульт 610 оператора может содержать дисплей или быть связан с дисплеем 902, отображающим эндоскопическое видеоизображение 904, а также предоставляющим оператору список этапов задачи 906. Перечисленные этапы могут быть выбраны автоматически на основе задачи или введены оператором (например, хирургом) вручную. Например, оператор (например, хирург) может иметь возможность ручного ввода этапов или фаз задачи, исполнения которой ожидает оператор. Оператор (например, хирург) может иметь возможность выбора или иного указания того, какие из перечисленных этапов или фаз выполняются в настоящий момент, с использованием устройств ввода (например, органов 612, 614 ручного управления), например, путем нажатия кнопки на органе ручного управления или другими средствами (например, устно или при помощи дисплея, если дисплей представляет собой сенсорный экран). Любой выбор, сделанный оператором (например, хирургом), может затем доставляться в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии.[0089] In some cases, the state data may also or alternatively contain information about the task being performed. For example, the state data may contain information about a task (e.g., a surgical procedure) at least partially performed by the surgical robotic tool 502. have been completed and the timing of their completion. For example, an operator (e.g., a surgeon) of the surgical robotic tool 502 may be able to indicate, during the execution of a task, the step or phase of the task he/she is currently performing, and this information may be delivered to the augmentation device 500 (e.g., event detector 504). ) as state data. For example, as shown in FIG. 9, an operator console 610 may comprise a display or be associated with a display 902 that displays an endoscopic video image 904 as well as providing the operator with a list of steps in a task 906. The listed steps may be selected automatically based on the task, or manually entered by the operator (e.g., surgeon). For example, an operator (eg, a surgeon) may be able to manually enter steps or phases of a task that the operator expects to complete. An operator (e.g., surgeon) may be able to select or otherwise indicate which of the listed steps or phases are currently being performed using input devices (e.g., manual controls 612, 614), such as by pressing a button on a manual control. or by other means (for example, verbally or through a display if the display is a touch screen). Any selection made by the operator (eg, surgeon) may then be delivered to the augmentation device 500 (eg, event detector 504) as status data.

[0090] В некоторых случаях данные о состоянии могут также или альтернативно содержать информацию о пользователях хирургического роботизированного средства 502 (например, об операторе (например, хирурге), управляющем хирургическим роботом (роботами) и/или других членах рабочей группы (например, хирургической бригады)). Например, в некоторых случаях, перед началом выполнения задачи хирургического роботизированного средства 502 и/или детектору 504 событий может быть предоставлена информация, указывающая пользователей, которые будут выполнять эту задачу. В других случаях пользователи (например, хирургическая бригада), выполняющие задачу, могут быть снабжены устройством (например, устройством RFID, мобильным телефоном, планшетом и т. д.), выполненным с возможностью автоматической передачи в хирургическое роботизированное средство 502 и/или детектор 504 событий информации, идентифицирующей пользователей, когда они находятся вблизи хирургического роботизированного средства. Пример такого средства описан в одновременно находящейся на рассмотрении заявке того же заявителя на патент Великобритании, озаглавленной «DEVICE INTEROPERATION», поданной одновременно с текущей заявкой и включенной в настоящий документ посредством ссылки.[0090] In some cases, the status data may also or alternatively contain information about users of the surgical robotic tool 502 (e.g., the operator (e.g., surgeon), operating the surgical robot(s), and/or other members of the work group (e.g., surgical team). )). For example, in some cases, before starting a task, the surgical robot 502 and/or the event detector 504 may be provided with information indicating which users will perform the task. In other cases, users (e.g., a surgical team) performing a task may be provided with a device (e.g., RFID device, mobile phone, tablet, etc.) capable of being automatically transferred to the surgical robot 502 and/or the detector 504 events of information identifying users when they are near the surgical robotic tool. An example of such a tool is described in the same British Patent Applicant's co-pending application entitled "DEVICE INTEROPERATION", filed concurrently with the current application and incorporated herein by reference.

[0091] В некоторых случаях оператор (например, хирург), управляющий хирургическим роботизированным средством, или другой член рабочей группы (например, хирургической бригады) может иметь возможность вручную указывать, что событие наступило. В частности в некоторых случаях оператору (например, хирургу) может быть представлен список предварительно определенных событий, которые могут наступить в ходе выполнения задачи, и оператор (например, хирург) может иметь возможность указывать, что одно из предварительно определенных событий наступило, путем выбора одного из предварительно определенных событий. Какой-либо выбор, сделанный оператором (например, хирургом), может затем доставляться в устройство 500 дополнения (например, в детектор 504 событий) как часть данных о состоянии. Например, как представлено на фиг. 9, пульт 610 оператора может содержать дисплей или может быть связан с дисплеем 902, на котором эндоскопическое видеоизображение 904 представляется оператору (например, хирургу). Дисплей 902 также выполнен с возможностью отображения одного или более предварительно определенных событий 908, которые могут наступить в ходе выполнения задачи, и оператор (например, хирург) может указывать, что одно из предварительно определенных событий наступило, путем выбора одного из перечисленных событий. Предварительно определенные события могут быть выбраны автоматически на основе типа события, конкретного оператора и/или других критериев; или оператор или другой пользователь может иметь возможность ручного ввода набора событий, которые могут наступить в ходе выполнения задачи. В некоторых случаях устройство 500 дополнения или другое устройство на вычислительной основе может быть выполнено с возможностью автоматического генерирования на основе данных о состоянии для ранее выполненных задач, например, событий с высокой вероятностью или важных событий, и эти события с высокой вероятностью или важные события представляются оператору (например, хирургу) как события, которые могут быть вручную введены оператором (например, хирургом) или другим членом рабочей группы.[0091] In some cases, the operator (eg, surgeon) operating the surgical robot or another member of the work team (eg, surgical team) may be able to manually indicate that an event has occurred. In particular, in some cases, the operator (eg, surgeon) may be presented with a list of predefined events that may occur during the execution of a task, and the operator (eg, surgeon) may be able to indicate that one of the predefined events has occurred by selecting one from predefined events. Any selection made by the operator (eg, surgeon) may then be delivered to the augmentation device 500 (eg, event detector 504) as part of the state data. For example, as shown in FIG. 9, an operator console 610 may comprise a display or may be associated with a display 902 on which the endoscopic video image 904 is presented to an operator (eg, a surgeon). The display 902 is also configured to display one or more predefined events 908 that may occur during the course of a task, and the operator (eg, surgeon) may indicate that one of the predefined events has occurred by selecting one of the listed events. Predefined events can be selected automatically based on event type, specific operator, and/or other criteria; or an operator or other user may be able to manually enter a set of events that may occur during the execution of a task. In some cases, augmentation device 500 or other computationally based device may be configured to automatically generate based on state data for previously performed tasks, such as high probability or important events, and these high probability or important events are presented to the operator. (eg surgeon) as events that can be manually entered by the operator (eg surgeon) or another member of the workgroup.

[0092] Оператор (например, хирург) может иметь возможность выбора одного из предварительно определенных событий с использованием устройств ввода (например, органов ручного управления), например, путем нажатия кнопки на одном из органов ручного управления или другими средствами (например, устно или путем касания дисплея 902, если дисплей 902 представляет собой сенсорный экран). В некоторых случаях другой член рабочей группы (например, хирургической бригады) может иметь устройство, такое как, но без ограничения, компьютер или планшет, на котором ему представляется список предварительно определенных событий, и он может указывать, что одно из предварительно определенных событий наступило, путем выбора одного из предварительно определенных событий. Любой результат выбора затем может доставляться в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии. Событие, которое может быть вручную идентифицировано оператором или другим членом рабочей группы, может по-прежнему автоматически обнаруживаться устройством дополнения на основе других данных о состоянии.[0092] An operator (e.g., a surgeon) may be able to select one of predefined events using input devices (e.g., manual controls), for example, by pressing a button on one of the manual controls or by other means (e.g., verbally or by touching the display 902 if the display 902 is a touch screen). In some cases, another member of the work group (for example, a surgical team) may have a device, such as, but not limited to, a computer or tablet, on which he is presented with a list of predefined events, and he may indicate that one of the predefined events has occurred, by selecting one of the predefined events. Any result of the selection may then be delivered to adder 500 (eg, event detector 504) as state data. An event that may be manually identified by the operator or another member of the work team may still be automatically detected by the augmentation device based on other status data.

[0093] Со ссылкой на фиг. 8, в блоке 806 устройство 500 дополнения (например, детектор 504 событий) анализирует данные о состоянии с целью идентификации событий, наступивших в ходе выполнения задачи (например, хирургической операции). Термин «событие» используется в настоящем документе как означающий наступление идентифицируемого происшествия в ходе выполнения задачи. События могут включать, но без ограничения, события инструментов; события столкновений; события задачи; события пациента; события оператора (например, хирурга); события эффективности и/или аварийные события. Ниже описаны примеры событий каждого из этих типов.[0093] With reference to FIG. 8, at block 806, augmentation device 500 (eg, event detector 504) analyzes the state data to identify events that occurred during the execution of a task (eg, a surgical operation). The term "event" is used in this document to mean the occurrence of an identifiable occurrence during the execution of a task. Events may include, but are not limited to, tool events; collision events; task events; patient events; operator events (for example, a surgeon); efficiency events and/or failure events. Examples of each of these types of events are described below.

[0094] Устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью идентификации события на основе данных о состоянии путем идентификации паттерна в данных о состоянии. Одно или более событий можно идентифицировать путем идентификации паттерна в одном потоке данных о состоянии или путем идентификации паттернов во множестве потоков данных о состоянии. Устройство 500 дополнения обычно предварительно выполнено содержащим паттерн (паттерны), идентифицирующий наступление события, и то, какое конкретно событие идентифицирует данный паттерн. Например, паттерн (паттерны) может храниться в запоминающем устройстве Устройство 500 дополнения. События и/или конкретный паттерн (паттерны), указывающий наступление события, могут быть определены вручную или могут быть выучены на основе данных о состоянии из ранее выполненных задач. Например, в некоторых случаях устройство 500 дополнения или другое устройство на вычислительной основе может быть выполнено с возможностью анализа данных о состоянии из ранее выполненных задач, которые были вручную дополнены информацией о событиях с целью идентификации общих паттернов в данных о состоянии, предшествующих идентифицируемым событиям.[0094] Augmenter 500 (eg, event detector 504) can be configured to identify an event based on the state data by identifying a pattern in the state data. One or more events can be identified by identifying a pattern in one state data stream or by identifying patterns in multiple state data streams. The padding device 500 is typically pre-configured containing a pattern(s) identifying the occurrence of an event and what specific event that pattern identifies. For example, the pattern(s) may be stored in the storage device Addition Device 500. Events and/or specific pattern(s) indicating the occurrence of an event may be manually determined or may be learned based on state data from previously executed tasks. For example, in some cases, augmentation device 500 or other computationally based device may be configured to parse state data from previously executed tasks that have been manually augmented with event information in order to identify common patterns in the state data prior to the identified events.

[0095] В некоторых вариантах осуществления устройство 500 дополнения (например, детектор 504 событий) может также или альтернативно быть выполнено с возможностью обнаружения на основе данных о состоянии событий инструментов. Событиями инструментов являются те события, которые связаны с инструментами, применяемыми в (например, присоединенными к) хирургическому роботизированному средству 502 в ходе выполнения задачи. Задача хирургического робота (например, хирургическая операция) часто требует множества различных хирургических инструментов. Множество инструментов могут использоваться одновременно (например, может иметься множество рук робота, к которым присоединены и под управлением которых находятся различные инструменты), и/или множество инструментов могут использоваться последовательно (например, первый инструмент может быть присоединен к руке робота для выполнения конкретной функции, затем первый инструмент может быть удален и к данной руке робота присоединен второй инструмент для выполнения другой функции). Примерный набор инструментов, которые могут использоваться в ходе выполнения задачи хирургическим роботом, могут включать, но без ограничения, ножницы, зажимы различных форм и геометрий, одно- и двухполюсные электрохирургические инструменты, другие инструменты, приводимые в действие путем снабжения энергией (например, лазерные или ультразвуковые инструменты), сшивающий аппарат и лигатор. События инструментов могут включать, но без ограничения, изменение инструмента; если по меньшей мере один из инструментов, присоединенных к руке робота в ходе выполнения задачи (например, хирургической операции) представляет собой инструмент под напряжением, изменение состояния инструмента под напряжением; если один из инструментов представляет собой эндоскоп, очистку эндоскопа; если один из инструментов представляет собой эндоскоп, выполнение регулировки баланса белого в отношении средства формирования изображений; если один из инструментов представляет собой эндоскоп, выход величины или частоты движения за пределы некоторого диапазона; и изменение активного инструмента. [0095] In some embodiments, augmentation device 500 (eg, event detector 504) may also or alternatively be configured to be discoverable based on tool event state data. Instrument events are those events that are associated with instruments used in (eg, attached to) the surgical robot 502 during the execution of a task. The task of a surgical robot (eg, surgery) often requires many different surgical instruments. Multiple tools may be used simultaneously (for example, there may be multiple robot arms to which different instruments are attached and controlled), and/or multiple instruments may be used sequentially (for example, a first tool may be attached to a robot arm to perform a particular function, the first tool can then be removed and a second tool attached to that robot arm to perform another function). An exemplary set of tools that may be used in the course of performing a task by a surgical robot may include, but are not limited to, scissors, clamps of various shapes and geometries, single- and double-pole electrosurgical instruments, other power-driven instruments (e.g., laser or ultrasonic instruments), stapler and ligator. Tool events may include, but are not limited to, tool change; if at least one of the instruments attached to the robot arm during the task (eg, surgery) is an energized instrument, changing the state of the energized instrument; if one of the instruments is an endoscope, cleaning the endoscope; if one of the instruments is an endoscope, performing a white balance adjustment on the imaging means; if one of the instruments is an endoscope, the amount or frequency of movement is outside a certain range; and changing the active tool.

[0096] Как описано выше, данные о состоянии могут содержать информацию, описывающую состояние инструментов, присоединенных к руке (рукам) робота. Например, данные о состоянии могут содержать информацию, идентифицирующую присоединение инструмента к каждой руке (каждой из рук), тип инструмента, присоединенного к каждой руке робота, и, если инструмент представляет собой инструмент под напряжением, состояние инструмента под напряжением (например, подано ли напряжение на инструмент, и необязательно форма кривой электрического тока, подаваемого на инструмент под напряжением). В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью обнаружения события изменения инструмента в случае обнаружения отсоединения инструмента от руки робота или присоединения инструмента к руке. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью изменения состояния инструмента под напряжением при обнаружении на основе данных о состоянии изменения состояния инструмента под напряжением от нахождения под напряжением к отсутствию напряжения или наоборот, или при обнаружении изменения формы кривой электрического тока, подаваемого на инструмент под напряжением.[0096] As described above, the state data may comprise information describing the state of the tools attached to the robot arm(s). For example, the state data may include information identifying the attachment of a tool to each arm(s), the type of tool attached to each robot arm, and, if the tool is a live tool, the state of the live tool (e.g., whether power is on the tool, and optionally the waveform of the electrical current applied to the energized tool). In these cases, augmentation device 500 (eg, event detector 504) may be configured to detect a tool change event in the event of detecting a tool being detached from the robot's hand or a tool being attached to the hand. In these cases, augmentation device 500 (e.g., event detector 504) may be configured to change the energized state of the tool upon detection, based on the state data, of a change in the energized state of the tool from energized to no voltage or vice versa, or upon detection of a shape change. curve of electric current applied to an energized tool.

[0097] Как описано выше, данные о состоянии могут содержать информацию о состоянии эндоскопа, как, например, о нахождении эндоскопа в состоянии очистки, или о выполнении оператором регулировки баланса белого в отношении средства формирования изображений. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения наступления события инструмента, если устройство 500 дополнения (например, детектор 504 событий) обнаруживает на основе информации о состоянии эндоскопа, что эндоскоп находится в состоянии очистки, или что в отношении средства формирования изображений выполняется регулировка баланса белого. Если данные о состоянии не содержат информацию о состоянии эндоскопа, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью автоматического обнаружения на основе данных о состоянии нахождения эндоскопа в состоянии очистки или выполнения регулировки баланса белого в отношении средства формирования изображений. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено возможностью обнаружения нахождения эндоскопа в состоянии очистки или выполнения регулировки баланса белого в отношении средства формирования изображений, если устройство 500 дополнения (например, детектор 504 событий): идентифицирует паттерн конкретных усилий в отношении эндоскопа; идентифицирует положение наконечника эндоскопа вне организма пациента; идентифицирует на основе видеоизображения операционной, что эндоскоп был очищен или была выполнена регулировка баланса белого; и/или идентифицирует комбинацию вышеперечисленного. [0097] As described above, the status data may include information about the status of the endoscope, such as whether the endoscope is in a cleaning state, or whether an operator has performed a white balance adjustment on an imaging device. In these cases, add-on device 500 (eg, event detector 504) may be configured to determine the occurrence of an instrument event if add-on device 500 (eg, event detector 504) detects, based on the endoscope state information, that the endoscope is in a cleaning state, or that the imaging tool is being adjusted for white balance. If the status data does not contain information about the state of the endoscope, the augmentation device 500 (e.g., the event detector 504) can be configured to automatically detect based on the status data that the endoscope is in a cleaning state or performing white balance adjustment with respect to the imaging engine. For example, add-on device 500 (eg, event detector 504) may be configured to detect that the endoscope is in a cleaning state or perform white balance adjustment on the imaging means if add-on device 500 (eg, event detector 504): identifies a specific force pattern in in relation to the endoscope; identifies the position of the endoscope tip outside the patient's body; identifies, based on the video image of the operating room, that the endoscope has been cleaned or white balance adjustment has been performed; and/or identifies a combination of the above.

[0098] Как описано выше, данные о состоянии могут содержать информацию о положении и/или движении эндоскопа. Если эндоскоп присоединен к руке робота и находится под управлением оператора на пульте оператора, информация о положении и/или движении эндоскопа может генерироваться, например, при помощи датчиков положения и/или крутящего момента на руке робота. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения наступления события инструмента при обнаружении на основе информации о положении и/или движении выхода величины (т. е. амплитуды) или частоты движения эндоскопа за пределы некоторого диапазона.[0098] As described above, the status data may contain information about the position and/or movement of the endoscope. If the endoscope is attached to the robot arm and is controlled by an operator at the operator console, information about the position and/or movement of the endoscope can be generated, for example, using position and/or torque sensors on the robot arm. In these cases, augmentation device 500 (e.g., event detector 504) may be configured to detect the occurrence of an instrument event upon detection, based on position and/or motion information, of an amount (i.e., amplitude) or frequency of movement of the endoscope outside a certain range. .

[0099] Как описано выше, в некоторых случаях хирургическое роботизированное средство 502 может содержать множество рук робота, каждая из которых может содержать присоединенный к ней инструмент, и оператор (например, хирург) может иметь возможность выборочно управлять одной или более руками робота и присоединенными к ним инструментами с пульта оператора (например, хирурга). При помощи пульта оператора, оператор может иметь возможность выбора того, какие руки робота и, таким образом, какие инструменты будут находиться под управлением оператора за счет связывания устройств ввода (например, органов ручного управления) с конкретными инструментами. Инструменты, в какой-либо момент времени находящиеся под управлением с пульта оператора, могут называться «активными» инструментами. В этих случаях данные о состоянии могут содержать информацию, указывающую, какие инструменты были активны в какие моменты времени в ходе выполнения задачи (эта информация может называться «информацией об активных инструментах»). В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения наступления события инструмента, если устройство 500 дополнения (например, детектор 503 событий) обнаруживает на основе информации об активных инструментах изменение одного или более активных инструментов. За счет обнаружения изменений активных инструментов и дополнения эндоскопического видеоизображения этой информацией можно включить в эндоскопическое видеоизображение запись активных инструментов в ходе выполнения задачи.[0099] As described above, in some cases, the surgical robotic tool 502 may include a plurality of robot arms, each of which may have an instrument attached to it, and an operator (e.g., a surgeon) may be able to selectively control one or more robot arms and attached to them with instruments from the operator's console (for example, a surgeon). With an operator console, the operator may be able to select which robot arms, and thus which tools, will be under the operator's control by linking input devices (eg, hand controls) to specific tools. Instruments that are currently under control from the operator's console may be referred to as "active" instruments. In these cases, the state data may contain information indicating which tools were active at which points in time during the execution of a task (this information may be referred to as "active tool information"). In these cases, adder 500 (eg, event detector 504) may be configured to detect the occurrence of a tool event if adder 500 (eg, event detector 503) detects a change in one or more active tools based on the active tool information. By detecting changes in active instruments and supplementing the endoscopic video image with this information, a recording of active instruments during a task can be included in the endoscopic video image.

[00100] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий столкновений. События столкновений могут включать, но без ограничения, столкновение между руками робота хирургического роботизированного средства 502, столкновение между инструментами, присоединенными к разным рукам робота хирургического роботизированного средства 502, и столкновение между рукой робота хирургического роботизированного средства 502 и инструментом, присоединенным к другой руке робота хирургического роботизированного средства 502.[00100] In some cases, augmentation device 500 (eg, event detector 504) may additionally or alternatively be configured to detect collision events. Collision events may include, but are not limited to, collision between the arms of the surgical robot 502, collision between instruments attached to different arms of the surgical robot 502, and collision between the arm of the surgical robot 502 and an instrument attached to the other arm of the surgical robot. robotic tool 502.

[00101] Как описано выше, в некоторых случаях данные о состоянии могут содержать данные или информацию, указывающую положение и/или движение руки (рук) робота и/или присоединенных к ней инструментов. В этих случаях устройство 500 дополнения (например, детектор 504 событий), например, может быть выполнено с возможностью обнаружения наступления события столкновения (т. е. столкновения руки робота или инструмента с другой рукой робота или инструментом) на основе данных или информации, указывающей положение и/или движение рук робота и/или инструментов. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения возникновения столкновения между руками, между инструментами или между рукой и инструментом, за счет, например, (i) определения или оценки положения рук и/или инструментов на основе данных положения и/или движения и определения того, что положения одного или более инструментов и/или одной или более рук являются одинаковыми или по существу одинаковыми; или (ii) определения на основе информации о положении и/или движении (например, на основе данных крутящих моментов), что на двух из рук и/или инструментов обнаружены равные и противоположно направленные усилия, как описано в заявке заявителя на патент Великобритании №1810754.0, которая включена в настоящий документ посредством ссылки.[00101] As described above, in some cases, the state data may comprise data or information indicative of the position and/or movement of the robot arm(s) and/or tools attached to it. In these cases, augmentation device 500 (e.g., event detector 504), for example, can be configured to detect the occurrence of an collision event (i.e., collision of a robot arm or tool with another robot arm or tool) based on data or information indicative of the position and/or movement of the robot's arms and/or tools. For example, augmentation device 500 (e.g., event detector 504) may be configured to determine the occurrence of a collision between hands, between tools, or between a hand and a tool, by, for example, (i) determining or evaluating the position of the hands and/or tools based on position and/or movement data and determining that the positions of one or more instruments and/or one or more hands are the same or substantially the same; or (ii) determining, based on position and/or motion information (e.g. based on torque data), that equal and opposite forces are detected on two of the arms and/or tools, as described in Applicant's UK Patent Application No. 1810754.0 which is incorporated herein by reference.

[00102] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнена с возможностью обнаружения событий задачи. События задачи могут включать, например, изменение этапа выполняемой задачи. Например, задача (например, хирургическая операция) может быть связана с предварительно определенной последовательностью этапов, все или часть которых могут выполняться в ходе выполнения задачи, и устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения наступления события, если она обнаруживает на основе данных о состоянии изменение этапа выполняемой задачи. Автоматическая идентификация этапов выполняемых задач и дополнение эндоскопического видеоизображения этой информацией могут обеспечивать возможность автоматического сегментирования эндоскопического видеоизображения на основе этапов задачи. Это может позволять пользователю легко идентифицировать части эндоскопического видеоизображения, относящиеся к конкретным этапам задачи. [00102] In some cases, augmentation device 500 (eg, event detector 504) may additionally or alternatively be configured to detect task events. Task events may include, for example, a change in the stage of a task in progress. For example, a task (eg, a surgical operation) may be associated with a predetermined sequence of steps, all or part of which may be performed during the execution of the task, and add-on device 500 (eg, event detector 504) may be configured to detect the occurrence of an event if it detects, based on the state data, a change in the stage of a task in progress. The automatic identification of task steps and the addition of this information to the endoscopic video may allow automatic segmentation of the endoscopic video based on task steps. This may allow the user to easily identify portions of the endoscopic video image related to specific task steps.

[00103] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, в явном виде идентифицирующую, какие этапы задач выполнялись, и в какое время (что может называться в настоящем документе «информацией, идентифицирующей этапы»). Например, как описано выше, оператор (например, хирург) или другой пользователь (например, другой член операционной бригады) может иметь возможность вручную указывать в ходе выполнения задачи, какие этапы задачи выполняются. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью идентификации изменения этапа задачи на основе информации, идентифицирующей этапы. Если информация, в явном виде идентифицирующая этапы задачи, не принята как часть данных о состоянии, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью динамического обнаружения этапов задачи на основе других данных о состоянии. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения этапов задачи на основе обнаруженных в данных о состоянии паттернов, совпадающих с паттернами в данных о состоянии для ранее выполненных задач. В частности, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может быть выполнено с возможностью анализа данных о состоянии, связанных с ранее выполненными задачами того же типа, что и текущая задача (например, данных о состоянии, связанных с такой же хирургической процедурой или хирургической процедурой того же типа); идентификации общего набора этапов в данной задаче на основе анализа; и генерирования карты, связывающей идентифицированные этапы. В некоторых случаях анализ может включать по меньшей мере анализ эндоскопического видеоизображения.[00103] As described above, in some cases, the state data may contain information explicitly identifying which task steps were performed and at what time (which may be referred to herein as "step identifying information"). For example, as described above, an operator (eg, a surgeon) or another user (eg, another member of the operating team) may be able to manually indicate during the course of a task which steps of the task are performed. In these cases, adder 500 (eg, event detector 504) can be configured to identify a task step change based on information identifying the steps. If information explicitly identifying task steps is not received as part of the state data, adder 500 (eg, event detector 504) can be configured to dynamically detect task steps based on other state data. For example, augmentation device 500 (eg, event detector 504) may be configured to detect task steps based on patterns found in state data that match patterns in state data for previously executed tasks. In particular, augmentation device 500 (e.g., event detector 504) or other computationally based device may be configured to parse state data associated with previously executed tasks of the same type as the current task (e.g., state data associated with with the same surgical procedure or the same type of surgical procedure); identifying a common set of steps in a given task based on the analysis; and generating a map linking the identified stages. In some cases, the analysis may include at least an analysis of the endoscopic video image.

[00104] В других случаях устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может снабжаться данными о состоянии для одной или более ранее выполненных задач, которые были вручную разделены на сегменты, связанные с этапами задачи, и устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации особенностей или признаков данных о состоянии, связанных с каждым этапом. Например, каждый этап может отличаться, например, одним или более из следующих признаков: тип (типы) инструментов, движения рук робота и/или движения органов ручного управления. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может быть выполнено с возможностью приема данных о состоянии для ранее выполненной задачи, в которых сегмент данных о состоянии, соответствующий этапу наложения шва, идентифицирован как таковой. Затем устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью анализа части данных о состоянии, идентифицированных как соответствующие этапу наложения шва, и идентификации таких признаков, как присоединение иглодержательного инструмента к двум из рук робота; выполнение оператором повторяющихся криволинейных движений с небольшой амплитудой при помощи органов ручного управления (и, таким образом, рабочих органов); и высокие усилия, прикладываемые к рабочему органу и зажимным приспособлениям рабочего органа. Особенности и/или признаки этапа можно затем использовать для идентификации этого этапа на основе данных о состоянии в последующих задачах. В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может быть выполнено с возможностью генерирования на основе одного набора данных о состоянии (т. е. данных о состоянии, относящихся к одной ранее выполненной задаче) особенностей или признаков, в достаточной мере описывающих этап задачи так, что его можно идентифицировать в другом наборе данных о состоянии (т. е. в данных о состоянии, относящихся к другой задаче). В других случаях устройству 500 дополнения (например, детектору 504 событий) или другому устройству на вычислительной основе для генерирования особенностей или признаков, в достаточной мере описывающих этап задачи так, чтобы его можно было идентифицировать в другом наборе данных о состоянии, может потребоваться несколько наборов данных о состоянии.[00104] In other cases, augmentation device 500 (e.g., event detector 504) or other computationally based device may be provided with status data for one or more previously completed tasks that have been manually divided into segments associated with task steps, and device 500 an add-on (eg, event detector 504) or other computational device is configured to identify features or features of the state data associated with each step. For example, each step may differ in, for example, one or more of the following: tool type(s), robot arm movements, and/or manual control movements. For example, augmentation device 500 (eg, event detector 504) or other computationally based device may be configured to receive state data for a previously performed task in which the state data segment corresponding to the suturing step is identified as such. Then, an augmentation device 500 (e.g., an event detector 504) or other computationally based device is configured to parse a portion of the state data identified as corresponding to the suturing step and identify features such as attaching a needle holder to two of the robot's arms; performance by the operator of repetitive curvilinear movements with a small amplitude using the manual controls (and, thus, the working bodies); and high forces applied to the working body and clamping devices of the working body. Features and/or features of a step can then be used to identify that step based on status data in subsequent tasks. In some cases, augmentation device 500 (e.g., event detector 504) or other computationally based device may be configured to generate, from a single set of state data (i.e., state data relating to a single previously completed task), features or features that sufficiently describe the task step so that it can be identified in another set of state data (i.e., in state data related to another task). In other cases, augmentation device 500 (e.g., event detector 504) or other computationally based device may need multiple sets of data to generate features or features that sufficiently describe a task step so that it can be identified in another set of state data. about the state.

[00105] Примерный набор этапов роботизированной хирургической процедуры, которые могут автоматически обнаруживаться устройством 500 дополнения (например, детектором 504 событий), представлен в таблице 1. Роботизированная хирургическая процедура может включать все или только часть (т. е. подмножество) этих этапов.[00105] An exemplary set of robotic surgical procedure steps that may be automatically detected by augmentation device 500 (e.g., event detector 504) is shown in Table 1. A robotic surgical procedure may include all or only a portion (i.e., a subset) of these steps.

Таблица1Table 1

Этапы задачиTask steps Введение троакараTrocar insertion Введение инструментаTool introduction Отведение органов/ткани в стороныAbduction of organs/tissue to the sides Диссекция ткани tissue dissection Прибытие к целевому органуArrival at the target body Изоляция кровоснабженияIsolation of the blood supply Поперечный разрез органаCross section of an organ Закрытие анастомоза/органаAnastomosis/organ closure Извлечение образцаSample extraction ГемостазHemostasis Закрытие/приближение целевого участкаClosing/zooming in target area Извлечение инструментаTool removal Удаление троакара/места введения троакараRemoval of the trocar/trocar insertion site Закрытие раныwound closure

[00106] Во многих случаях каждая задача включает предварительно определенный набор этапов, которые могут выполняться в ходе выполнения задачи, и существует лишь небольшое количество комбинаций этих этапов, которые могут происходить. В этих случаях после обнаружения устройством 500 дополнения (например, детектором 504 событий) определенного этапа обычно имеется весьма ограниченное количество этапов, которые могут происходить после этого этапа. Это может облегчать нагрузку на устройство 500 дополнения (например, на детектор 504 событий) при обнаружении этапов задачи. Это также может обеспечить возможность обнаружения устройством 500 дополнения (например, детектором 504 событий) отклонения от ожидаемого набора этапов (например, когда выполняется этап, не находящийся в списке ожидаемых этапов, или когда этап, находящийся в списке ожидаемых этапов, выполняется вне очереди). Как описано ниже, если устройство 500 дополнения (например, детектор 504 событий) обнаруживает, что было отклонение от ожидаемого набора этапов, то устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью обнаружения аварийного события. [00106] In many cases, each task includes a predetermined set of steps that can be performed during task execution, and there are only a small number of combinations of these steps that can occur. In these cases, after augmentation device 500 (eg, event detector 504) detects a particular step, there is typically a very limited number of steps that can occur after that step. This can ease the load on the adder 500 (eg, the event detector 504) when task steps are detected. It may also allow augmentation device 500 (eg, event detector 504) to detect deviations from the expected set of steps (eg, when a step that is not on the list of expected steps is executed, or when a step that is on the list of expected steps is executed out of order). As described below, if augmentation device 500 (eg, event detector 504) detects that there has been a deviation from the expected set of steps, then augmentation device 500 (eg, event detector 504) may be configured to detect an abnormal event.

[00107] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий пациента. События пациента могут включать выход одного или более основных показателей состояния организма или одного или более других показателей здоровья пациента за пределы некоторого диапазона; и/или изменение одного или более основных показателей состояния организма и/или других показателей здоровья пациента (например, более чем на определенную величину). [00107] In some cases, augmentation device 500 (eg, event detector 504) may additionally or alternatively be configured to detect patient events. Patient events may include one or more vital signs or one or more other indicators of the patient's health outside a certain range; and/or a change in one or more of the basic indicators of the state of the body and/or other indicators of the health of the patient (for example, by more than a certain amount).

[00108] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию о здоровье пациента или данные, указывающие состояние одного или более основных показателей состояния организма и/или одного или более других показателей здоровья пациента в ходе выполнения задачи. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения события пациента, если информация или данные о здоровье пациента указывают выход одного или более показателей здоровья пациента (например, основных показателей состояния организма) за пределы некоторого диапазона. Это диапазон может варьироваться для различных показателей здоровья (например, могут иметься разные диапазоны для частоты дыхания и частоты сердечных сокращений). [00108] As described above, in some instances, the health data may comprise information about the patient's health or data indicative of the status of one or more vital signs and/or one or more other health indicators of the patient during a task. In these cases, augmentation device 500 (e.g., event detector 504) can be configured to detect a patient event if the patient's health information or data indicates that one or more of the patient's health indicators (e.g., vital signs) are outside a certain range. This range may vary for different health indicators (for example, there may be different ranges for respiratory rate and heart rate).

[00109] В некоторых случаях диапазоны могут быть предварительно определенными. В других случаях диапазоны могут быть выучены на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации на основе данных о состоянии для ранее выполненных задач уровня различных показателей здоровья непосредственно перед наступлением отрицательного результата и генерирования диапазонов на основе идентифицированных уровней (например, может быть выбран диапазон, охватывающий низший и высший идентифицированные уровни). Эти диапазоны могут быть определены для всех задач, или для разных задач (т. е. разных хирургических процедур) могут быть определены разные диапазоны. Например, на основе данных о состоянии для ранее выполненных задач можно определить, что частота сердечных сокращений в диапазоне от Х до Y является нормальной для хирургической операции типа А, но не является нормальной для хирургической операции типа В.[00109] In some cases, the ranges may be predefined. In other cases, ranges can be learned from status data for previously completed tasks. For example, add-on device 500 (e.g., event detector 504) or other computationally-based device is configured to identify, based on state data, for previously completed tasks of the level of various health indicators immediately prior to the occurrence of a negative result and generate ranges based on the identified levels (e.g., a range can be chosen covering the lowest and highest levels identified). These ranges may be defined for all tasks, or different ranges may be defined for different tasks (ie, different surgical procedures). For example, based on status data for previously performed tasks, it can be determined that a heart rate in the range X to Y is normal for Type A surgery, but not normal for Type B surgery.

[00110] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий оператора (например, хирурга). События оператора (например, хирурга) могут включать, но без ограничения, одно или более из: выхода основных показателей состояния организма и/или других показателей здоровья оператора (например, хирурга) за пределы некоторого диапазона; изменения (например, более чем на определенную величину) одного или более основных показателей состояния организма и/или других показателей здоровья оператора (например, хирурга); изменения (например, более чем на определенную величину) усилия захватывания, прикладываемого оператором (например, хирургом) к одному или более из устройств ввода (например, органов ручного управления); и/или изменения (например, более чем на определенную величину) толкающего усилия, прикладываемого оператором (например, хирургом) к одному или более из устройств ввода (например, органам ручного управления). Например, устройство 500 дополнения (например, детектор событий) может быть выполнено с возможностью обнаружения наступления события оператора, если кровяное давление оператора находится за пределами некоторого диапазона; или если частота сердечных сокращений оператора находится за пределами некоторого диапазона, и прикладываемое оператором усилие захватывания превышает определенное пороговое значение/величину. [00110] In some cases, augmentation device 500 (eg, event detector 504) may additionally or alternatively be configured to detect operator (eg, surgeon) events. Operator (eg, surgeon) events may include, but are not limited to, one or more of: vital signs and/or other health indicators of the operator (eg, surgeon) falling outside a certain range; changes (eg, by more than a certain amount) in one or more vital signs and/or other health indicators of the operator (eg, surgeon); changing (eg, by more than a certain amount) the grip force applied by the operator (eg, surgeon) to one or more of the input devices (eg, manual controls); and/or changing (eg, by more than a certain amount) the pushing force applied by the operator (eg, surgeon) to one or more of the input devices (eg, manual controls). For example, augmentation device 500 (eg, an event detector) may be configured to detect the occurrence of an operator event if the operator's blood pressure is outside a certain range; or if the operator's heart rate is outside a certain range and the operator's applied grip force exceeds a certain threshold value/value.

[00111] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию о здоровье оператора (например, хирурга) или данные, указывающие состояние одного или более основных показателей состояния организма оператора (например, хирурга) и/или одного или более других показателей здоровья оператора (например, хирурга) в ходе выполнения задачи. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения события оператора, если информация или данные о здоровье оператора указывают выход одного или более показателей здоровья оператора (например, основных показателей состояния организма) за пределы некоторого диапазона или их изменение более чем на определенную величину. Это диапазон и/или определенная величина может варьироваться для разных показателей здоровья (например, могут иметься разные диапазоны для частоты дыхания и частоты сердечных сокращений), операторов и/или задач. [00111] As described above, in some cases, the health data may include information about the health of the operator (e.g., surgeon) or data indicating the status of one or more key health indicators of the operator (e.g., surgeon) and/or one or more other indicators. the health of the operator (e.g. surgeon) during a task. In these cases, augmentation device 500 (e.g., event detector 504) may be configured to detect an operator event if the operator health information or data indicates that one or more of the operator's health indicators (e.g., vital signs) are outside a certain range, or change by more than a certain amount. This range and/or the defined value may vary for different health indicators (eg, there may be different ranges for respiratory rate and heart rate), operators and/or tasks.

[00112] В некоторых случаях диапазоны и/или определенные величины могут быть выучены на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации на основе данных о состоянии для ранее выполненных задач уровня различных показателей здоровья оператора непосредственно перед наступлением отрицательного события (например, отрицательного события, связанного с оператором или пациентом) и генерирования диапазонов на основе идентифицированных уровней (например, может быть выбран диапазон, охватывающий низший и высший идентифицированные уровни). Эти диапазоны могут быть определены для всех операторов, или для разных операторов могут быть определены разные диапазоны. Например, на основе данных о состоянии для ранее выполненных задач можно определить, что частота сердечных сокращений в диапазоне от Х до Y является нормальной для одного оператора, но не является нормальной для другого оператора.[00112] In some cases, ranges and/or certain values may be learned based on status data for previously completed tasks. For example, augmentation device 500 (e.g., event detector 504) or other computational device is configured to identify, based on state data, previously performed task levels of various operator health indicators just before the occurrence of an adverse event (e.g., an adverse event associated with an operator or by the patient) and generating ranges based on the levels identified (eg, a range can be selected spanning the lowest and highest levels identified). These ranges can be defined for all operators, or different ranges can be defined for different operators. For example, based on status data for previously completed tasks, it can be determined that a heart rate ranging from X to Y is normal for one operator but not normal for another operator.

[00113] Как описано выше, в некоторых случаях данные о состоянии могут включать информацию о захватывании органа ручного управления, которая описывает усилие захватывания, прикладываемое оператором к одному или более органам ручного управления. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения события оператора, если устройство 500 дополнения (например, детектор 504 событий) на основе информации о захватывании обнаруживает изменение усилия захватывания (или изменение более чем на определенную величину).[00113] As described above, in some instances, the status data may include hand control grip information that describes the grip force applied by an operator to one or more hand controls. In these cases, augmentation device 500 (eg, event detector 504) may be configured to detect an operator event if augmentation device 500 (eg, event detector 504) detects a change in grip force (or a change by more than a certain amount) based on the grip information. ).

[00114] Как описано выше, в некоторых случаях орган ручного управления может быть установлен на пантографических механизмах при помощи кардановых подвесов, и данные о состоянии могут содержать данные о положении и/или крутящем моменте, указывающие положение и/или крутящий момент сочленений соединения и/или карданова подвеса. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения толкающего усилия, прикладываемого оператором к одному или более устройствам ввода (например, органам ручного управления), на основе информации о положении и/или крутящем моменте соединения и/или карданова подвеса и обнаружения наступления события оператора при обнаружении устройством 500 дополнения изменения толкающего усилия (или изменения более чем на определенную величину). [00114] As described above, in some cases, the manual control may be mounted on pantograph mechanisms using gimbals, and the status data may contain position and/or torque data indicating the position and/or torque of the joints of the connection and/ or gimbals. In these cases, augmentation device 500 (e.g., event detector 504) may be configured to determine the pushing force applied by an operator to one or more input devices (e.g., manual controls) based on connection position and/or torque information, and /or gimbals and detecting the occurrence of an operator event when the addition device 500 detects a change in pushing force (or a change by more than a certain amount).

[00115] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий эффективности. События эффективности представляют собой события, связанные с эффективностью оператора (например, хирурга) при выполнении задачи (или части задачи) и могут включать, но без ограничения, падение эффективности оператора (например, хирурга) ниже допустимого уровня, и/или изменение (или изменение более чем на определенную величину) эффективности оператора (например, хирурга).[00115] In some cases, augmentation device 500 (eg, event detector 504) may additionally or alternatively be configured to detect performance events. Performance events are events related to an operator's (e.g., surgeon's) performance in performing a task (or part of a task) and may include, but are not limited to, an operator's (e.g., surgeon's) performance falling below an acceptable level, and/or changing (or changing more than a certain amount) of the efficiency of the operator (e.g. surgeon).

[00116] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения падения эффективности оператора (например, хирурга) ниже порогового значения путем сравнения данных о состоянии для данной задачи с данными о состоянии для ранее выполненных задач (например, задач такого же типа). Например, устройство 500 дополнения может иметь доступ к хранилищу данных, в котором хранятся данные для ранее выполненных задач, и в котором эффективность оператора (например, хирурга) оценена или идентифицирована (например, эффективности может быть дана оценка по некоторой балльной шкале, например, но без ограничения, от 1 до 10); и данные о состоянии могут сравниваться с данными о состоянии, хранящимися в хранилище, с целью определения уровня эффективности оператора (например, хирурга) для задачи. [00116] In some cases, augmentation device 500 (e.g., event detector 504) can be configured to detect a drop in operator (e.g., surgeon) performance below a threshold by comparing status data for a given task with status data for previously completed tasks ( for example, tasks of the same type). For example, add-on device 500 may have access to a data store that stores data for previously performed tasks and in which the performance of an operator (e.g., surgeon) is assessed or identified (e.g., performance can be rated on some scoring scale, without limitation, from 1 to 10); and the state data can be compared with the state data stored in the store to determine the level of efficiency of an operator (eg, a surgeon) for a task.

[00117] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения уровня эффективности оператора (например, хирурга) для задачи путем сравнения одного или более показателей эффективности оператора (например, хирурга) с показателями эффективности операторов (например, хирургов) для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения уровня эффективности оператора (например определения уровня в баллах от 1 до 10) во множестве моментов времени в ходе выполнения задачи на основе показателей эффективности, и устройство 500 дополнения (например, детектор 504 событий) выполнено с возможностью обнаружения события эффективности, если уровень эффективности меняется или если уровень эффективности выходит за пределы допустимого диапазона. В некоторых случаях показатели эффективности могут включать одно или более из следующего: траектории, по которой движется рука робота или инструмент при выполнении задачи или этапа задачи; плавности движения руки робота и/или инструмента при выполнении задачи или этапа задачи; времени, необходимого для выполнения задачи или этапа задачи; и/или амплитуды или частоты движения руки робота. [00117] In some cases, augmentation device 500 (e.g., event detector 504) can be configured to determine an operator (e.g., surgeon) performance level for a task by comparing one or more operator (e.g., surgeon) performance metrics with operators performance metrics ( e.g. surgeons) for previously performed tasks. For example, add-on device 500 (eg, event detector 504) can be configured to determine an operator's performance level (eg, determine a level in points from 1 to 10) at multiple points in time during a task based on performance metrics, and add-on device 500 ( eg, event detector 504) is configured to detect a performance event if the performance level changes or if the performance level is out of range. In some cases, performance measures may include one or more of the following: the path that a robot arm or tool travels in performing a task or task step; the smoothness of the movement of the robot's arm and/or the tool when performing a task or a stage of a task; the time required to complete a task or task step; and/or the amplitude or frequency of movement of the robot's arm.

[00118] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, описывающую положение и/или движение руки (рук) робота и/или инструмента (инструментов) хирургического роботизированного средства 502. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения траектории руки робота и/или инструмента на основе информации, описывающей положение и/или движение руки (рук) и/или инструмента (инструментов). После идентификации траектории движения, устройство 500 дополнения (например, детектор событий) может быть выполнено с возможностью оценки эффективности пользователя путем сравнения траектории движения с «лучшей», или «оптимальной», траекторией для этой задачи или этапа задачи. «Лучшая» траектория может быть определена на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения или другое устройство на вычислительной основе может быть выполнено с возможностью определения «лучшей» траектории на основе данных о состоянии для ранее выполненных задач, в которых траектории была дана оценка. В дополнение ко всем вышеописанным источникам данных о состоянии, данные о состоянии для ранее выполненных задач также могут содержать данные о результате. Как известно специалистам в данной области техники, данные о результате представляют собой информацию о результатах (например, успехе/неудаче) хирургической операции. В некоторых случаях, чем ближе траектория движения к «лучшей», или «оптимальной», траектории, тем лучше эффективность, а чем дальше траектория от «лучшей», или «оптимальной», траектории, тем эффективность хуже.[00118] As described above, in some cases, the state data may contain information describing the position and/or movement of the robot arm(s) and/or instrument(s) of the surgical robotic tool 502. In these cases, the add-on device 500 (e.g., detector 504 events) may be configured to determine the trajectory of the robot hand and/or tool based on information describing the position and/or movement of the hand(s) and/or tool(s). Once the motion trajectory is identified, augmentation device 500 (eg, an event detector) can be configured to evaluate user performance by comparing the motion trajectory to the "best" or "optimal" trajectory for that task or task step. The "best" trajectory can be determined based on the status data for previously completed tasks. For example, augmentation device 500 or other computationally based device may be configured to determine the "best" trajectory based on state data for previously completed tasks in which the trajectory has been estimated. In addition to all the sources of status data described above, status data for previously completed tasks can also contain result data. As known to those skilled in the art, outcome data is information about the results (eg, success/failure) of a surgical operation. In some cases, the closer the trajectory is to the "best" or "optimal" trajectory, the better the efficiency, and the farther the trajectory is from the "best" or "optimal" trajectory, the worse the efficiency.

[00119] Устройство 500 дополнения (например, детектор 504 событий) также может быть выполнено с возможностью измерения плавности траектории на основе того, содержит ли траектория гладкие кривые или неровные края, и устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью оценки эффективности оператора, например, на основе количества гладких кривых и/или количества неровных краев.[00119] The padding device 500 (eg, event detector 504) can also be configured to measure the smoothness of the trajectory based on whether the trajectory contains smooth curves or jagged edges, and the padding device 500 (eg, event detector 504) can be configured to the ability to evaluate the effectiveness of the operator, for example, based on the number of smooth curves and/or the number of jagged edges.

[00120] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, в явном виде идентифицирующую задачу и/или выполняемый этап (этапы) задачи. В других случаях устройство 500 дополнения может быть выполнено с возможностью динамической идентификации задачи и/или этапа задачи на основе данных о состоянии. В любом случае устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения времени, необходимого для выполнения задачи или этапа задачи, путем измерения промежутков времени между задачами или между этапами задачи. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью оценки эффективности оператора путем сравнения времени, необходимого для завершения задачи или этапа задачи, со временем (сгенерированным на основе данных о состоянии), которое заняло выполнение такой же задачи или такого же этапа задачи в ходе ранее выполненных задач. [00120] As described above, in some cases, the state data may contain information explicitly identifying a task and/or a task step(s) being performed. In other cases, adder 500 may be configured to dynamically identify a task and/or task step based on state data. In either case, augmentation device 500 (eg, event detector 504) can be configured to determine the time required to complete a task or task step by measuring time intervals between tasks or between task steps. Augmentation device 500 (e.g., event detector 504) can be configured to evaluate operator performance by comparing the time required to complete a task or task step with the time (generated based on status data) taken to complete the same task or the same task. task stage in the course of previously completed tasks.

[00121] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, описывающую положение и/или движение устройств ввода (например, органов ручного управления). В этих случаях устройство 500 дополнения может быть выполнено с возможностью определения на основе данных о положении и/или движении органов ручного управления амплитуды (например, абсолютного значения) и частоты движения органов ручного управления. Затем устройство 500 дополнения может быть выполнено с возможностью оценки эффективности оператора на основе измеренной амплитуды и частоты движения. В частности, большие и/или многочисленные изменения движения могут указывать на неудовлетворительную эффективность, тогда как небольшое движение с низкой частотой может указывать на подходящую эффективность. [00121] As described above, in some cases, the state data may contain information describing the position and/or movement of input devices (eg, manual controls). In these cases, the adder 500 may be configured to determine, based on the position and/or movement of the hand controls, the amplitude (eg, absolute value) and frequency of movement of the hand controls. The augmentation device 500 may then be configured to evaluate the operator's performance based on the measured amplitude and frequency of movement. In particular, large and/or multiple motion changes may indicate unsatisfactory performance, while small, low frequency motion may indicate suitable performance.

[00122] Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью преобразования данных о положении и/или движении органа ручного управления из временной области в частотную область (например, при помощи преобразования Фурье) и идентификации паттернов, указывающих наступление события, в частотной области. Например, если устройство 500 дополнения обнаруживает множество низкочастотных составляющих в частотной области, это может указывать на утомление или интоксикацию; тогда как множество высокочастотных составляющих в частотной области может указывать на высокий уровень дрожи или панических движений. В некоторых случаях могут иметься допустимые диапазоны низко- и высокочастотных составляющих, и если любая из них выходит за пределы соответствующего допустимого диапазона, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения наступления события эффективности. [00122] For example, augmentation device 500 (e.g., event detector 504) may be configured to convert hand control position and/or movement data from the time domain to the frequency domain (e.g., using a Fourier transform) and identify patterns indicative of the occurrence of an event, in the frequency domain. For example, if augmentation device 500 detects many low frequency components in the frequency domain, this may indicate fatigue or intoxication; while many high frequency components in the frequency domain may indicate a high level of trembling or panic. In some cases, there may be valid ranges of low and high frequency components, and if any of these fall outside the respective allowable range, augmentation device 500 (eg, event detector 504) can be configured to determine the occurrence of a performance event.

[00123] В некоторых случаях устройство дополнения может быть выполнено с возможностью определения балльной оценки, или описателя, эффективности одного оператора на основе множества критериев эффективности. В других случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения множества оценок эффективности оператора, каждая из которых основана на отличном критерии эффективности. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения наступления события эффективности при падении любого из критериев эффективности ниже допустимого уровня или при изменении любого из критериев эффективности (например, на по меньшей мере определенную величину).[00123] In some cases, the add-on device may be configured to determine a score, or descriptor, of the performance of a single operator based on a plurality of performance criteria. In other cases, augmentation device 500 (eg, event detector 504) may be configured to determine multiple operator performance scores, each based on a different performance criterion. Augmenter 500 (eg, event detector 504) may be configured to determine the occurrence of a performance event when any of the performance criteria falls below an acceptable level or when any of the performance criteria changes (eg, by at least a certain amount).

[00124] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения аварийных событий. Аварийные события представляют собой события, указывающие наступление аварийной ситуации или высокую вероятность ее наступления в ходе выполнения задачи. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения аварийного события, если устройство 500 дополнения обнаруживает, что: один или более из людей, присутствующих при выполнении задачи (например, один или более членов хирургической бригады), говорят на повышенных тонах; один или более из людей, присутствующих при выполнении задачи (например, один или более членов хирургической бригады), произносят предупреждающее слово или фразу; произошло внезапное перемещение руки хирургического робота; и/или возникло отклонение или отступление от предварительно определенных этапов задачи.[00124] In some cases, augmentation device 500 (eg, event detector 504) may additionally or alternatively be configured to detect abnormal events. Emergency events are events that indicate the occurrence of an emergency or a high probability of its occurrence during the execution of a task. Add-on device 500 (eg, event detector 504) can be configured to detect an emergency event if add-on device 500 detects that: one or more of the people present at the task (eg, one or more members of the surgical team) is speaking raised tones; one or more of the people present during the task (eg, one or more members of the surgical team) utter a warning word or phrase; there was a sudden movement of the arm of the surgical robot; and/or there was a deviation or deviation from the predetermined steps of the task.

[00125] Как описано выше, в некоторых случаях данные о состоянии могут содержать видео- и/или аудиозапись из помещения (например, операционной), в котором выполняется задача. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения аварийного события, если устройство 500 дополнения (например, детектор 504 событий) на основе видео- и/или аудиозаписи обнаруживает, что человек в помещении говорит на повышенных тонах. В частности то, что человек говорит на повышенных тонах, может указывать на наличие трений между людьми в помещении/операционной и/или наличие в помещении/операционной спорного вопроса/проблемы. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения повышенных тонов с использованием любой известной методики анализа речи. [00125] As described above, in some cases, the status data may include video and/or audio recording from the room (eg, operating room) in which the task is performed. In these cases, add-on device 500 (eg, event detector 504) may be configured to detect an emergency event if add-on device 500 (eg, event detector 504) detects, based on video and/or audio recording, that a person in the room is speaking in a raised voice. tones. In particular, the fact that a person speaks in a raised voice may indicate the presence of friction between people in the room / operating room and / or the presence of a contentious issue / problem in the room / operating room. Augmenter 500 (eg, event detector 504) may be configured to detect elevated tones using any known speech analysis technique.

[00126] Если данные о состоянии содержат видео- и/или аудиозапись, устройство 500 дополнения (например, детектор 504 событий) может быть также или альтернативно выполнено с возможностью обнаружения аварийного события, если устройство 500 дополнения (например, детектор 504 событий) на основе видео- и/или аудиозаписи обнаруживает, что человек в помещении произносит предупреждающее слово или фразу (т. е. слово или фразу, указывающую на возможность наличия проблемы). Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения предупреждающих слов и/или фраз в видео- и/или аудиозаписи с использованием любой известной методики распознавания или анализа речи. Список предупреждающих слов и/или фраз может быть предварительно загружен в устройство 500 дополнения (например, в детектор 504 событий) перед запуском анализа. В некоторых случаях список предупреждающих слов и/или фраз может быть выучен на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации на основе данных о состоянии для каждой из множества ранее выполненных задач любых слов и фраз, произносимых в определенном промежутке времени перед отрицательным результатом, и генерирования списка идентифицированных слов и фраз, общих для некоторого количества ранее выполненных задач.[00126] If the status data contains video and/or audio recording, add-on device 500 (eg, event detector 504) may also or alternatively be configured to detect an emergency event if add-on device 500 (eg, event detector 504) is based on video and/or audio recordings detect that a person in the room is speaking a warning word or phrase (i.e., a word or phrase that indicates a potential problem). Adder 500 (eg, event detector 504) may be configured to detect warning words and/or phrases in video and/or audio recording using any known speech recognition or analysis technique. A list of warning words and/or phrases may be pre-loaded into add-on device 500 (eg, event detector 504) before running the analysis. In some cases, a list of warning words and/or phrases may be learned based on status data for previously completed tasks. For example, add-on device 500 (e.g., event detector 504) or other computational device is configured to identify, based on state data, for each of the plurality of previously performed tasks, any words and phrases spoken in a certain amount of time before a negative result, and generate a list of identified words and phrases that are common to a number of previously completed tasks.

[00127] Специалистам в данной области техники будет очевидно, что данный набор представляет собой примерный набор событий, с возможностью обнаружения которых выполнена устройство 500 дополнения (например, детектор 504 событий), и что в других примерах устройство дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения дополнительных событий, лишь некоторого подмножества событий или других событий. Например, другие события, с возможностью обнаружения которых выполнена устройство 500 дополнения (например, детектор 504 событий), включают, но без ограничения, перепады давления в оборудовании для инсуффляции.[00127] It will be apparent to those skilled in the art that this set is an exemplary set of events that adder 500 is capable of detecting (e.g., event detector 504), and that in other examples, adder (e.g., event detector 504) may be configured to detect additional events, only some subset of events, or other events. For example, other events that augmentation device 500 is capable of detecting (eg, event detector 504) include, but are not limited to, pressure drops across insufflation equipment.

[00128] В некоторых случаях после идентификации набора событий на основе данных о состоянии устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью автоматической идентификации дополнительных событий на основе паттернов событий. Например, некоторые паттерны событий могут указывать наступление другого события. Паттерны событий, указывающие наступление определенного события, могут быть выучены (например, на основе данных о состоянии для ранее выполненных задач, при этом ранее выполненные задачи могут представлять собой такие же задачи, как текущая задача, набор задач, аналогичный текущей задаче, или набор задач, отличный от текущей задачи).[00128] In some cases, after identifying a set of events based on state data, augmentation device 500 (eg, event detector 504) may be configured to automatically identify additional events based on event patterns. For example, some event patterns may indicate the occurrence of another event. Event patterns indicating the occurrence of a certain event can be learned (for example, based on status data for previously completed tasks, where previously completed tasks may be the same tasks as the current task, a set of tasks similar to the current task, or a set of tasks , different from the current task).

[00129] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения предварительно определенного набора событий на основе данных о состоянии. Предварительно определенный набор событий, с возможностью обнаружения которых на основе данных о состоянии может быть выполнено устройство 500 дополнения (например, детектор 504 событий), может быть основано на типах принятых данных о состоянии и/или одном или более других критериях. В некоторых случаях устройство 500 дополнения может быть выполнено с возможностью определения лишь подмножества предварительно определенного набора событий, который может быть обнаружен. Например, пользователь может иметь возможность настройки устройства 500 дополнения (например, детектора событий) на обнаружение только подмножества предварительно определенного набора событий. Это может быть полезно, например, тогда, когда пользователь ищет в эндоскопическом видеоизображении что-то конкретное. Например, может иметься пользовательский интерфейс (например, графический интерфейс пользователя (GUI)), связанный с устройством 500 дополнения (например, с детектором 504 событий), который обеспечивает возможность настройки устройства 500 дополнения пользователем. Пользовательский интерфейс, например, представляет пользователю предварительно определенный набор событий, поддерживаемых устройством 500 дополнения, и пользователь может выбирать, какое из поддерживаемых событий должна обнаружить устройство дополнения (например, детектор 504 событий). [00129] In some cases, augmentation device 500 (eg, event detector 504) may be configured to detect a predefined set of events based on state data. The predetermined set of events that adder 500 can detect based on the state data (eg, event detector 504) can be based on the types of state data received and/or one or more other criteria. In some cases, adder 500 may be configured to determine only a subset of a predefined set of events that can be detected. For example, the user may be able to configure the augmentation device 500 (eg, an event detector) to detect only a subset of a predefined set of events. This can be useful, for example, when the user is looking for something specific in the endoscopic video image. For example, there may be a user interface (eg, a graphical user interface (GUI)) associated with add-on device 500 (eg, event detector 504) that allows the add-on device 500 to be configured by the user. The user interface, for example, presents the user with a predefined set of events supported by add-on device 500, and the user can select which of the supported events the add-on device (eg, event detector 504) should detect.

[00130] Альтернативно или дополнительно пользователь имеет возможность ручного выбора событий, которые должно обнаруживать устройство 500 дополнения (например, детектор 504 событий), при этом устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью автоматического выбора событий, которые должны быть обнаружены, на основе регистрации пользователя в устройстве 500 дополнения. Например, в некоторых случаях для генерирования дополненного эндоскопического видеоизображения на основе данных о состоянии пользователю может быть необходимо зарегистрироваться или аутентифицировать себя в устройстве 500 дополнения, и события, которые могут быть обнаружены устройством 500 дополнения (например, детектором 504 событий), основаны, например, возможны. Например, оператор, выполняющий задачу, может иметь возможность доступа к большему количеству событий, чем другой оператор (например, хирург). Например, оператор, выполняющий задачу, может иметь возможность видеть события эффективности, тогда как другой оператор (например, хирург) может не иметь возможности видеть события эффективности для данной конкретной задачи. Как более подробно описано ниже, вместо настройки устройства 500 дополнения (например, детектора 504 событий) на обнаружение на основе данных о состоянии лишь некоторого подмножества предварительно определенного набора событий, устройство 500 дополнения может быть выполнено с возможностью обнаружения всего предварительно определенного набора событий, и события, доступные пользователю при просмотре дополненного видеоизображения, могут быть выполнены с возможностью настройки и/или основаны на привилегиях пользователей.[00130] Alternatively or additionally, the user has the ability to manually select the events that augmentation device 500 should detect (e.g., event detector 504), wherein augmentation device 500 (e.g., event detector 504) can be configured to automatically select events that should be discovered based on the user's registration on the add-on device 500. For example, in some cases, in order to generate an augmented endoscopic video image based on state data, a user may need to register or authenticate themselves with the augmentation device 500, and the events that may be detected by the augmentation device 500 (e.g., event detector 504) are based, for example, possible. For example, an operator performing a task may be able to access more events than another operator (eg, a surgeon). For example, an operator performing a task may be able to see performance events, while another operator (eg, a surgeon) may not be able to see performance events for that particular task. As described in more detail below, instead of configuring adder 500 (e.g., event detector 504) to detect only some subset of a predefined set of events based on state data, adder 500 can be configured to detect the entire predefined set of events, and events The , available to the user when viewing the augmented video, may be configurable and/or based on user privileges.

[00131] В некоторых случаях для каждого события, обнаруженного на основе данных о состоянии, устройство 500 дополнения (например, детектор 504 событий) выполнено с возможностью генерирования информации о событии, используемой для дополнения эндоскопического видеоизображения. Информация о событии может включать, но без ограничения, идентификатор события, идентифицирующий обнаруженное событие, время начала события, идентифицирующее, когда началось событие, и необязательно продолжительность события или время окончания события, указывающее, когда событие завершилось (в случаях, когда событие имеет продолжительность). Идентификатор события может представлять собой имя или число, идентифицирующее обнаруженное событие. В некоторых случаях может иметься предварительно определенный набор событий, которые могут быть обнаружены, и которые перечислены, например, в справочной таблице при помощи номера и текстового описания. Время начала и/или время окончания могут представлять собой абсолютное время (например, 15:45) или относительное время (например, 35 минут после начала выполнения задачи). [00131] In some cases, for each event detected based on the status data, the padding device 500 (eg, event detector 504) is configured to generate event information used to pad the endoscopic video image. The event information may include, but is not limited to, an event identifier identifying the detected event, an event start time identifying when the event started, and optionally an event duration or event end time indicating when the event ended (in cases where the event has a duration) . The event ID can be a name or a number identifying the detected event. In some cases, there may be a predefined set of events that can be detected and which are listed, for example, in a lookup table with a number and a textual description. The start time and/or end time can be an absolute time (eg, 15:45) or a relative time (eg, 35 minutes after the start of the task).

[00132] После того, как устройство 500 дополнения (например, детектор 504 событий) проанализирует данные о состоянии с целью идентификации событий, наступивших в ходе выполнения задачи, способ 800 продолжается в блоке 808, где эндоскопическое видеоизображение дополняют. Следует отметить, что, хотя в способе 800, представленном на фиг. 8, детектор событий анализирует данные о состоянии с целью идентификации всех событий, которые наступили в ходе выполнения задачи, а затем способ 800 переходит к блоку 808 дополнения эндоскопического видеоизображения, в других примерных способах эндоскопическое видеоизображение может быть дополнено на основе отдельных событий. Иначе говоря, в других случаях эндоскопическое видеоизображение может быть дополнено сразу после обнаружения события вместо ожидания обнаружения всех событий.[00132] After augmentation device 500 (eg, event detector 504) analyzes the state data to identify events that occurred during the execution of a task, method 800 continues at block 808 where the endoscopic video is augmented. It should be noted that while the method 800 shown in FIG. 8, the event detector analyzes the status data to identify all events that occurred during the execution of the task, and then the method 800 proceeds to the endoscopic video augmentation block 808, in other exemplary methods, the endoscopic video may be augmented based on individual events. In other words, in other cases, the endoscopic video image may be augmented immediately after an event is detected instead of waiting for all events to be detected.

[00133] В блоке 808 устройство 500 дополнения (например, средство 506 дополнения) генерирует дополненное эндоскопическое видеоизображение путем дополнения эндоскопического видеоизображения, принятого в блоке 802, информацией для каждого события, обнаруженного в блоке 806, которая идентифицирует обнаруженное событие и время, в которое это событие наступило относительно эндоскопического видеоизображения. Как описано выше, в некоторых случаях информация, добавляемая к эндоскопическому видеоизображению, может принимать форму метки, размещенной в соответствующий момент времени эндоскопического видеоизображения (например, в момент начала события или в течение продолжительности события). Информация или метка может быть видна пользователю, когда дополненное эндоскопическое видеоизображение впоследствии воспроизводится или просматривается, например, при помощи мультимедийного проигрывателя. В некоторых случаях метка может принимать форму закладки, позволяющей пользователю легко переходить к определенному моменту эндоскопического видеоизображения при воспроизведении дополненного эндоскопического видеоизображения, например, при помощи мультимедийного проигрывателя. Например, при загрузке пользователем дополненного эндоскопического видеоизображения в мультимедийный проигрыватель пользователю может быть представлен список закладок в видеоизображении, представляющих обнаруженные события, и пользователь может перемещаться непосредственно к одному из моментов, идентифицируемых закладкой, путем выбора закладки. В некоторых случаях информация (например, метка), относящаяся к конкретному событию, может быть включена в метаданные, образующие часть эндоскопического видеоизображения или связанные с ним. [00133] At block 808, adder 500 (e.g., adder 506) generates an augmented endoscopic video image by padding the endoscopic video image received at block 802 with information for each event detected at block 806 that identifies the detected event and the time at which it the event occurred relative to the endoscopic video image. As described above, in some cases, the information added to the endoscopic video image may take the form of a label placed at the appropriate time in the endoscopic video image (eg, at the start of an event or during the duration of an event). The information or label may be visible to the user when the augmented endoscopic video is subsequently played back or viewed, for example with a media player. In some cases, the label may take the form of a bookmark, allowing the user to easily jump to a specific point in the endoscopic video when playing the augmented endoscopic video, for example, using a media player. For example, when a user loads an augmented endoscopic video into the media player, the user may be presented with a list of bookmarks in the video representing detected events, and the user may navigate directly to one of the points identified by the bookmark by selecting the bookmark. In some cases, information (eg, a label) related to a particular event may be included in the metadata that forms part of or is associated with the endoscopic video image.

[00134] Например, в таблице 2 представлен список событий, которые могут обнаруживаться устройством 500 дополнения (например, детектором 504 событий) в блоке 806. Специалистам в данной области техники будет очевидно, что эти события представляют примерные события, времена начала, времена окончания и продолжительности, и что могут обнаруживаться другие события с другими временами начала, временами окончания и продолжительностями.[00134] For example, Table 2 provides a list of events that may be detected by padding device 500 (e.g., event detector 504) at block 806. Those of skill in the art will appreciate that these events represent exemplary events, start times, end times, and duration, and that other events with different start times, end times, and durations can be detected.

Таблица2Table 2

Тип событияEvent type Идентификатор событияEvent ID Начало событияEvent start Окончание событияEnd of event Событие задачиTask event Этап наложения шваSeam step Минута 25Minute 25 Минута 45Minute 45 Событие инструментаTool event Изменение инструмента - присоединение иглодержателя к руке 0Tool change - attaching the needle holder to the arm 0 Минута 25Minute 25 Минута 30Minute 30 Событие инструмента Instrument event Изменение инструмента - присоединение иглодержателя к руке 1Instrument Change - Attaching the Needle Holder to Arm 1 Минута 30Minute 30 Минута 35Minute 35 Событие эффективностиEfficiency event Изменение эффективности - уровень 7 эффективностиEfficiency Change - Level 7 Efficiency Минута 65Minute 65 ------

[00135] На фиг. 10 представлен пример дополненного эндоскопического видеоизображения 1000, которое было дополнено на основе событий, представленных в таблице 2 и обнаруженных устройством 500 дополнения (например, детектором событий) в блоке 806. На фиг. 10 видно, что в этом примере для генерирования дополненного эндоскопического видеоизображения 1000 устройство 500 дополнения (например, средство 506 дополнения) добавляет по одной метке 1002, 1004, 1006, 1008 для каждого из идентифицированных событий в исходное эндоскопическое видеоизображение 1010. В частности, устройство 500 дополнения (например, средство 506 дополнения) добавляет первую метку 1002, указывающую наступление этапа наложения шва между минутой 25 и минутой 45; вторую метку 1004, указывающую присоединение иглодержательного инструмента к руке робота 0 между минутой 25 и минутой 30; третью метку 1006, указывающую присоединение иглодержательного инструмента к руке робота 1 между минутой 30 и минутой 35; и четвертую метку 1008, указывающую изменение эффективности оператора до уровня 7 на минуте 65. Специалистам в данной области техники будет очевидно, что такое дополнение представляет собой лишь пример того, как может быть дополнено эндоскопическое видеоизображение, и что в других примерах эндоскопическое видеоизображение может быть дополнено иным образом.[00135] FIG. 10 shows an example of augmented endoscopic video 1000 that has been augmented based on the events shown in Table 2 and detected by augmentation device 500 (eg, an event detector) at block 806. FIG. 10, in this example, in order to generate the augmented endoscopic video image 1000, the augmentation device 500 (e.g., augmentation means 506) adds one label 1002, 1004, 1006, 1008 for each of the identified events to the original endoscopic video image 1010. In particular, the apparatus 500 add-ons (eg, add-on 506) adds a first mark 1002 indicating the onset of the suturing step between minute 25 and minute 45; a second mark 1004 indicating the attachment of the needle holder to the robot arm 0 between minute 25 and minute 30; a third mark 1006 indicating the attachment of the needle holder to the arm of the robot 1 between minute 30 and minute 35; and a fourth label 1008 indicating the change in operator efficiency to level 7 at minute 65. Those skilled in the art will appreciate that such padding is only an example of how endoscopic video can be padded, and that in other examples, endoscopic video can be padded. otherwise.

[00136] После генерирования дополненного эндоскопического видеоизображения оно может сохраняться в запоминающем устройстве устройства 500 дополнения или в запоминающем устройстве другого устройства с целью последующего использования. Например, сохраненное дополненное эндоскопическое видеоизображение может впоследствии просматриваться или воспроизводиться с использованием, например, мультимедийного проигрывателя с целью критического анализа эффективности оператора, для обучения операторов выполнению процедуры и т. д. Информация или метки, добавляемые к дополненному эндоскопическому видеоизображению, могут быть выполнены с возможностью просмотра пользователем при просмотре или воспроизведении дополненного эндоскопического видеоизображения. В частности в некоторых случаях информация или метки могут быть представлены в виде закладок. Например, как представлено на фиг. 11, при просмотре пользователем примерного эндоскопического видеоизображения 1000, представленного на фиг. 10, например, при помощи мультимедийного проигрывателя 1102 пользователю, наряду с эндоскопическим видеоизображением 1106, может быть представлен список закладок 1104 (или меню закладок). Например, на фиг. 11 представлена закладка для каждого события, обнаруженного в таблице 2: закладка для этапа наложения шва, закладка для каждого изменения инструментов и закладка для изменения уровня эффективности. Тогда пользователь путем выбора одной из закладок 1104 может автоматически перемещаться в определенную часть эндоскопического видеоизображения 1106. В некоторых случаях, как представлено на фиг. 11, закладки 1104 могут быть представлены пользователю группами на основе, например, типа или времени. Однако специалистам в данной области техники будет очевидно, что такое представление является лишь примером, и что закладки могут представляться пользователю другим образом.[00136] Once the augmented endoscopic video image is generated, it may be stored in the storage device of the augmentation device 500 or in the storage device of another device for later use. For example, the stored augmented endoscopic video may be subsequently viewed or played back using, for example, a media player to critically analyze operator performance, to educate operators on a procedure, etc. The information or labels added to the augmented endoscopic video may be configured to view by the user when viewing or playing the augmented endoscopic video image. In particular, in some cases, information or labels may be presented as tabs. For example, as shown in FIG. 11 as the user views the exemplary endoscopic video image 1000 shown in FIG. 10, for example, using the media player 1102, a list of bookmarks 1104 (or a menu of bookmarks) may be presented to the user along with the endoscopic video image 1106. For example, in FIG. 11 is a tab for each event found in Table 2: a tab for the suturing step, a tab for each tool change, and a tab for changing the efficiency level. The user can then automatically navigate to a specific part of the endoscopic video image 1106 by selecting one of the tabs 1104. In some cases, as shown in FIG. 11, bookmarks 1104 may be presented to the user in groups based on type or time, for example. However, those skilled in the art will appreciate that such a presentation is merely an example, and that bookmarks may be presented to the user in other ways.

[00137] В некоторых случаях, в дополнение к информации или метке, добавленным к эндоскопическому видеоизображению для каждого обнаруженного события, представляемого пользователю в виде закладки, информация, добавляемая к эндоскопическому видеоизображению для обнаруженных событий, может представляться пользователю по мере воспроизведения эндоскопического видеоизображения. Например, дополненное эндоскопическое видеоизображение может дополняться так, что при воспроизведении видеоизображения информация о событиях отображается в верхней, нижней или боковой части экрана при помощи баннера, т. е. он отображает информацию об обнаруженных событиях в подходящие или значимые моменты времени эндоскопического видеоизображения. [00137] In some cases, in addition to the information or label added to the endoscopic video for each detected event being presented as a bookmark to the user, information added to the endoscopic video for detected events may be presented to the user as the endoscopic video is played back. For example, the augmented endoscopic video may be augmented such that when the video is played back, event information is displayed at the top, bottom, or side of the screen with a banner, i.e., it displays information about detected events at appropriate or significant times in the endoscopic video.

[00138] В некоторых случаях информация или метки, выполненные с возможностью просмотра при просмотре или воспроизведении дополненного эндоскопического видеоизображения с использованием, например, мультимедийного проигрывателя, может быть настроены. Например, пользователю дополненного эндоскопического видеоизображения может быть представлен список событий, которые были отмечены в дополненном эндоскопическом видеоизображении, и пользователь может иметь возможность выбора событий для просмотра. Пользователь может иметь возможность выбора отдельных событий или типов событий. Например, пользователь может иметь возможность выбора всех событий инструментов и/или всех событий задачи; или некоторых событий инструментов и/или некоторых событий задачи. В некоторых случаях информация или метки, выполненные с возможностью просмотра при просмотре или воспроизведении дополненного эндоскопического видеоизображения, могут быть основаны на пользователе, просматривающем дополненное эндоскопическое видеоизображение. Например, в некоторых случаях для просмотра дополненного эндоскопического видеоизображения от пользователя может потребоваться регистрация или, в ином случае, аутентификация в средстве просмотра эндоскопических видеоизображений. В этих случаях информация или метки, выполненные с возможностью просмотра при просмотре или воспроизведении дополненного эндоскопического видеоизображения, могут определяться на основе привилегий, связанных с пользователем, воспроизводящим видеоизображение. Например, оператор, выполняющий задачу, может иметь возможность просмотра всей информации или меток, тогда как другие пользователи могут иметь возможность просмотра лишь некоторого подмножества информации или меток. Например, другие пользователи могут не иметь возможности просмотра любой информации или меток, связанных с событиями эффективности.[00138] In some cases, information or labels made viewable when viewing or playing augmented endoscopic video using, for example, a media player, can be customized. For example, a user of the augmented endoscopic video may be presented with a list of events that have been noted in the augmented endoscopic video and the user may be able to select which events to view. The user may be able to select individual events or types of events. For example, the user may be able to select all tool events and/or all task events; or some tool events and/or some task events. In some cases, the information or labels made viewable when viewing or playing augmented endoscopic video may be based on the user viewing the augmented endoscopic video. For example, in some cases, viewing augmented endoscopic video may require a user to register or otherwise authenticate with an endoscopic video viewer. In these cases, the information or marks rendered viewable when viewing or playing the augmented endoscopic video image may be determined based on the privileges associated with the user playing the video image. For example, an operator performing a task may be able to view all of the information or labels, while other users may be able to view only a subset of the information or labels. For example, other users may not be able to view any information or labels associated with performance events.

[00139] В некоторых случаях, в дополнение к выполнению с возможностью автоматического дополнения эндоскопического видеоизображения информацией или метками, идентифицирующими события, наступившие в ходе выполнения задачи, устройство 500 дополнения также может быть выполнено с возможностью генерирования на основе данных о состоянии трехмерной (3D) реконструкции в виртуальной реальности (VR) инструментов и их положений и/или движения. Тогда устройство 500 дополнения выполнено с возможностью синхронизации и связывания дополненного эндоскопического видеоизображения с 3D VR реконструкцией инструментов так, что при просмотре или воспроизведении эндоскопического видеоизображения наряду с дополненным эндоскопическим видеоизображением может быть просмотрена 3D VR реконструкция. Например, как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, описывающую положение и/или движения руки (рук) робота и/или присоединенных к ней инструментов в ходе выполнения задачи, и информацию, описывающую инструменты, присоединенные к каждой руке робота в ходе выполнения задачи. В этих случаях устройство 500 дополнения может быть выполнено с возможностью определения положения и движения инструментов на основе информации о положении/движении руки робота/инструмента. После идентификации положения и движения инструментов эти движения могут отображаться в 3D модели соответствующих инструментов на основе типа инструмента, присоединенного к каждой руке (который идентифицируется информацией об инструментах в данных о состоянии). После отображения движений в 3D модели эти 3D модели могут сливаться с образованием 3D VR реконструкции инструментов в ходе выполнения задачи. Затем 3D VR реконструкция может синхронизироваться по времени и связываться с дополненным эндоскопическим видеоизображением. В некоторых случаях перспектива или вид инструментов в 3D VR реконструкции могут быть настроены (т. е. пользователь может иметь возможность задания или настройки точки обзора). Это может позволять пользователю рассматривать инструмент с точки обзора, отличной от точки обзора эндоскопа. В некоторых случаях точка обзора может быть динамически перенастраиваемой в ходе воспроизведения. В частности, 3D VR реконструкция может позволять пользователю регулировать точку обзора в ходе воспроизведения или просмотра. [00139] In some cases, in addition to being able to automatically augment the endoscopic video image with information or labels identifying events that occurred during the execution of a task, the augmentation device 500 may also be configured to generate a three-dimensional (3D) reconstruction based on the state data in virtual reality (VR) of instruments and their positions and/or movements. The augmentation device 500 is then configured to synchronize and link the augmented endoscopic video to the 3D VR reconstruction of the instruments so that when the endoscopic video is viewed or played back, the 3D VR reconstruction can be viewed along with the augmented endoscopic video. For example, as described above, in some cases, the state data may include information describing the position and/or movements of the robot arm(s) and/or tools attached to it during the execution of a task, and information describing the tools attached to each robot arm. during the execution of the task. In these cases, the adder 500 may be configured to determine the position and movement of the tools based on the position/motion information of the robot/tool arm. Once the positions and movements of the instruments have been identified, these movements can be displayed in the 3D model of the respective instruments based on the type of instrument attached to each arm (identified by the instrument information in the status data). Once movements are displayed in a 3D model, these 3D models can be merged to form 3D VR reconstruction tools as the task progresses. The 3D VR reconstruction can then be time synchronized and linked to the augmented endoscopic video. In some cases, the perspective or view of the tools in the 3D VR reconstruction can be customized (i.e. the user may be able to set or adjust the viewpoint). This may allow the user to view the instrument from a different vantage point than the endoscope. In some cases, the viewpoint may be dynamically reconfigured during playback. In particular, the 3D VR rendering may allow the user to adjust the viewpoint during playback or viewing.

[00140] В некоторых случаях в дополнение к выполнению с возможностью автоматического дополнения эндоскопического видеоизображения информацией или метками, идентифицирующими события, наступившие в ходе выполнения задачи, и момента или промежутка времени их наступления относительно эндоскопического видеоизображения, устройство 500 дополнения также может быть выполнено с возможностью связывания дополненного эндоскопического видеоизображения со всеми или частью данных о состоянии способом, который связывает идентифицированные события не только с соответствующей частью эндоскопического видеоизображения, но также с соответствующими частями всех или части данных о состоянии. Например, дополненное эндоскопическое видеоизображение может быть связано со всеми или частью подмножества потоков данных, образующих данные о состоянии. Например, если данные о состоянии содержат поток данных о частоте сердечных сокращений пациента и поток данных информации о положении руки робота, эндоскопическое видеоизображение может быть связано с любым одним или обоими потоками данных. Связанные дополненное эндоскопическое видеоизображение и данные о состоянии могут называться дополненными комбинированными данными. [00140] In some cases, in addition to being able to automatically supplement the endoscopic video image with information or labels identifying events that occurred during the execution of the task, and the moment or time interval of their occurrence relative to the endoscopic video image, the addition device 500 can also be configured to link augmented endoscopic video image with all or part of the status data in a manner that links the identified events not only to the corresponding part of the endoscopic video image, but also to the corresponding parts of all or part of the status data. For example, the augmented endoscopic video may be associated with all or part of a subset of the data streams forming the state data. For example, if the status data comprises a patient heart rate data stream and a robot arm position information data stream, the endoscopic video image may be associated with either one or both of the data streams. The associated augmented endoscopic video and status data may be referred to as augmented combined data.

[00141] Как описано выше, данные о состоянии синхронизируются по времени с эндоскопическим видеоизображением, например, при помощи общих отметок времени или общей шкалы времени. Соответственно, дополненные комбинированные данные могут генерироваться путем связывания дополненного эндоскопического видеоизображения со всеми или частью данных о состоянии так, что соответствующие части эндоскопического видеоизображения и данные о состоянии являются синхронизированными или связанными. Например, на фиг. 12 изображено примерное дополненное эндоскопическое видеоизображение 1000, представленное на фиг. 10, связанное с соответствующими данными 1202 о состоянии так, что соответствующие части эндоскопического видеоизображения 1000 и данных 1202 о состоянии являются синхронизированными или связанными. В данном примере данные 1202 о состоянии содержат два потока данных: поток 1206 данных о частоте сердечных сокращений пациента и поток данных информации о положении хирургического робота, - и оба эти потока данных связаны с дополненным эндоскопическим видеоизображением 1000. Это означает, что, например, данные о частоте сердечных сокращений и информация о положении хирургического робота на минуте 30 (от начала выполнения задачи) связаны с эндоскопическим видеоизображением на минуте 30 (от начала выполнения задачи). Однако специалистам в данной области техники будет очевидно, что это связывание представляет собой лишь пример, и что данные 1202 о состоянии могут содержать любую вышеописанную комбинацию потоков данных. Связанные дополненное эндоскопическое видеоизображение 1000 и данные 1202 о состоянии образуют дополненные комбинированные данные 1208. [00141] As described above, the status data is synchronized in time with the endoscopic video image, for example, using common timestamps or a common timeline. Accordingly, augmented composite data can be generated by associating the augmented endoscopic video image with all or part of the state data such that the respective portions of the endoscopic video image and the state data are synchronized or linked. For example, in FIG. 12 depicts an exemplary augmented endoscopic video image 1000 shown in FIG. 10 associated with the respective status data 1202 such that the respective portions of the endoscopic video image 1000 and the status data 1202 are synchronized or linked. In this example, the status data 1202 contains two data streams, a patient heart rate data stream 1206 and a surgical robot position information data stream, and both of these data streams are associated with the augmented endoscopic video image 1000. This means that, for example, the data heart rate and position information of the surgical robot at 30 minutes (from the start of the task) are linked to the endoscopic video image at 30 minutes (from the start of the task). However, those skilled in the art will appreciate that this binding is only an example, and that state data 1202 may comprise any combination of data streams described above. Associated augmented endoscopic video 1000 and status data 1202 form augmented combined data 1208.

[00142] После связывания эндоскопического видеоизображения с данными о состоянии для образования дополненных комбинированных данных информацию и/или метки в дополненном эндоскопическом видеоизображении можно использовать для идентификации частей эндоскопического видеоизображения и данных о состоянии, относящихся к каждому из идентифицированных событий. Таким образом, информация или метки в дополненном эндоскопическом видеоизображении можно считать идентифицирующими временные интервалы комбинированных данных, относящиеся к идентифицированным событиям. Например, метка 1002, идентифицирующая этап наложения шва, идентифицирует части эндоскопического видеоизображения, поток данных о частоте сердечных сокращений пациента и поток данных информации о положении хирургического робота, которые соответствуют этапу наложения шва. Метки можно затем использовать для извлечения данных из эндоскопического видеоизображения и/или из одного или более других потоков данных о состоянии, относящихся к данному событию. Например, может иметься средство или программное обеспечение, выполненные с возможностью приема дополненных комбинированных данных, выполненных с возможностью представления пользователю списка идентифицированных событий на основе информации или меток в дополненных комбинированных данных. Затем, при выборе одного из событий пользователю могут быть представлены части эндоскопического видеоизображения и данные о состоянии, относящихся к этому событию. Части эндоскопического видеоизображения и данные о состоянии, относящиеся к событию, могут быть представлены пользователю в любой подходящей форме. Например, при выборе события из списка часть эндоскопического видеоизображения, относящаяся к этому событию, может воспроизводиться наряду с отображением связанных данных о состоянии (например, частота сердечных сокращений пациента во время соответствующей части может отображаться над, под или сбоку от эндоскопического видеоизображения при его воспроизведении). [00142] After associating the endoscopic video image with the status data to form augmented combined data, the information and/or marks in the augmented endoscopic video may be used to identify portions of the endoscopic video and status data related to each of the identified events. Thus, the information or marks in the augmented endoscopic video image can be considered to identify time intervals of the combined data related to the identified events. For example, the label 1002 identifying the suturing step identifies portions of the endoscopic video image, the patient heart rate data stream, and the surgical robot position information data stream that correspond to the suturing step. The tags can then be used to extract data from the endoscopic video image and/or from one or more other status data streams related to the event. For example, there may be a means or software capable of receiving padded combined data, configured to present a list of identified events to a user based on information or labels in the padded combined data. Then, upon selecting one of the events, the user may be presented with portions of the endoscopic video image and status data related to that event. Portions of the endoscopic video and status data related to the event may be presented to the user in any suitable form. For example, when an event is selected from the list, a portion of the endoscopic video related to that event may be played along with displaying related status data (for example, the patient's heart rate during the corresponding portion may be displayed above, below, or to the side of the endoscopic video when it is played back) .

[00143] И хотя выше было описано, что дополненные комбинированные данные генерируются путем, в первую очередь, генерирования дополненного эндоскопического видеоизображения, а затем связывания дополненного эндоскопического видеоизображения, в других примерах эндоскопическое видеоизображение может быть связано со всеми или частью данных о состоянии для генерирования комбинированных данных перед дополнением так, что для генерирования дополненных комбинированных данных средство 506 дополнения дополняет комбинированные данные информацией или метками, идентифицирующими идентифицированные события и время их наступления.[00143] Although it has been described above that augmented composite data is generated by first generating augmented endoscopic video and then associating augmented endoscopic video, in other examples, the endoscopic video may be associated with all or part of the state data to generate combined data before padding so that to generate padded combined data, padding engine 506 pads the combined data with information or labels identifying the identified events and when they occurred.

[00144] Ниже сделана отсылка к фиг. 13, на которой изображены различные компоненты примерного устройства 1300 на вычислительной основе, которое может быть реализовано как какая-либо форма вычислительного и/или электронного устройства, и в котором могут быть реализованы варианты осуществления способов и устройств дополнения, описанных в настоящем документе. [00144] Reference is made below to FIG. 13, which depicts various components of an exemplary computing device 1300 that may be implemented as some form of computing and/or electronic device, and in which embodiments of the augmentation methods and devices described herein may be implemented.

[00145] Устройство 1300 на вычислительной основе содержит один или более процессоров 1302, которые могут представлять собой микропроцессоры, контроллеры или процессоры любого другого типа, для обработки исполняемых компьютером команд и управления работой устройства с целью верификации конструкции аппаратного обеспечения для линии передачи данных. В некоторых примерах, например, если используется средство на кристальной архитектуре, процессоры 1302 могут содержать один или более фиксированных функциональных блоков (также называемых ускорителями), реализующих часть способа дополнения эндоскопического видеоизображения, в форме аппаратного обеспечения (а не программного обеспечения или программно-аппаратного обеспечения). В устройстве на вычислительной основе может быть предусмотрено платформенное программное обеспечение, содержащее операционную систему 1304, или любое другое подходящее платформенное программное обеспечение, обеспечивающее возможность реализации прикладным программным обеспечением, таким как программное обеспечение 1305, исполнения способа, представленного на фиг. 8, на устройстве. [00145] Compute-based device 1300 includes one or more processors 1302, which may be microprocessors, controllers, or any other type of processor, for processing computer-executable instructions and controlling operation of the device to verify the hardware design for the data link. In some examples, for example, if a device on a crystal architecture is used, the processors 1302 may contain one or more fixed functional blocks (also called accelerators) that implement part of the endoscopic video augmentation method, in the form of hardware (rather than software or firmware). ). The computing-based device may be provided with platform software comprising an operating system 1304, or any other suitable platform software that enables application software, such as software 1305, to execute the method shown in FIG. 8 on the device.

[00146] Исполняемые компьютером команды могут быть предоставлены с использованием любого машиночитаемого носителя данных, к которому может осуществлять доступ устройство 1300 на вычислительной основе. Машиночитаемый носитель данных может включать, например, компьютерный носитель данных, такой как запоминающее устройство 1306, и средства связи. Компьютерный носитель данных (т. е. постоянный машиночитаемый носитель данных), такой как запоминающее устройство 1306, включает энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные при помощи любого способа или технологии хранения такой информации, как машиночитаемые команды, структуры данных, программные модули или другие данные. Машиночитаемые носители данных включают, но без ограничения, RAM, ROM, EPROM, EEPROM, флеш-память или другие технологии запоминающих устройств, CD-ROM, универсальные цифровые диски (DVD) или другие оптические запоминающие устройства, магнитные кассеты, магнитную ленту, магнитные дисковые запоминающие устройства или другие магнитные запоминающие устройства, или любой другой непередающий носитель, выполненный с возможностью использования для хранения информации с целью доступа посредством устройства на вычислительной основе. Для сравнения, средства связи могут воплощать машиночитаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой механизм передачи. Как определено в настоящем документе машиночитаемый носитель данных не содержит средства связи. И хотя машиночитаемый носитель данных (т. е. постоянный машиночитаемый носитель данных, например запоминающее устройство 1306) представлен в устройстве 1300 на вычислительной основе, следует понимать, что запоминающее устройство может быть распределено или расположено удаленно и может являться доступным по сети или другому каналу связи (например, с использованием интерфейса 1308 связи).[00146] Computer-executable instructions may be provided using any computer-readable storage medium that can be accessed by device 1300 on a computational basis. The computer-readable storage medium may include, for example, a computer storage medium, such as a storage device 1306, and communication media. A computer storage medium (i.e., a persistent computer-readable storage medium), such as storage device 1306, includes volatile and non-volatile, removable and non-removable media implemented in any method or technology for storing information such as computer-readable instructions, data structures, program modules. or other data. Computer-readable storage media includes, but is not limited to, RAM, ROM, EPROM, EEPROM, flash memory or other storage technologies, CD-ROMs, digital versatile disks (DVDs) or other optical storage devices, magnetic cassettes, magnetic tape, magnetic disk storage devices or other magnetic storage devices, or any other non-transferable medium capable of being used to store information for access by the device on a computational basis. In comparison, communication media may embody computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave or other transmission mechanism. As defined herein, a computer-readable storage medium does not contain communication media. Although a computer-readable storage medium (i.e., a non-volatile computer-readable storage medium, such as storage device 1306) is present in device 1300 on a computational basis, it should be understood that the storage device may be distributed or located remotely and may be accessible over a network or other communication channel. (for example, using the communication interface 1308).

[00147] Устройство 1300 на вычислительной основе также содержит контроллер 1210 ввода/вывода, выполненный с возможностью вывода отображаемой информации в дисплейное устройство 1312, которое может являться отдельным или объединенным с устройством 1300 на вычислительной основе. Отображаемая информация может предусматривать графический интерфейс пользователя. Контроллер 1310 ввода/вывода также выполнен с возможностью приема и обработки ввода от одного или более устройств, таких как устройство 1314 пользовательского ввода (например, мышь или клавиатура). Пользовательский ввод может использоваться для запуска верификации. В одном варианте осуществления дисплейное устройство 1312 также может действовать как устройство 1314 пользовательского ввода, если оно представляет собой дисплейное устройство с сенсорным экраном. Контроллер 1310 ввода/вывода также выполнен с возможностью вывода данных в устройства, отличные от дисплейного устройства, например, в локально подключенное устройство печати (не представлено на фиг. 13).[00147] The compute-based device 1300 also includes an I/O controller 1210 configured to output displayed information to a display device 1312, which may be separate from or combined with the compute-based device 1300. The displayed information may include a graphical user interface. The I/O controller 1310 is also configured to receive and process input from one or more devices, such as a user input device 1314 (eg, a mouse or keyboard). User input can be used to trigger verification. In one embodiment, display device 1312 may also act as user input device 1314 if it is a touch screen display device. The I/O controller 1310 is also configured to output data to devices other than a display device, such as a locally connected printing device (not shown in FIG. 13).

[00148] В настоящем документе заявитель раскрывает по отдельности каждый индивидуальный признак, описанный в настоящем документе, и любую комбинацию двух или более таких признаков в той степени, в какой такие признаки или комбинации могут быть осуществлены на основе представленного описания в целом в свете общих знаний специалистов в данной области техники независимо от того, решают ли эти признаки или комбинации признаков какие-либо проблемы, описанные в настоящем документе. В виду приведенного выше описания, специалистам в данной области техники будет очевидно, что различные модификации могут осуществляться в пределах объема настоящего изобретения.[00148] Applicant herein discloses individually each individual feature described herein and any combination of two or more such features, to the extent that such features or combinations can be implemented based on the present description as a whole in light of the general knowledge those skilled in the art, whether or not these features or combinations of features solve any of the problems described herein. In view of the above description, it will be apparent to those skilled in the art that various modifications may be made within the scope of the present invention.

Claims (31)

1. Устройство дополнения для генерирования дополненного эндоскопического видеоизображения, при этом устройство дополнения содержит:1. An add-on device for generating an augmented endoscopic video image, the add-on device comprising: детектор событий, выполненный с возможностью:an event detector configured to: приема данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, по меньшей мере частично выполняемой хирургическим роботизированным средством, при этом хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, при этом рука содержит сочленения, при помощи которых можно изменять конфигурацию руки; при этом данные о состоянии содержат информацию об инструментах, описывающую по меньшей мере один инструмент, присоединенный к по меньшей мере одному хирургическому роботу в ходе выполнения задачи, и информацию о положении хирургических роботов, описывающую движение и положение по меньшей мере одного хирургического робота в ходе выполнения задачи;receiving status data describing the state of the surgical robot during a task at least partially performed by the surgical robot, the surgical robot comprising at least one surgical robot comprising a base and an arm extending from the base to the instrument attachment site, while the hand contains joints, with which you can change the configuration of the hand; wherein the state data comprises instrument information describing at least one instrument attached to at least one surgical robot during the execution of a task, and position information of the surgical robots describing the movement and position of at least one surgical robot during the execution tasks; идентификации в данных о состоянии паттернов, указывающих наступление события в ходе выполнения задачи, при этом указанные паттерны в данных о состоянии содержат паттерны в информации об инструментах и паттерны в информации о положении хирургических роботов; и identifying patterns in the state data indicating the occurrence of an event during the execution of a task, wherein said patterns in the state data comprise patterns in instrument information and patterns in position information of surgical robots; and идентификации этапа наложения шва в ходе выполнения задачи путем идентификации паттернов в информации об инструментах и паттернов в информации о положении хирургических роботов; иidentifying a suturing step during a task by identifying patterns in the instrument information and patterns in the position information of the surgical robots; and средство дополнения, выполненное с возможностью:add-on tool configured to: приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; иreceiving an endoscopic video image captured during a task, the endoscopic video image being synchronized in time with the status data; and в ответ на идентификацию детектором событий в данных о состоянии паттерна, указывающего наступление события, автоматического дополнения метаданных, связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения.in response to the identification by the event detector in the state data of a pattern indicating the occurrence of an event, automatically supplementing the metadata associated with the endoscopic video image with information identifying the event and the time of the event relative to the endoscopic video image. 2. Устройство дополнения по п. 1, в котором информация, идентифицирующая событие и время события, видна пользователю при просмотре пользователем дополненного эндоскопического видеоизображения после выполнения задачи.2. The augmentation device of claim 1, wherein information identifying the event and the time of the event is visible to the user when the user views the augmented endoscopic video image after the task has been completed. 3. Устройство дополнения по п. 1, в котором информация, идентифицирующая событие и время события, выборочно видна пользователю при просмотре пользователем дополненного эндоскопического видеоизображения после выполнения задачи.3. The add-on device of claim 1, wherein information identifying the event and the time of the event is selectively visible to the user when the user views the augmented endoscopic video image after completing the task. 4. Устройство дополнения по п. 1, в котором информация, идентифицирующая событие и время события, автоматически видна пользователю при просмотре пользователем дополненного эндоскопического видеоизображения после выполнения задачи на основе привилегий, связанных с пользователем.4. The add-on device according to claim 1, wherein the information identifying the event and the time of the event is automatically visible to the user when the user views the augmented endoscopic video image after performing a task based on privileges associated with the user. 5. Устройство дополнения по п. 1, в котором дополнение метаданных информацией, идентифицирующей событие и время события, относительно эндоскопического видеоизображения включает добавление в эндоскопическое видеоизображение в момент времени события закладки, которая идентифицирует событие.5. The augmentation device of claim 1, wherein augmenting the metadata with information identifying an event and an event time relative to the endoscopic video image includes adding a bookmark to the endoscopic video image at the time of the event that identifies the event. 6. Устройство дополнения по п. 1, в котором каждый паттерн соответствует отличающемуся событию, и детектор событий выполнен с возможностью выборочной идентификации лишь части из паттернов.6. Complement device according to claim 1, wherein each pattern corresponds to a different event and the event detector is configured to selectively identify only a portion of the patterns. 7. Устройство дополнения по п. 1, в котором каждый паттерн соответствует отличающемуся событию, и детектор событий выполнен с возможностью идентификации части из паттернов на основе привилегий пользователя, связанных с пользователем, запустившим дополнение.7. The add-on device according to claim 1, wherein each pattern corresponds to a different event, and the event detector is configured to identify a portion of the patterns based on user privileges associated with the user running the add-on. 8. Устройство дополнения по п. 1, в котором данные о состоянии по меньшей мере частично содержат данные, сгенерированные хирургическим роботизированным средством.8. The augmentation device of claim 1, wherein the state data at least partially comprises data generated by the surgical robotic tool. 9. Устройство дополнения по п. 8, в котором данные о состоянии по меньшей мере частично содержат данные, сгенерированные источниками, внешними по отношению к хирургическому роботизированному средству.9. The augmentation device of claim 8, wherein the state data at least partially comprises data generated by sources external to the surgical robotic tool. 10. Устройство дополнения по п. 1, в котором паттерны в данных о состоянии выполнены с возможностью идентификации одного или более событий инструментов, при этом одно или более событий инструментов содержат одно или более из следующего: 10. The augmentation device of claim 1, wherein the patterns in the state data are configured to identify one or more tool events, wherein the one or more tool events comprise one or more of the following: - изменение по меньшей мере одного инструмента, присоединенного к руке хирургического роботизированного средства; changing at least one instrument attached to the arm of the surgical robot; - изменение состояния инструмента под напряжением, присоединенного к руке хирургического роботизированного средства;- a change in the state of the energized instrument attached to the arm of the surgical robot; - очистка эндоскопа, присоединенного к руке хирургического роботизированного средства;- cleaning the endoscope attached to the arm of the surgical robot; - выполнение регулировки баланса белого в отношении средства формирования изображений эндоскопа, присоединенного к руке хирургического роботизированного средства;- performing a white balance adjustment with respect to the endoscope imaging means attached to the arm of the surgical robotic means; - выход величины или частоты движения эндоскопа, присоединенного к руке хирургического роботизированного средства, за пределы диапазона; и- the output of the magnitude or frequency of movement of the endoscope attached to the arm of the surgical robotic tool, out of range; and - изменение по меньшей мере одного инструмента, присоединенного к руке хирургического роботизированного средства, активно управляемого хирургическим роботизированным средством.changing at least one instrument attached to the arm of the surgical robot actively controlled by the surgical robot. 11. Устройство дополнения по п. 1, в котором паттерны в данных о состоянии выполнены с возможностью идентификации одного или более событий столкновений, при этом одно или более событий столкновений включают одно или более из следующего: столкновения между по меньшей мере двумя руками хирургического робота хирургического роботизированного средства; столкновения между по меньшей мере двумя инструментами, присоединенными к разным рукам хирургического робота хирургического роботизированного средства; и столкновения между рукой хирургического робота хирургического роботизированного средства и инструментом, присоединенным к другой руке хирургического робота хирургического роботизированного средства. 11. The augmentation device of claim 1, wherein the patterns in the state data are configured to identify one or more collision events, wherein the one or more collision events include one or more of the following: collisions between at least two arms of a surgical robot of a surgical robotic means; collisions between at least two instruments attached to different arms of the surgical robot of the surgical robot; and collision between the surgical robot arm of the surgical robot and an instrument attached to the other arm of the surgical robot of the surgical robot. 12. Устройство дополнения по п. 1, в котором задача представляет собой хирургическую процедуру, выполняемую в отношении пациента, и паттерны в данных о состоянии выполнены с возможностью идентификации одного или более событий пациента, при этом одно или более событий пациента включают одно или более из следующего: выход одного или более показателей состояния организма пациента за пределы диапазона; и изменение одного или более показателей состояния организма пациента. 12. The add-on device of claim 1, wherein the task is a surgical procedure performed on a patient and the patterns in the condition data are configured to identify one or more patient events, wherein the one or more patient events include one or more of the following: the output of one or more indicators of the state of the patient's body outside the range; and a change in one or more indicators of the state of the patient's body. 13. Устройство дополнения по п. 1, в котором хирургическое роботизированное средство находится под управлением оператора, и паттерны в данных о состоянии выполнены с возможностью идентификации одного или более событий оператора, при этом одно или более событий оператора включают одно или более из следующего: выход одного или более показателей состояния организма оператора за пределы диапазона; изменение одного или более показателей состояния организма оператора; изменение усилия захватывания, прикладываемого оператором к одному или более устройствам ввода, используемым для управления хирургическим роботизированным средством; и изменение толкающего усилия, прикладываемого оператором к одному или более из устройств ввода.13. The augmentation device of claim 1, wherein the surgical robot is under the control of an operator and the patterns in the state data are configured to identify one or more operator events, wherein the one or more operator events include one or more of the following: output one or more indicators of the state of the operator's body outside the range; change in one or more indicators of the state of the operator's body; changing the grip force applied by the operator to one or more input devices used to control the surgical robotic tool; and changing the pushing force applied by the operator to one or more of the input devices. 14. Устройство дополнения по п. 1, в котором хирургическое роботизированное средство находится под управлением оператора, и паттерны в данных о состоянии выполнены с возможностью идентификации одного или более событий эффективности оператора, при этом одно или более событий эффективности оператора включают одно или более из следующего: падение эффективности оператора при выполнении задачи ниже допустимого уровня; и изменение эффективности оператора при выполнении задачи.14. The add-on device of claim 1, wherein the surgical robot is under the control of an operator and the patterns in the state data are configured to identify one or more operator performance events, wherein the one or more operator performance events include one or more of the following : drop in the efficiency of the operator when performing a task below an acceptable level; and changing the efficiency of the operator in performing the task. 15. Устройство дополнения по п. 1, в котором задача включает этапы, и паттерны в данных о состоянии выполнены с возможностью автоматической идентификации этапов задачи из данных о состоянии.15. The add-on device of claim 1, wherein the task includes steps and the patterns in the state data are configured to automatically identify task steps from the state data. 16. Устройство дополнения по п. 1, в котором детектор событий выполнен с возможностью идентификации этапа наложения шва в ходе выполнения задачи, когда детектор событий идентифицирует на основе информации об инструментах, что к хирургическим роботам присоединены по меньшей мере два иглодержателя, и детектор событий идентифицирует на основе информации о положениях хирургических роботов, что хирургические роботы совершают повторяющиеся круговые движения.16. The add-on device according to claim 1, wherein the event detector is configured to identify the suturing step during the execution of the task, when the event detector identifies, based on the instrument information, that at least two needle holders are attached to the surgical robots, and the event detector identifies based on information about the positions of the surgical robots, that the surgical robots make repetitive circular motions. 17. Устройство дополнения по п. 1, в котором указанное устройство дополнения выполнено с возможностью связывания дополненного эндоскопического видеоизображения и всех или части данных о состоянии так, что информация, идентифицирующая событие, идентифицирует время наступления события относительно эндоскопического видеоизображения и данных о состоянии.17. The add-on device according to claim 1, wherein said add-on device is configured to link the augmented endoscopic video image and all or part of the state data such that the event identifying information identifies the time of occurrence of the event relative to the endoscopic video image and the state data. 18. Устройство дополнения по п. 17, в котором часть эндоскопического видеоизображения и часть данных о состоянии, относящихся к идентифицированному событию, выполнены с возможностью извлечения из информации, идентифицирующей событие.18. The add-on device according to claim 17, wherein a portion of the endoscopic video image and a portion of the status data relating to the identified event are capable of being extracted from the information identifying the event.
RU2022125878U 2018-10-03 2022-10-04 AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE RU216092U1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB1816164.6 2018-10-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2022101877U Division RU214412U1 (en) 2018-10-03 2019-10-03 AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE

Publications (1)

Publication Number Publication Date
RU216092U1 true RU216092U1 (en) 2023-01-16

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU128762U1 (en) * 2012-11-13 2013-05-27 Общество с ограниченной ответственностью "Эйдос-Медицина" HYBRID MEDICAL SIMULATOR LAPAROSCOPY
WO2018067611A1 (en) * 2016-10-03 2018-04-12 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU128762U1 (en) * 2012-11-13 2013-05-27 Общество с ограниченной ответственностью "Эйдос-Медицина" HYBRID MEDICAL SIMULATOR LAPAROSCOPY
WO2018067611A1 (en) * 2016-10-03 2018-04-12 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery

Similar Documents

Publication Publication Date Title
RU209329U1 (en) AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE
JP7500667B2 (en) Indicator System
KR102673560B1 (en) Configuring surgical system with surgical procedures atlas
JP7453693B2 (en) Surgical training equipment, methods and systems
JP4296278B2 (en) Medical cockpit system
JP2004348095A (en) Training system
CN112352285A (en) Context-aware systems and methods for computer-assisted surgery systems
RU216092U1 (en) AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE
RU214412U1 (en) AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE
Dankelman et al. Engineering for patient safety: Issues in minimally invasive procedures
JP2007075520A (en) Surgery analyzer