RU214412U1 - Автоматическое дополнение эндоскопического видеоизображения - Google Patents

Abstract

Устройство для автоматического дополнения эндоскопического видеоизображения для задачи на основе данных о состоянии, которые описывают состояние хирургического роботизированного средства, используемого для по меньшей мере частичного выполнения этой задачи. Устройство дополнения содержит детектор событий и средство дополнения. Детектор событий выполнен с возможностью приема данных о состоянии; и идентификации в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи. Средство дополнения выполнено с возможностью приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; и, в ответ на идентификацию детектором событий в данных о состоянии паттерна, указывающего наступление события, автоматического дополнения метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время наступления события относительно эндоскопического видеоизображения.

Description

ПРЕДПОСЫЛКИ СОЗДАНИЯ ПОЛЕЗНОЙ МОДЕЛИ

[0001] Известно применение роботов для ассистирования и выполнения хирургических операций. На фиг. 1 изображен обычный хирургический робот 100, состоящий из основания 108, руки 102 и инструмента 105. Основание создает опору для робота, и само жестко присоединено, например, к полу операционной, потолку операционной или тележке. Рука проходит между основанием и инструментом. Рука является шарнирной посредством множества гибких сочленений 103 вдоль ее длины, которые используются для установки хирургического инструмента в заданном положении относительно пациента. Хирургический инструмент присоединен к дальнему концу 104 руки робота. Хирургический инструмент проникает в тело пациента 101 в месте 107 введения троакара с целью доступа к области хирургического вмешательства. Инструмент содержит на своем дальнем конце рабочий орган 106 для участия в медицинской процедуре.

[0002] Хирургический робот 100 находится под удаленным управлением оператора (например, хирурга) при помощи пульта 200 оператора, представленного на фиг. 2. Пульт 200 оператора может быть расположен в том же помещении (например, в операционной), что и хирургический робот 100, или на удалении от него. Пульт 200 оператора содержит устройства 202, 204 ввода для управления состоянием руки 102 и/или присоединенного к ней инструмента 105. Устройства 202, 204 ввода могут представлять собой рукоятки, или органы ручного управления, установленные на пантографических механизмах. Средство управления преобразует движение органов ручного управления в сигналы управления с целью приведения в движение сочленений рук и/или рабочего органа инструмента хирургического робота. Пульт 200 оператора также содержит дисплей 206. Дисплей 206 расположен так, чтобы он был виден пользователю, приводящему в действие устройства 202, 204 ввода. Дисплей используется для отображения видеопотока из области хирургического вмешательства (например, эндоскопического видеоизображения).

[0003] Некоторые хирургические процедуры могут требовать нескольких хирургических роботов, каждый из которых несет инструмент или другое приспособление, которые используются одновременно друг с другом в области хирургического вмешательства. На фиг. 3 изображено хирургическое роботизированное средство 300 с множеством роботов 302, 304, 306, действующих в общей рабочей области в отношении пациента 308. Например, хирургические роботы часто используют в эндоскопической хирургии (например, в лапароскопической хирургии), которая также может называться минимально инвазивной хирургией. Как известно специалистам в данной области техники, в ходе эндоскопической процедуры хирург вводит эндоскоп через небольшой разрез или естественное отверстие тела, такое как, но без ограничения, рот или ноздри. Эндоскоп представляет собой жесткую или гибкую трубку с присоединенной к ней миниатюрной камерой, которая передает на видеомонитор (например, дисплей 206) изображения в реальном времени, которые хирург использует для содействия направлению его инструментов через тот же разрез/отверстие или через другой разрез/отверстие. Эндоскоп позволяет хирургу видеть значимую область организма в подробностях без необходимости во вскрытии и обнажении соответствующей области. Данное техническое решение позволяет хирургу видеть внутри организма пациента и действовать через разрез намного меньшего размера, чем требовался бы для традиционной открытой хирургической операции. Соответственно, в обычной роботизированной эндоскопической хирургии имеется эндоскоп, присоединенный к одной руке хирургического робота, и один или более хирургических инструментов, таких как щипцы и/или скальпель, присоединенных к одной или более рукам других хирургических роботов.

[0004] На фиг. 4 представлен примерный эндоскоп 400, выполненный с возможностью присоединения к концу руки робота с целью применения в минимально инвазивной хирургии. Эндоскоп 400 содержит дальний конец 402 для введения в область хирургического вмешательства пациента и ближний конец 404. Дальний конец 402 соединен с ближним концом 404 удлиненной осью 406. Ближний конец 404 содержит средство 408 сопряжения для вхождения в контакт с концом руки робота.

[0005] Эндоскоп 400 содержит источник питания и источник света для освещения области хирургического вмешательства. Эндоскоп 400 также содержит линию передачи данных для извлечения данных изображений из области хирургического вмешательства. Они все могут быть присоединены к ближнему концу 404 эндоскопа 400 независимо и внешним образом по отношению к руке робота, как представлено на фиг. 4. На фиг. 4 питание подается через штангу 412, данные изображений извлекаются через штангу 412, и свет подается через световую штангу 410. В альтернативном варианте осуществления любое одно или более из входного светового потока, входного питания и выходных данных может подаваться в эндоскоп/извлекаться из эндоскопа через руку робота.

[0006] Эндоскоп 400 установлен на конце руки робота. Средство 408 сопряжения эндоскопа входит в контакт с ответным средством сопряжения руки робота. Эндоскоп 400 выполнен с возможностью присоединения к руке робота и отсоединения от нее при помощи средств сопряжения руки робота и эндоскопа. В некоторых случаях эндоскоп 400 выполнен с возможностью действия независимо от руки робота при нахождении в отсоединенном состоянии. Иначе говоря, в этих случаях эндоскоп 400, если он отсоединен от руки робота, может приводиться в действие вручную сотрудником персонала операционной.

[0007] В дополнение к изображениям, захваченным эндоскопом (которые в настоящем документе могут совместно называться эндоскопическим видеоизображением) и используемым во время хирургической операции, изображения, захваченные эндоскопом, могут записываться и впоследствии использоваться по множеству назначений, таких как, но без ограничения, изучение хирургических процедур и/или обучение хирургическим процедурам и оценка и/или критический анализ эффективности хирурга (третьей стороной или самим хирургом).

[0008] Одно из преимуществ роботизированной хирургии перед традиционной ручной хирургией заключается в том, что она допускает более простой сбор данных о выполнении хирургических процедур. Например, может осуществляться контроль и регистрация движения и/или положения робота (роботов) во время хирургической операции. Это может являться преимущественным при обеспечении возможности связывания или иного соединения эндоскопического видеоизображения с данными, сгенерированными/собранными хирургическим роботом (роботами) или о нем (них), с целью повышения полезности эндоскопического видеоизображения при обучении, оценке/критическом анализе эффективности и т. д.

[0009] Описанные ниже варианты осуществления представлены лишь в качестве примера и не ограничивают реализации, преодолевающие любой или все недостатки известных хирургических роботизированных средств.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ПОЛЕЗНОЙ МОДЕЛИ

[0010] Данное краткое описание представлено для представления выбора концепций, которые дополнительно описаны ниже в подробном описании. Данное краткое описание не предназначено для идентификации ключевых признаков или существенных признаков заявленного предмета изобретения, как не предназначено оно и для использования с целью ограничения объема заявленного предмета изобретения.

[0011] В настоящем документе описаны способы и средства автоматического дополнения эндоскопического видеоизображения для задачи, по меньшей мере частично выполняемых хирургическим роботизированным средством, на основе данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи. Средство содержит детектор событий и устройство дополнения. Детектор событий выполнен с возможностью приема данных о состоянии; и идентификации в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи. Устройство дополнения выполнено с возможностью: приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; и, в ответ на идентификацию детектором событий в данных о состоянии паттерна, указывающего наступление события, дополнения метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время наступления события относительно эндоскопического видеоизображения.

[0012] В первом аспекте предоставляется устройство дополнения для генерирования дополненного эндоскопического видеоизображения, при этом устройство дополнения содержит: детектор событий, выполненный с возможностью приема данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, по меньшей мере частично выполняемой хирургическим роботизированным средством, при этом хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, при этом рука содержит сочленения, при помощи которых можно изменять конфигурацию руки; и идентификации в данных о состоянии паттернов, указывающих наступление события в ходе выполнения задачи; и средство дополнения, выполненное с возможностью: приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; и, в ответ на идентификацию детектором событий в данных о состоянии паттерна, указывающего наступление события, автоматического дополнения метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения.

[0013] Информация, идентифицирующая событие и время события, может быть видна пользователю при последующем просмотре пользователем дополненного эндоскопического видеоизображения.

[0014] Информация, идентифицирующая событие и время события, может быть выборочно видна пользователю при последующем просмотре пользователем дополненного эндоскопического видеоизображения.

[0015] Информация, идентифицирующая событие и время события, может быть автоматически видна или не видна пользователю при последующем просмотре пользователем дополненного эндоскопического видеоизображения на основе привилегий, связанных с пользователем.

[0016] Дополнение метаданных информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения, может включать добавление в эндоскопическое видеоизображение в момент времени события закладки, идентифицирующей это событие.

[0017] Один или более паттернов могут включать множество паттернов, при этом каждый паттерн соответствует отличающемуся событию, и детектор событий может быть выполнен с возможностью выборочной идентификации лишь некоторого подмножества из множества паттернов.

[0018] Один или более паттернов могут включать множество паттернов, при этом каждый паттерн соответствует отличающемуся событию, и детектор событий может быть выполнен с возможностью идентификации подмножества из множества паттернов на основе привилегий пользователя, связанных с пользователем, который запустил дополнение.

[0019] Данные о состоянии могут по меньшей мере частично содержать данные, сгенерированные хирургическим роботизированным средством.

[0020] Данные о состоянии могут по меньшей мере частично содержать данные, сгенерированные одним или более источниками, внешними по отношению к хирургическому роботизированному средству.

[0021] Паттерны могут быть выполнены с возможностью идентификации одного или более событий инструментов, при этом одно или более событий инструментов могут включать одно или более из следующего: изменения инструмента, присоединенного к руке хирургического робота хирургического роботизированного средства; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой инструмент под напряжением, изменения состояния инструмента под напряжением; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой эндоскоп, очистки эндоскопа; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой эндоскоп, выполнения регулировки баланса белого в отношении средства формирования изображений эндоскопа; если по меньшей мере один инструмент, присоединенный к руке хирургического робота хирургического роботизированного средства, представляет собой эндоскоп, выхода величины или частоты движения эндоскопа за пределы некоторого диапазона; и изменения инструмента, активно управляемого хирургическим роботизированным средством.

[0022] Паттерны могут быть выполнены с возможностью идентификации одного или более событий столкновений, при этом одно или более событий столкновений могут включать одно или более из следующего: столкновения между по меньшей мере двумя руками хирургических роботов хирургического роботизированного средства; столкновения между по меньшей мере двумя инструментами, присоединенными к разным рукам хирургического робота хирургического роботизированного средства; и столкновения между рукой хирургического робота хирургического роботизированного средства и инструментом, присоединенным к другой руке хирургического робота хирургического роботизированного средства.

[0023] Задача может представлять собой хирургическую процедуру, выполняемую в отношении пациента, и один или более паттернов могут быть выполнены с возможностью идентификации одного или более событий пациента, при этом одно или более событий пациента могут включать одно или более из следующего: выхода одного или более основных показателей состояния организма или одного или более других показателей здоровья пациента за пределы некоторого диапазона; и изменения одного или более основных показателей состояния организма и/или одного или более других показателей здоровья пациента.

[0024] Хирургическое роботизированное средство может находиться под управлением оператора, и паттерны могут быть выполнены с возможностью идентификации одного или более событий оператора, при этом одно или более событий оператора могут включать одно или более из следующего: выхода одного или более основных показателей состояния организма и/или одного или более других показателей здоровья оператора за пределы некоторого диапазона; изменения одного или более основных показателей состояния организма и/или одного или более других показателей здоровья оператора; изменения усилия захватывания, прикладываемого оператором к одному или более устройствам ввода, используемым для управления хирургическим роботизированным средством; и изменения толкающего усилия, прикладываемого оператором к одному или более из устройств ввода.

[0025] Хирургическое роботизированное средство может находиться под управлением оператора, и паттерны могут быть выполнены с возможностью идентификации одного или более событий эффективности оператора, при этом одно или более событий эффективности оператора могут включать одно или более из следующего: падения эффективности оператора при выполнении задачи ниже допустимого уровня, и изменения эффективности оператора при выполнении задачи.

[0026] Эффективность оператора при выполнении задачи может основываться на одном или более критериях эффективности, при этом один или более критериев эффективности могут включать одно или более из следующего: траектории, по которой движется рука хирургического робота при выполнении этапа задачи; плавности движения руки хирургического робота; и времени на выполнение этапа задачи.

[0027] Один или более паттернов могут быть выполнены с возможностью идентификации аварийных событий.

[0028] Задача может включать множество этапов, и один или более паттернов могут быть выполнены с возможностью автоматической идентификации одного или более этапов задачи на основе данных о состоянии.

[0029] Данные о состоянии могут включать информацию об инструментах, описывающую инструменты, присоединенные к по меньшей мере одному хирургическому роботу в ходе выполнения задачи, и информацию о положении хирургического робота, описывающую движение и/или положение по меньшей мере одного хирургического робота в ходе выполнения задачи; и детектор событий может быть выполнен с возможностью идентификации этапа наложения шва в ходе выполнения задачи путем идентификации паттернов в информации об инструментах и информации о положении хирургического робота.

[0030] Детектор событий может быть выполнен с возможностью идентификации этапа наложения шва в ходе выполнения задачи, если детектор событий на основе информации об инструментах идентифицирует присоединение к хирургическим роботам по меньшей мере двух иглодержателей, и детектор событий на основе информации о положении хирургического робота идентифицирует, что хирургические роботы совершают повторяющиеся круговые движения.

[0031] Средство может быть дополнительно выполнено с возможностью связывания дополненного эндоскопического видеоизображения и всех или части данных о состоянии так, что информация, идентифицирующая событие, идентифицирует время наступления события относительно эндоскопического видеоизображения и данных о состоянии.

[0032] Часть эндоскопического видеоизображения и часть данных о состоянии, относящиеся к идентифицированному событию, могут быть выполнены с возможностью извлечения из информации, идентифицирующей событие.

[0033] Задача может представлять собой хирургическую процедуру, выполняемую в отношении человека.

[0034] Устройство дополнения может содержать хирургическое роботизированное средство.

[0035] Во втором аспекте предоставляется реализуемый на компьютере способ генерирования дополненного эндоскопического видеоизображения, при этом способ включает, на одном или более устройствах на вычислительной основе: прием эндоскопического видеоизображения, захваченного в ходе выполнения задачи, по меньшей мере частично выполняемой хирургическим роботизированным средством, при этом хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, при этом рука содержит множество сочленений, при помощи которых можно изменять конфигурацию руки; прием данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, при этом данные о состоянии синхронизированы по времени с эндоскопическим видеоизображением; идентификацию в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи; и, в ответ на идентификацию в данных о состоянии паттерна, указывающего наступление события в ходе выполнения задачи, дополнение метаданных, образующих часть или связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения.

[0036] При необходимости вышеописанные признаки могут быть объединены, что очевидно специалистам в данной области техники, и могут быть скомбинированы с любыми из аспектов примеров, описанных в настоящем документе.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0037] Ниже будут подробно описаны примеры со ссылкой на сопроводительные графические материалы, в которых:

[0038] на фиг. 1 представлена принципиальная схема примерного хирургического робота, выполняющего примерную хирургическую процедуру;

[0039] на фиг. 2 представлена принципиальная схема примерного пульта оператора;

[0040] на фиг. 3 представлена принципиальная схема примерного хирургического роботизированного средства с множеством хирургических роботов;

[0041] на фиг. 4 представлена принципиальная схема примерного эндоскопа, выполненного с возможностью присоединения к руке хирургического робота;

[0042] на фиг. 5 представлена блок-схема примерного устройства дополнения;

[0043] на фиг. 6 представлена принципиальная схема примерного хирургического роботизированного средства;

[0044] на фиг. 7 представлена принципиальная схема примерного хирургического робота;

[0045] на фиг. 8 представлена блок-схема примерного способа дополнения эндоскопического видеоизображения;

[0046] на фиг. 9 представлена принципиальная схема примерного дисплея пульта оператора;

[0047] на фиг. 10 представлена принципиальная схема примерного дополненного эндоскопического видеоизображения;

[0048] на фиг. 11 представлена принципиальная схема примерного дополненного эндоскопического видеоизображения, просматриваемого в мультимедийном проигрывателе;

[0049] на фиг. 12 представлена принципиальная схема примерного дополненного эндоскопического видеоизображения, связанного с соответствующими данными о состоянии; и

[0050] на фиг. 13 представлена блок-схема примерного устройства на вычислительной основе.

[0051] Сопроводительные графические материалы иллюстрируют различные примеры. Специалистам в данной области техники будет понятно, что изображенные границы элементов (например, блоки, группы блоков или другие формы) в графических материалах представляют один пример границ. В некоторых примерах может иметь место случай, в котором один элемент может быть обозначен как множество элементов, или множество элементов могут быть обозначено как один элемент. При необходимости общие ссылочные позиции используются на всех фигурах для указания аналогичных элементов.

ПОДРОБНОЕ ОПИСАНИЕ

[0052] Следующее описание представлено в качестве примера, позволяющего специалистам в данной области техники осуществлять и применять настоящее изобретение. Настоящее изобретение не ограничивается вариантами осуществления, описанными в настоящем документе, и специалистам в данной области техники будут очевидны различные модификации описанных вариантов осуществления. Варианты осуществления описаны лишь в качестве примера.

[0053] В настоящем документе описаны способы и устройства автоматического дополнения эндоскопического видеоизображения, захваченного в ходе выполнения задачи (например, хирургической операции), по меньшей мере частично выполняемой хирургическим роботизированным средством, на основе данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи. Хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, причем рука содержит сочленения, при помощи которых можно изменять конфигурацию руки. Способ включает прием эндоскопического видеоизображения; прием данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, которые синхронизированы по времени с эндоскопическим видеоизображением; идентификацию в данных о состоянии одного или более паттернов, указывающих наступление события в ходе выполнения задачи; и, в ответ на идентификацию в данных о состоянии паттерна, указывающего наступление события, дополнение эндоскопического видеоизображения информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения.

[0054] В первую очередь, обратимся к фиг. 5, на которой изображена примерное устройство 500 дополнения для автоматического дополнения эндоскопического видеоизображения, захваченного в ходе выполнения задачи (например, хирургической операции), по меньшей мере частично выполняемой хирургическим роботизированным средством 502. Хирургическое роботизированное средство 502 содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения хирургического инструмента, при этом рука содержит множество сочленений, при помощи которых можно изменять конфигурацию руки. Примерное хирургическое роботизированное средство 502 описано ниже со ссылкой на фиг. 6.

[0055] Устройство 500 дополнения содержит детектор 504 событий и средство 506 дополнения. Детектор 504 событий и/или средство 506 дополнения может быть реализовано одним или более устройствами на вычислительной основе, как, например, но без ограничения, устройством на вычислительной основе, описанным ниже со ссылкой на фиг. 12.

[0056] Детектор 504 событий выполнен с возможностью приема данных о состоянии, указывающих или описывающих состояние хирургического роботизированного средства 502 в ходе выполнения роботом задачи (например, хирургической операции). Данные о состоянии синхронизированы по времени с эндоскопическим видеоизображением, захваченным в ходе выполнения задачи. Данные о состоянии могут быть синхронизированы по времени с эндоскопическим видеоизображением любым подходящим способом, который обеспечивает возможность корреляции событий, обнаруженных на основе данных о состоянии, с конкретным моментом или промежутком времени в эндоскопическом видеоизображении. Например, и эндоскопическое видеоизображение, и данные о состоянии могут включать или могут быть связаны с общими отметками времени или общей шкалой времени.

[0057] Как более подробно описано ниже, данные о состоянии могут содержать любые данные или информацию о хирургическом роботизированном средстве 502 и/или любую информацию об окружающих условиях, в которых хирургическое роботизированное средство 502 действовало в ходе выполнения задачи. Все или часть данных о состоянии могут генерироваться самим хирургическим роботизированным средством 502 (например, данные, связанные с положением и/или движением руки (рук) хирургического робота, присоединенного к ней инструмента и каких-либо органов ручного управления, при помощи которых осуществляется управление движением руки (рук) робота. В некоторых случаях по меньшей мере часть данных о состоянии может генерироваться одним или более внешними источниками.

[0058] Например, как представлено на фиг. 5, часть данных о состоянии может генерироваться оборудованием для записи звука и/или видеоизображений, как, например, но без ограничения, камерой 508, которая захватывает звук и/или видеоизображение в помещении (например, в операционной), где выполняется задача; и/или оборудованием для контроля состояния здоровья, таким как, например, но без ограничения, пульсометр 510, который осуществляет контроль одного или более показателей здоровья пациента (если задача выполняется в отношении пациента) и/или оператора (например, хирурга), управляющего хирургическим роботизированным средством 502. Специалистам в данной области техники будет очевидно, что это оборудование представляет собой лишь примеры внешних источников данных о состоянии, и могут иметься другие внешние источники данных о состоянии. Например, другие внешние источники данных о состоянии могут включать больничную койку, при этом больничная койка представляет собой «интеллектуальную» койку, выполненную с возможностью генерирования, например, данных о положении; и оборудование для инсуффляции. Как известно специалистам в данной области техники, в ходе лапароскопической хирургической операции в организм пациента при помощи оборудования для инсуффляции с целью надувания полости для получения большего объема часто вдувают газы, такие как, но без ограничения, диоксид углерода.

[0059] Детектор 504 событий выполнен с возможностью приема данных о состоянии, сгенерированных хирургическим роботизированным средством502 и/или одним или более внешними источниками 508, 510, при помощи любых подходящих средств. Например, в некоторых случаях хирургическое роботизированное средство 502 и/или один или более внешних источников 508, 510 выполнены с возможностью доставки данных о состоянии в детектор 504 событий при помощи беспроводного или проводного соединения 512 связи, такого как, но без ограничения, соединение Ethernet, соединение Wi-Fi®, соединение Bluetooth®, соединение ближней бесконтактной связи (NFC) и т.п. В этих примерах все или часть данных о состоянии могут доставляться в детектор 504 событий в реальном времени (или по существу в реальном времени) одновременно с выполнением задачи (например, хирургической операции). В других случаях данные о состоянии могут захватываться другим устройством (например, устройством на вычислительной основе) в ходе выполнения задачи и сохраняться в устройстве 514 хранения данных (например, в запоминающем устройстве), а затем доставляться в детектор 504 событий через соединение 512 связи или при помощи любых других подходящих средств. В некоторых случаях все или часть данных о состоянии могут храниться в местоположении выполнения задачи (например, в операционной) на переносном носителе данных, таком как, но без ограничения, карта памяти USB (универсальной последовательной шины), и физически переноситься в местоположение детектора 504 событий, где он соединяется с детектором 504 событий так, что детектор 504 событий может считывать данные о состоянии из переносного носителя данных.

[0060] Детектор 504 событий выполнен с возможностью анализа данных о состоянии с целью идентификации событий, наступивших в ходе выполнения задачи (например, хирургической операции). События, наступившие в ходе выполнения задачи (например, хирургической операции), могут включать, но без ограничения: изменение инструмента, присоединенного к руке робота хирургического роботизированного средства; возникновение столкновения между несколькими руками робота или между множеством инструментов, присоединенных к рукам робота; выход одного или более основных показателей состояния организма и/или одного или более других показателей здоровья пациента за пределы некоторого диапазона; выхода одного или более основных показателей состояния организма оператора (например, хирурга) и/или одного или более других показателей здоровья оператора за пределы некоторого диапазона; использование хирургического роботизированного средства 502 для выполнения конкретного действия (например, наложения шва); и отступление от ожидаемой последовательности событий (например, в то время как ожидался этап наложения шва, выполнялся этап разрезания). Более обширный список примерных событий, которые могут быть идентифицированы детектором 504 событий, описан ниже. Как более подробно описано ниже, детектор 504 событий может быть выполнен с возможностью идентификации событий, наступивших в ходе выполнения задачи, путем идентификации паттернов в данных о состоянии. Например, детектор 504 событий может быть выполнен с возможностью определения использования хирургического роботизированного средства 502 для выполнения наложения шва, если траектория, по которой движется рука робота или присоединенный к ней игольный инструмент, указывает, что было выполнено наложение шва. Паттерны, указывающие наступление события, могут быть предварительно определены или могут быть выучены на основе ранее выполненных задач.

[0061] В некоторых случаях, в ответ на обнаружение на основе данных состояния наступления события в ходе выполнения задачи (например, хирургической операции), детектор 504 событий может быть выполнен с возможностью генерирования вывода, указывающего, что событие было обнаружено, тип события, время события и необязательно продолжительность события, и его доставки в средство 506 дополнения.

[0062] Средство 506 дополнения выполнено с возможностью приема эндоскопического видеоизображения, захваченного эндоскопом 516 в ходе выполнения задачи. В некоторых случаях эндоскопическое видеоизображение может быть захвачено эндоскопом 516, присоединенным к и управляемым одной из рук робота хирургического роботизированного средства 502. Однако в других случаях эндоскопическое видеоизображение может быть захвачено эндоскопом, управляемым вручную. Например, пользователь может иметь возможность извлечения эндоскопа, присоединенного к одной из рук робота, и ручного управления движением и действиями эндоскопа. В некоторых случаях, если пользователь извлекает эндоскоп из руки робота и управляет эндоскопом вручную, хирургическое роботизированное средство может больше не иметь возможности точного отслеживания положения и/или движения эндоскопа. Как следствие, хирургическое роботизированное средство может быть выполнено с возможностью ограничения отклика на управляющие входные сигналы при возникновении такой ситуации.

[0063] Средство 506 дополнения выполнено с возможностью приема эндоскопического видеоизображения при помощи любых подходящих средств. Например, в некоторых случаях сам эндоскоп 516 может быть выполнен с возможностью доставки эндоскопического видеоизображения в средство 506 дополнения при помощи беспроводного или проводного соединения 512 связи, такого как, без ограничения, соединение Ethernet, соединение Wi-Fi®, соединение Bluetooth®, соединение ближней бесконтактной связи (NFC) и т.п. В этих примерах все или часть эндоскопического видеоизображения может доставляться в средство 506 дополнения в реальном времени (или по существу в реальном времени) в ходе выполнения задачи (например, хирургической операции). В других случаях эндоскопическое видеоизображение может сохраняться в устройстве 514 хранения данных (например, в запоминающем устройстве), а затем доставляться в средство 506 дополнения через соединение 512 связи или при помощи любых других подходящих средств. Например, эндоскопическое видеоизображение может храниться в местоположении выполнения задачи (например, в операционной) на переносном носителе данных, таком как, но без ограничения, карта памяти USB, который физически переносится в местоположение средства 506 дополнения, где он соединяется с средством 506 дополнения так, что средство 506 дополнения может считывать эндоскопическое видеоизображение из переносного носителя данных.

[0064] Средство 506 дополнения выполнено с возможностью, в ответ на определение детектором 504 событий на основе данных о состоянии наступления события в ходе выполнения задачи, добавления в эндоскопическое видеоизображение информации (например, метки), идентифицирующей наступление события и время наступления события и необязательно идентифицирующей продолжительность события, с целью генерирования дополненного эндоскопического видеоизображения. В некоторых случаях информация или метка может быть не видна пользователю, когда дополненное эндоскопическое видеоизображение впоследствии воспроизводится или просматривается в видеопроигрывателе. Например, в некоторых случаях информация или метка может быть выполнена с возможностью обнаружения специальным средством или программным обеспечением. Специальное средство или программное обеспечение могут быть выполнены с возможностью определения идентифицированных событий на основе информации или меток и представления пользователю списка идентифицированных событий. Если пользователь выбирает одно из идентифицированных событий, средство выполнена с возможностью представления или вывода части эндоскопического видеоизображения, относящейся к идентифицированному событию.

[0065] В других случаях информация или метка может быть видна пользователю, когда дополненное эндоскопическое видеоизображение впоследствии воспроизводится или просматривается в видеопроигрывателе. В некоторых случаях метка может принимать форму закладки, позволяющей пользователю легко переходить к определенному моменту эндоскопического видеоизображения при воспроизведении дополнительного эндоскопического видеоизображения мультимедийным проигрывателем. Например, при загрузке пользователем дополненного эндоскопического видеоизображения в мультимедийный проигрыватель пользователю может быть представлен список закладок в видеоизображении, и пользователь может перемещаться непосредственно к одному из моментов или отрезков, идентифицируемых закладкой, путем выбора закладки. В некоторых случаях средство 506 дополнения может быть выполнено с возможностью автоматической группировки меток и/или закладок на основе, например, типа события и/или каких-либо других критериев. В некоторых случаях средство 506 дополнения также может быть выполнено с возможностью автоматической идентификации дополнительных событий на основе событий, идентифицированных при помощи данных о состоянии, и дополнения эндоскопического видеоизображения информацией/меткой, идентифицирующей каждое дополнительное событие. В некоторых случаях информация (например, метка), относящаяся к конкретному событию, может быть включена в метаданные, образующие часть эндоскопического видеоизображения или связанные с ним.

[0066] Устройство 500 дополнения может являться удаленной от хирургического роботизированного средства 502. Например, хирургическое роботизированное средство 502 может быть расположено в операционной, а устройство 500 дополнения может находиться в другом помещении в больнице или лечебном центре.

[0067] Ниже сделана отсылка к фиг. 6, на которой изображено хирургическое роботизированное средство 502. В данном примере хирургическое роботизированное средство 502 содержит два хирургических робота 602 и 604, управляемых блоком 606 управления. Блок 606 управления принимает входные данные 608 из пульта 610 оператора (как, например, но без ограничения, пульта 200 оператора, представленного на фиг. 2), включая входные данные из первого и второго органов 612, 614 ручного управления. Блок 606 управления выполнен с возможностью приема других входных данных из пульта 610 оператора, таких как, например, входные данные от ножной педали (педалей), входные данные распознавания голоса, входные данные распознавания жестов, входные данные распознавания глаза и т. д. Блок 606 управления также принимает входные данные 616 от хирургических роботов 602, 604. Эти входные данные включают данные датчиков от датчиков положения и датчиков крутящего момента, расположенных на сочленениях рук робота. Блок 606 управления выполнен с возможностью приема других входных данных 616 от каждого робота, таких как тактильная обратная связь, данные от хирургических инструментов или о хирургических инструментах. В ответ на входные данные, принятые от роботов 602, 604 и пульта 610 оператора, блок 606 управления управляет роботами 602, 604. Блок 606 управления содержит один или более процессоров 618 и запоминающее устройство 620. В запоминающем устройстве 620 постоянным образом хранится программный код, который может исполняться одним или более процессорами 618 для управления приводными механизмами.

[0068] Хотя хирургическое роботизированное средство 502, представленное на фиг. 6, содержит два хирургических робота, специалистам в данной области техники будет очевидно, что способы и технические решения, описанные в настоящем документе, в равной мере применимы к хирургическим роботизированным средствам, содержащим только одного хирургического робота, и хирургическим роботизированным средствам, содержащим более двух хирургических роботов.

[0069] Ниже сделана отсылка к фиг. 7, на которой изображена примерная реализация хирургического робота 700. Один или более из хирургических роботов 602, 604, представленных на фиг. 6, могут быть реализованы как хирургический робот 700, представленный на фиг. 7. Хирургический робот 700 содержит руку 702, проходящую от основания 704, закрепленного на месте при выполнении задачи (например, хирургической процедуры). В некоторых случаях основание 704 может быть установлено на шасси. Шасси может представлять собой тележку, например прикроватную тележку, для установки робота на высоте койки. Альтернативно, шасси может представлять собой устройство, установленное на потолке, или устройство, установленное на койке.

[0070] Рука 702 проходит от основания 704 робота до места 706 присоединения хирургического инструмента 708. Рука является гибкой. Она является шарнирной посредством нескольких гибких сочленений 710 вдоль ее длины. Между сочленениями находятся жесткие элементы 712 руки. Рука, представленная на фиг. 7, содержит семь сочленений. Сочленения включают один или более шарниров вращения (имеющих ось вращения вдоль продольного направления элементов руки по обе стороны от шарнира), одно или более сочленений горизонтальной осью (имеющих ось вращения, поперечную продольному направлению предыдущего элемента руки), одно или более сочленений вертикальной осью (также имеющих ось вращения, поперечную продольному направлению предыдущего элемента руки, а также поперечную оси вращения совмещенного сочленения горизонтальной осью). Однако рука может быть сочленена иначе. Например, рука может содержать большее или меньшее количество сочленений. Рука может содержать сочленения, допускающее движение, отличное от вращения между соответствующими частями сочленения, например, телескопическое сочленение. Робот содержит набор приводных механизмов 714, при этом каждый приводной механизм 714 приводит в движение одно или более из сочленений 710.

[0071] Место 706 присоединения обеспечивает возможность разъемного присоединения хирургического инструмента 708 к дальнему концу руки. Хирургический инструмент 708 содержит линейную жесткую ось и рабочий наконечник на дальнем конце оси. Рабочий наконечник содержит рабочий орган для участия в медицинской процедуре. Хирургический инструмент может быть выполнен так, что он проходит линейно параллельно оси вращения конечного сочленения руки. Например, хирургический инструмент может проходить по оси, совпадающей с осью вращения конечного сочленения руки. Хирургический инструмент 708 может представлять собой, например, режущее, захватывающее, прижигающее устройство или устройство формирования изображений (например, эндоскоп).

[0072] Рука робота содержит ряд датчиков 716, 718. Эти датчики содержат для каждого сочленения датчик 716 положения для регистрации положения сочленения, и датчик 718 крутящего момента для регистрации крутящего момента, приложенного к оси вращения сочленения. Один или оба датчика положения и крутящего момента для сочленения могут быть встроены в двигатель этого сочленения. Выходные данные датчиков передаются в блок 606 управления, где они образуют входные данные для одного или более процессоров 618.

[0073] Ниже сделана отсылка к фиг. 8, на которой изображен примерный способ 800 автоматического дополнения эндоскопического видеоизображения, захваченного в ходе выполнения задачи (например, хирургической операции), которая по меньшей мере частично выполняется хирургического роботизированного средства 502, на основе данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи. В частности в способе 800 события, наступившие в ходе выполнения задачи, обнаруживают на основе данных о состоянии, и эндоскопическое видеоизображение дополняют информацией (например, одной или более метками), идентифицирующей обнаруженные события и время, в которое эти события наступили относительно эндоскопического видеоизображения.

[0074] Способ 800 начинается с блока 802, в котором устройство 500 дополнения (например, средство 506 дополнения) принимает эндоскопическое видеоизображение, захваченное эндоскопом в ходе выполнения задачи (например, хирургической операции), по меньшей мере частично выполняемой хирургическим роботизированным средством 502. Как описано выше, в некоторых случаях эндоскопическое видеоизображение может быть захвачено эндоскопом, присоединенным к и управляемым одной из рук робота хирургического роботизированного средства 502. В других случаях эндоскопическое видеоизображение может быть захвачено эндоскопом, приводимым в действие вручную. Как описано выше, эндоскопическое видеоизображение может быть принято устройством 500 дополнения (например, средством 506 дополнения) при помощи любых подходящих средств. Например, эндоскопическое видеоизображение может быть непосредственно доставлено в устройство 500 дополнения (например, в средство 506 дополнения) эндоскопа при помощи проводного или беспроводного соединения связи (например, соединения Ethernet, соединения Wi-Fi®, соединения Bluetooth®, соединения NFC и т.д.). В других случаях эндоскопическое видеоизображение может сохраняться в запоминающем устройстве или другом устройстве и доставляться в устройство 500 дополнения посредством другого устройства.

[0075] В блоке 804 устройство 500 дополнения (например, детектор 504 событий) принимает данные о состоянии, описывающие состояние хирургического роботизированного средства 502 в ходе выполнения задачи (например, хирургической операции). Данные о состоянии могут включать любую информацию, описывающую хирургическое роботизированное средство 502 в ходе выполнения задачи (например, хирургической операции) или описывающую окружающие условия, в которых действовало хирургическое роботизированное средство 502. Как описано выше, данные о состоянии являются синхронизированными по времени с эндоскопическим видеоизображением так, что события, обнаруженные на основе данных о состоянии, можно скоррелировать с моментом или промежутком времени в эндоскопическом видеоизображении.

[0076] Все или часть данных о состоянии могут генерироваться самим хирургическим роботизированным средством 502 (например, хирургическое роботизированное средство выполнено с возможностью генерирования данных, относящихся к положению и/или движению руки (рук) хирургического робота, и/или присоединенных к ней инструментов). В некоторых случаях часть данных о состоянии может генерироваться одним или более внешними источниками. Данные о состоянии могут содержать один или более потоков данных, каждый из которых отдельно синхронизирован по времени с эндоскопическим видеоизображением. Термин «поток данных» используется в настоящем документе как означающий набор данных, которые были сгенерированы одним источником и описывают один элемент хирургического роботизированного средства 502. Например, как описано выше, каждое сочленение хирургического роботизированного средства 502 может содержать датчик 716 положения для регистрации положения сочленения и датчик 718 крутящего момента для регистрации крутящего момента вокруг оси вращения сочленения. Потоком данных можно считать данные, генерируемые каждым датчиком 716 положения. Аналогично, потоком данных можно считать данные, генерируемые каждым датчиком 718 крутящего момента.

[0077] Данные о состоянии могут содержать информацию или данные, описывающие текущее состояние руки (рук) робота хирургического роботизированного средства, как, например, но без ограничения, информацию о положении и/или крутящем моменте, указывающую положение и/или движение руки (рук) робота или ее сочленений. В частности данные о состоянии могут содержать данные о положении и/или крутящем моменте, сгенерированные датчиками 716, 718 положения и/или крутящего момента. Например, каждый датчик 716 положения может сообщать угол стыковки сочленения, которое он регистрирует, и/или каждый датчик крутящего момента может сообщать крутящий момент, действующий на сочленение, которое он регистрирует. Специалистам в данной области техники будет очевидно, что эти датчики представляют собой лишь пример, и что хирургический робот (роботы) может содержать другие датчики, предоставляющие информацию в отношении состояния руки (рук) робота.

[0078] Данные о состоянии могут также или альтернативно содержать данные или информацию, описывающую состояние инструментов, присоединенных к руке (рукам) робота. Например, данные о состоянии могут содержать информацию, идентифицирующую, присоединен ли инструмент к руке (рукам) робота, и, если инструмент присоединен, тип инструмента, присоединенного к руке (рукам) робота. В частности хирургическое роботизированное средство 502 может содержать средства обнаружения присоединения инструмента к руке (например, хирургическое роботизированное средство может содержать такие средства вхождения в контакт с инструментом, как средства, описанные в опубликованной патентной заявке заявителя на патент Великобритании №2552855 A, которая включена в настоящий документ посредством ссылки), и средства автоматического обнаружения типа инструмента (например, каждый инструмент может содержать RFID или другой компонент, выполненный с возможностью автоматического предоставления хирургическому роботизированному средству информации о его идентификаторе при присоединении к руке робота), и эта информация может доставляться в детектор 504 событий как данные о состоянии. Данные о состоянии могут также или альтернативно содержать такую информацию, как, но без ограничения, информация о положении и/или крутящем моменте, указывающая положение и/или движение инструмента (инструментов), присоединенного к руке (рукам) робота. Специалистам в данной области техники будет очевидно, что эта информация представляет собой лишь пример, и что хирургический робот или сами инструменты могут содержать другие датчики, предоставляющие информацию о состоянии инструментов.

[0079] Если по меньшей мере один из инструментов, присоединенных к руке (рукам) робота, представляет собой инструмент под напряжением, такой как, но без ограничения, инструмент для электрокаутеризации, электрохирургический инструмент, находящийся под напряжением за счет электрического тока для выполнения хирургической функции (например, прижигания, разрезания и т.д.), то данные о состоянии могут содержать информацию о состоянии инструментов под напряжением, как, например, но без ограничения, о том, находится ли инструмент под напряжением в настоящий момент, и, если находится, о форме кривой электрического тока, используемой для подачи напряжения на инструмент.

[0080] Если по меньшей мере один из инструментов, присоединенных к руке (рукам) робота, представляет собой эндоскоп, данные о состоянии могут содержать информацию, указывающую положение, движение, состояние и/или поле обзора эндоскопа.

[0081] Данные о состоянии могут также или альтернативно содержать данные или информацию, описывающую состояние устройств ввода оператора (например, органов 612, 614 ручного управления), используемых для управления работой рук робота и инструментов. Как описано выше, устройства ввода оператора могут, например, представлять собой механические устройства ввода, приводимые в действие вручную, такие как органы ручного управления или рычаги управления. В этих случаях данные о состоянии могут содержать такие данные, как, но без ограничения, данные о положении и/или крутящем моменте, указывающие положение и/или движение устройств ввода (например, органов 612, 614 ручного управления). Например, одно или более устройств ввода могут содержать датчик положения, выполненный с возможностью регистрации положения устройства ввода, и/или датчик крутящего момента, выполненный с возможностью регистрации крутящего момента или усилия, приложенного к устройству ввода. В некоторых случаях орган ручного управления может быть установлен на пантографических механизмах при помощи кардановых подвесов. В этих случаях эти механизмы и/или кардановы подвесы могут содержать датчики положения и/или датчики крутящего момента, измеряющие положения и крутящий момент сочленений соединения и/или карданова подвеса. Результаты этих измерений затем могут доставляться в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии.

[0082] В некоторых случаях, когда устройства ввода представляют собой органы ручного управления, каждый орган ручного управления может содержать один или более датчиков контакта с рукой и т.п., которые выполнены с возможностью обнаружения нахождения руки пользователя в контакте с органом ручного управления или захватывания органа ручного управления, что указывает, используется ли этот орган ручного управления. В этих случаях информация об обнаружении контакта с рукой, генерируемая датчиком (датчиками) контакта с рукой, может быть доставлена в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии. В некоторых случаях, когда устройства ввода представляют собой органы ручного управления, каждый орган ручного управления может также или альтернативно содержать один или более датчиков захватывания, выполненных с возможностью обнаружения усилия захватывания, приложенного к органу ручного управления (т.е. того, насколько сильно оператор захватывает орган ручного управления). В этих случаях информация об усилии захватывания, генерируемая датчиком (датчиками) усилия захватывания, может быть доставлена в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии. В некоторых случаях датчик (датчики) контакта с рукой и датчики захватывания могут представлять собой один датчик или могут быть объединены иначе. В некоторых случаях оператор может быть оснащен датчиками движения на его/ее руках, которые обнаруживают движение рук оператора. В этих случаях данные о движении рук, генерируемые датчиком движения руки, могут быть доставлены в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии.

[0083] Данные о состоянии могут также или альтернативно содержать информацию о режиме работы хирургического роботизированного средства 502. Например, в некоторых случаях хирургическое роботизированное средство 502 может быть выполнено с возможностью действия в одном из множества режимов, таких как, но без ограничения, активный режим, в котором оператор (например, хирург) управляет одной или более руками робота с целью выполнения задачи (например, хирургической операции); режим выбора, в котором оператор (например, хирург) выбирает или включает руку (руки) робота, которой он будет управлять с пульта 610 оператора; и режим смены инструмента, в котором удаляется, присоединяется и/или изменяется по меньшей мере один из инструментов, присоединенных к руке робота. Также может иметься несколько типов активного режима. Например, в некоторых случаях может иметься активный режим эндоскопа, в котором оператор управляет эндоскопом, присоединенным к руке робота, и активный режим инструмента, в котором оператор управляет одним или более инструментами, присоединенными к одной или более рукам робота. В этих случаях данные о состоянии могут содержать информацию о текущем режиме работы хирургического роботизированного средства 502. Специалистам в данной области техники будет очевидно, что эти режимы являются лишь примерными режимами работы хирургического роботизированного средства, и что могут иметься дополнительные или другие режимы работы хирургического роботизированного средства 502.

[0084] Если выполняемой задачей является хирургическая процедура, выполняемая в отношении пациента, данные о состоянии могут также или альтернативно содержать данные, относящиеся к пациенту. Например, данные о состоянии могут содержать информацию о здоровье пациента или данные, описывающие состояние здоровья пациента в ходе выполнения задачи. Например, данные о состоянии могут содержать информацию, описывающую основные показатели состояния организма (например, температуру тела, частоту пульса, частоту дыхания) или другие показатели здоровья (например, кровяное давление, насыщение кислородом, глюкоза/сахар крови) пациента в ходе выполнения задачи (например, хирургической операции). Как правило, в ходе хирургической операции основные показатели состояния организма и другие показатели здоровья пациента измеряются специальным медицинским измерительным оборудованием, таким как пульсометр, пульсоксиметр, глюкометр непрерывного действия (CGM) и т.п. В этих случаях медицинское измерительное оборудование может быть выполнено с возможностью отправки информации об основных показателях состояния организма или другой информации о показателях здоровья пациента в устройство 500 дополнения (например, детектор 504 событий), например, через сеть связи (например, сеть проводной или беспроводной связи).

[0085] Однако в других случаях информация об основных показателях состояния организма и/или других показателях здоровья пациента может быть получена другим способом. Например, в некоторых случаях операционная, в которой выполняется хирургическая операция, может быть оборудована устройством записи видеоизображения и/или звука, и данные об основных показателях состояния организма и/или другие медицинские данные пациента могут быть получены из записи видеоизображения и/или звука. Например, если медицинское измерительное оборудование генерирует слышимое представление измерения (например, набор слышимых тонов или прерывистых звуковых сигналов), оценка измерения может быть получена путем анализа звука, записанного устройством записи видеоизображения и/или звука. В другом примере, если медицинское измерительное оборудование видимым образом отображает текущий или предыдущий результат измерения, результат измерения может быть получен путем анализа видеоизображения, записанного устройством записи видеоизображения (например, результат измерения может быть считан из медицинского измерительного оборудования). В других случаях один или более основных показателей состояния организма пациента могут быть получены из эндоскопического видеоизображения. Например, частоту пульса пациента или уровень насыщения крови пациента кислородом можно идентифицировать из эндоскопического видеоизображения при помощи методик анализа видеоизображений. В частности уровень насыщения крови пациента кислородом может быть определен на основе цвета крови пациента. Определению основных показателей состояния организма или других показателей здоровья пациента из эндоскопического видеоизображения может способствовать освещение соответствующей части организма пациента.

[0086] Данные о состоянии могут также или альтернативно содержать другую информацию, относящуюся к пациенту, как, например, но без ограничения, демографическую информацию, такую как возраст и вес, а также другую медицинскую информацию, такую как предыдущие снимки (например, рентгеновские, MRI), предыдущие результаты, историю болезни, историю диагноза и/или план течения.

[0087] В некоторых случаях данные о состоянии также могут содержать информацию о здоровье хирурга или данные, описывающие здоровье оператора (например, хирурга), управляющего хирургическим роботизированным средством. Например, данные о состоянии могут содержать информацию или данные, описывающие один или более основных сигналов состояния организма (например, температуру тела, частоту пульса, частоту дыхания) и/или других показателей здоровья (например, кровяное давление) оператора (например, хирурга) в ходе выполнения задачи (например, хирургической операции). Например, в некоторых случаях, когда устройства ввода представляют собой органы ручного управления, эти органы ручного управления могут содержать датчики, измеряющие частоту сердечных сокращений оператора (например, хирурга), дрожь движений оператора (например, хирурга) и/или скорость потоотделения оператора (например, хирурга) и предоставляющие информацию или данные, связанные с измеренной частотой сердечных сокращений, дрожью и/или скоростью потоотделения, в детектор 504 событий как данные о состоянии. В других случаях могут иметься внешние медицинские устройства и т. п., выполненные с возможностью измерения основных показателей состояния организма или других показателей здоровья оператора (например, хирурга) в ходе выполнения задачи. Как описано выше в отношении основных показателей состояния организма и других показателей здоровья пациента, медицинские устройства, измеряющие основные показатели состояния организма или другие показатели здоровья оператора (например, хирурга), могут быть выполнены с возможностью доставки данных об измеренных показателях в детектор 504 событий, например, через сеть связи, или оценка измеренных показателей может быть получена другими средствами (например, путем анализа видеоизображения и/или звука операционной).

[0088] Как описано выше, в некоторых случаях помещение (например, операционная), в которой выполняется задача, может быть оснащено оборудованием для записи звука и/или видеоизображения с целью записи звука и/или видеоизображения помещения во время выполнения задачи. В этих случаях данные о состоянии могут также или альтернативно содержать видео- и аудиоданные, захваченные оборудованием для записи звука и/или видеоизображения.

[0089] В некоторых случаях данные о состоянии могут также или альтернативно содержать информацию о выполняемой задаче. Например, данные о состоянии могут содержать информацию о задаче (например, хирургической процедуре), по меньшей мере частично выполняемой хирургическим роботизированным средством 502. В некоторых случаях, если задача включает некоторое количество этапов, данные о состоянии могут содержать информацию, указывающую этапы задачи, которые были выполнены и время их выполнения. Например, оператор (например, хирург) хирургического роботизированного средства 502 может иметь возможность указывать в ходе выполнения задачи этап или фазу задачи, которую он/она выполняет в настоящий момент, и эта информация может быть доставлена в устройство 500 дополнения (например, детектор 504 событий) как данные о состоянии. Например, как представлено на фиг. 9, пульт 610 оператора может содержать дисплей или быть связан с дисплеем 902, отображающим эндоскопическое видеоизображение 904, а также предоставляющим оператору список этапов задачи 906. Перечисленные этапы могут быть выбраны автоматически на основе задачи или введены оператором (например, хирургом) вручную. Например, оператор (например, хирург) может иметь возможность ручного ввода этапов или фаз задачи, исполнения которой ожидает оператор. Оператор (например, хирург) может иметь возможность выбора или иного указания того, какие из перечисленных этапов или фаз выполняются в настоящий момент, с использованием устройств ввода (например, органов 612, 614 ручного управления), например, путем нажатия кнопки на органе ручного управления или другими средствами (например, устно или при помощи дисплея, если дисплей представляет собой сенсорный экран). Любой выбор, сделанный оператором (например, хирургом), может затем доставляться в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии.

[0090] В некоторых случаях данные о состоянии могут также или альтернативно содержать информацию о пользователях хирургического роботизированного средства 502 (например, об операторе (например, хирурге), управляющем хирургическим роботом (роботами) и/или других членах рабочей группы (например, хирургической бригады)). Например, в некоторых случаях, перед началом выполнения задачи хирургического роботизированного средства 502 и/или детектору 504 событий может быть предоставлена информация, указывающая пользователей, которые будут выполнять эту задачу. В других случаях пользователи (например, хирургическая бригада), выполняющие задачу, могут быть снабжены устройством (например, устройством RFID, мобильным телефоном, планшетом и т.д.), выполненным с возможностью автоматической передачи в хирургическое роботизированное средство 502 и/или детектор 504 событий информации, идентифицирующей пользователей, когда они находятся вблизи хирургического роботизированного средства. Пример такого средства описан в одновременно находящейся на рассмотрении заявке того же заявителя на патент Великобритании, озаглавленной «DEVICE INTEROPERATION», поданной одновременно с текущей заявкой и включенной в настоящий документ посредством ссылки.

[0091] В некоторых случаях оператор (например, хирург), управляющий хирургическим роботизированным средством, или другой член рабочей группы (например, хирургической бригады) может иметь возможность вручную указывать, что событие наступило. В частности в некоторых случаях оператору (например, хирургу) может быть представлен список предварительно определенных событий, которые могут наступить в ходе выполнения задачи, и оператор (например, хирург) может иметь возможность указывать, что одно из предварительно определенных событий наступило, путем выбора одного из предварительно определенных событий. Какой-либо выбор, сделанный оператором (например, хирургом), может затем доставляться в устройство 500 дополнения (например, в детектор 504 событий) как часть данных о состоянии. Например, как представлено на фиг. 9, пульт 610 оператора может содержать дисплей или может быть связан с дисплеем 902, на котором эндоскопическое видеоизображение 904 представляется оператору (например, хирургу). Дисплей 902 также выполнен с возможностью отображения одного или более предварительно определенных событий 908, которые могут наступить в ходе выполнения задачи, и оператор (например, хирург) может указывать, что одно из предварительно определенных событий наступило, путем выбора одного из перечисленных событий. Предварительно определенные события могут быть выбраны автоматически на основе типа события, конкретного оператора и/или других критериев; или оператор или другой пользователь может иметь возможность ручного ввода набора событий, которые могут наступить в ходе выполнения задачи. В некоторых случаях устройство 500 дополнения или другое устройство на вычислительной основе может быть выполнено с возможностью автоматического генерирования на основе данных о состоянии для ранее выполненных задач, например, событий с высокой вероятностью или важных событий, и эти события с высокой вероятностью или важные события представляются оператору (например, хирургу) как события, которые могут быть вручную введены оператором (например, хирургом) или другим членом рабочей группы.

[0092] Оператор (например, хирург) может иметь возможность выбора одного из предварительно определенных событий с использованием устройств ввода (например, органов ручного управления), например, путем нажатия кнопки на одном из органов ручного управления или другими средствами (например, устно или путем касания дисплея 902, если дисплей 902 представляет собой сенсорный экран). В некоторых случаях другой член рабочей группы (например, хирургической бригады) может иметь устройство, такое как, но без ограничения, компьютер или планшет, на котором ему представляется список предварительно определенных событий, и он может указывать, что одно из предварительно определенных событий наступило, путем выбора одного из предварительно определенных событий. Любой результат выбора затем может доставляться в устройство 500 дополнения (например, в детектор 504 событий) как данные о состоянии. Событие, которое может быть вручную идентифицировано оператором или другим членом рабочей группы, может по-прежнему автоматически обнаруживаться устройством дополнения на основе других данных о состоянии.

[0093] Со ссылкой на фиг. 8, в блоке 806 устройство 500 дополнения (например, детектор 504 событий) анализирует данные о состоянии с целью идентификации событий, наступивших в ходе выполнения задачи (например, хирургической операции). Термин «событие» используется в настоящем документе как означающий наступление идентифицируемого происшествия в ходе выполнения задачи. События могут включать, но без ограничения, события инструментов; события столкновений; события задачи; события пациента; события оператора (например, хирурга); события эффективности и/или аварийные события. Ниже описаны примеры событий каждого из этих типов.

[0094] Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью идентификации события на основе данных о состоянии путем идентификации паттерна в данных о состоянии. Одно или более событий можно идентифицировать путем идентификации паттерна в одном потоке данных о состоянии или путем идентификации паттернов во множестве потоков данных о состоянии. Устройство 500 дополнения обычно предварительно выполнено содержащим паттерн (паттерны), идентифицирующий наступление события, и то, какое конкретно событие идентифицирует данный паттерн. Например, паттерн (паттерны) может храниться в запоминающем устройстве Устройство 500 дополнения. События и/или конкретный паттерн (паттерны), указывающий наступление события, могут быть определены вручную или могут быть выучены на основе данных о состоянии из ранее выполненных задач. Например, в некоторых случаях устройство 500 дополнения или другое устройство на вычислительной основе может быть выполнено с возможностью анализа данных о состоянии из ранее выполненных задач, которые были вручную дополнены информацией о событиях с целью идентификации общих паттернов в данных о состоянии, предшествующих идентифицируемым событиям.

[0095] В некоторых вариантах осуществления устройство 500 дополнения (например, детектор 504 событий) может также или альтернативно быть выполнено с возможностью обнаружения на основе данных о состоянии событий инструментов. Событиями инструментов являются те события, которые связаны с инструментами, применяемыми в (например, присоединенными к) хирургическому роботизированному средству 502 в ходе выполнения задачи. Задача хирургического робота (например, хирургическая операция) часто требует множества различных хирургических инструментов. Множество инструментов могут использоваться одновременно (например, может иметься множество рук робота, к которым присоединены и под управлением которых находятся различные инструменты), и/или множество инструментов могут использоваться последовательно (например, первый инструмент может быть присоединен к руке робота для выполнения конкретной функции, затем первый инструмент может быть удален и к данной руке робота присоединен второй инструмент для выполнения другой функции). Примерный набор инструментов, которые могут использоваться в ходе выполнения задачи хирургическим роботом, могут включать, но без ограничения, ножницы, зажимы различных форм и геометрий, одно- и двухполюсные электрохирургические инструменты, другие инструменты, приводимые в действие путем снабжения энергией (например, лазерные или ультразвуковые инструменты), сшивающий аппарат и лигатор. События инструментов могут включать, но без ограничения, изменение инструмента; если по меньшей мере один из инструментов, присоединенных к руке робота в ходе выполнения задачи (например, хирургической операции) представляет собой инструмент под напряжением, изменение состояния инструмента под напряжением; если один из инструментов представляет собой эндоскоп, очистку эндоскопа; если один из инструментов представляет собой эндоскоп, выполнение регулировки баланса белого в отношении средства формирования изображений; если один из инструментов представляет собой эндоскоп, выход величины или частоты движения за пределы некоторого диапазона; и изменение активного инструмента.

[0096] Как описано выше, данные о состоянии могут содержать информацию, описывающую состояние инструментов, присоединенных к руке (рукам) робота. Например, данные о состоянии могут содержать информацию, идентифицирующую присоединение инструмента к каждой руке (каждой из рук), тип инструмента, присоединенного к каждой руке робота, и, если инструмент представляет собой инструмент под напряжением, состояние инструмента под напряжением (например, подано ли напряжение на инструмент, и необязательно форма кривой электрического тока, подаваемого на инструмент под напряжением). В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью обнаружения события изменения инструмента в случае обнаружения отсоединения инструмента от руки робота или присоединения инструмента к руке. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью изменения состояния инструмента под напряжением при обнаружении на основе данных о состоянии изменения состояния инструмента под напряжением от нахождения под напряжением к отсутствию напряжения или наоборот, или при обнаружении изменения формы кривой электрического тока, подаваемого на инструмент под напряжением.

[0097] Как описано выше, данные о состоянии могут содержать информацию о состоянии эндоскопа, как, например, о нахождении эндоскопа в состоянии очистки, или о выполнении оператором регулировки баланса белого в отношении средства формирования изображений. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения наступления события инструмента, если устройство 500 дополнения (например, детектор 504 событий) обнаруживает на основе информации о состоянии эндоскопа, что эндоскоп находится в состоянии очистки, или что в отношении средства формирования изображений выполняется регулировка баланса белого. Если данные о состоянии не содержат информацию о состоянии эндоскопа, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью автоматического обнаружения на основе данных о состоянии нахождения эндоскопа в состоянии очистки или выполнения регулировки баланса белого в отношении средства формирования изображений. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено возможностью обнаружения нахождения эндоскопа в состоянии очистки или выполнения регулировки баланса белого в отношении средства формирования изображений, если устройство 500 дополнения (например, детектор 504 событий): идентифицирует паттерн конкретных усилий в отношении эндоскопа; идентифицирует положение наконечника эндоскопа вне организма пациента; идентифицирует на основе видеоизображения операционной, что эндоскоп был очищен или была выполнена регулировка баланса белого; и/или идентифицирует комбинацию вышеперечисленного.

[0098] Как описано выше, данные о состоянии могут содержать информацию о положении и/или движении эндоскопа. Если эндоскоп присоединен к руке робота и находится под управлением оператора на пульте оператора, информация о положении и/или движении эндоскопа может генерироваться, например, при помощи датчиков положения и/или крутящего момента на руке робота. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения наступления события инструмента при обнаружении на основе информации о положении и/или движении выхода величины (т.е. амплитуды) или частоты движения эндоскопа за пределы некоторого диапазона.

[0099] Как описано выше, в некоторых случаях хирургическое роботизированное средство 502 может содержать множество рук робота, каждая из которых может содержать присоединенный к ней инструмент, и оператор (например, хирург) может иметь возможность выборочно управлять одной или более руками робота и присоединенными к ним инструментами с пульта оператора (например, хирурга). При помощи пульта оператора, оператор может иметь возможность выбора того, какие руки робота и, таким образом, какие инструменты будут находиться под управлением оператора за счет связывания устройств ввода (например, органов ручного управления) с конкретными инструментами. Инструменты, в какой-либо момент времени находящиеся под управлением с пульта оператора, могут называться «активными» инструментами. В этих случаях данные о состоянии могут содержать информацию, указывающую, какие инструменты были активны в какие моменты времени в ходе выполнения задачи (эта информация может называться «информацией об активных инструментах»). В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения наступления события инструмента, если устройство 500 дополнения (например, детектор 503 событий) обнаруживает на основе информации об активных инструментах изменение одного или более активных инструментов. За счет обнаружения изменений активных инструментов и дополнения эндоскопического видеоизображения этой информацией можно включить в эндоскопическое видеоизображение запись активных инструментов в ходе выполнения задачи.

[00100] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий столкновений. События столкновений могут включать, но без ограничения, столкновение между руками робота хирургического роботизированного средства 502, столкновение между инструментами, присоединенными к разным рукам робота хирургического роботизированного средства 502, и столкновение между рукой робота хирургического роботизированного средства 502 и инструментом, присоединенным к другой руке робота хирургического роботизированного средства 502.

[00101] Как описано выше, в некоторых случаях данные о состоянии могут содержать данные или информацию, указывающую положение и/или движение руки (рук) робота и/или присоединенных к ней инструментов. В этих случаях устройство 500 дополнения (например, детектор 504 событий), например, может быть выполнено с возможностью обнаружения наступления события столкновения (т. е. столкновения руки робота или инструмента с другой рукой робота или инструментом) на основе данных или информации, указывающей положение и/или движение рук робота и/или инструментов. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения возникновения столкновения между руками, между инструментами или между рукой и инструментом, за счет, например, (i) определения или оценки положения рук и/или инструментов на основе данных положения и/или движения и определения того, что положения одного или более инструментов и/или одной или более рук являются одинаковыми или по существу одинаковыми; или (ii) определения на основе информации о положении и/или движении (например, на основе данных крутящих моментов), что на двух из рук и/или инструментов обнаружены равные и противоположно направленные усилия, как описано в заявке заявителя на патент Великобритании №1810754.0, которая включена в настоящий документ посредством ссылки.

[00102] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий задачи. События задачи могут включать, например, изменение этапа выполняемой задачи. Например, задача (например, хирургическая операция) может быть связана с предварительно определенной последовательностью этапов, все или часть которых могут выполняться в ходе выполнения задачи, и устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения наступления события, если она обнаруживает на основе данных о состоянии изменение этапа выполняемой задачи. Автоматическая идентификация этапов выполняемых задач и дополнение эндоскопического видеоизображения этой информацией могут обеспечивать возможность автоматического сегментирования эндоскопического видеоизображения на основе этапов задачи. Это может позволять пользователю легко идентифицировать части эндоскопического видеоизображения, относящиеся к конкретным этапам задачи.

[00103] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, в явном виде идентифицирующую, какие этапы задач выполнялись, и в какое время (что может называться в настоящем документе «информацией, идентифицирующей этапы»). Например, как описано выше, оператор (например, хирург) или другой пользователь (например, другой член операционной бригады) может иметь возможность вручную указывать в ходе выполнения задачи, какие этапы задачи выполняются. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью идентификации изменения этапа задачи на основе информации, идентифицирующей этапы. Если информация, в явном виде идентифицирующая этапы задачи, не принята как часть данных о состоянии, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью динамического обнаружения этапов задачи на основе других данных о состоянии. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения этапов задачи на основе обнаруженных в данных о состоянии паттернов, совпадающих с паттернами в данных о состоянии для ранее выполненных задач. В частности устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может быть выполнено с возможностью анализа данных о состоянии, связанных с ранее выполненными задачами того же типа, что и текущая задача (например, данных о состоянии, связанных с такой же хирургической процедурой или хирургической процедурой того же типа); идентификации общего набора этапов в данной задаче на основе анализа; и генерирования карты, связывающей идентифицированные этапы. В некоторых случаях анализ может включать по меньшей мере анализ эндоскопического видеоизображения.

[00104] В других случаях устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может снабжаться данными о состоянии для одной или более ранее выполненных задач, которые были вручную разделены на сегменты, связанные с этапами задачи, и устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации особенностей или признаков данных о состоянии, связанных с каждым этапом. Например, каждый этап может отличаться, например, одним или более из следующих признаков: тип (типы) инструментов, движения рук робота и/или движения органов ручного управления. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может быть выполнено с возможностью приема данных о состоянии для ранее выполненной задачи, в которых сегмент данных о состоянии, соответствующий этапу наложения шва, идентифицирован как таковой. Затем устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью анализа части данных о состоянии, идентифицированных как соответствующие этапу наложения шва, и идентификации таких признаков, как присоединение иглодержательного инструмента к двум из рук робота; выполнение оператором повторяющихся криволинейных движений с небольшой амплитудой при помощи органов ручного управления (и, таким образом, рабочих органов); и высокие усилия, прикладываемые к рабочему органу и зажимным приспособлениям рабочего органа. Особенности и/или признаки этапа можно затем использовать для идентификации этого этапа на основе данных о состоянии в последующих задачах. В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе может быть выполнено с возможностью генерирования на основе одного набора данных о состоянии (т.е. данных о состоянии, относящихся к одной ранее выполненной задаче) особенностей или признаков, в достаточной мере описывающих этап задачи так, что его можно идентифицировать в другом наборе данных о состоянии (т.е. в данных о состоянии, относящихся к другой задаче). В других случаях устройству 500 дополнения (например, детектору 504 событий) или другому устройству на вычислительной основе для генерирования особенностей или признаков, в достаточной мере описывающих этап задачи так, чтобы его можно было идентифицировать в другом наборе данных о состоянии, может потребоваться несколько наборов данных о состоянии.

[00105] Примерный набор этапов роботизированной хирургической процедуры, которые могут автоматически обнаруживаться устройством 500 дополнения (например, детектором 504 событий), представлен в таблице 1. Роботизированная хирургическая процедура может включать все или только часть (т. е. подмножество) этих этапов.

Таблица1

Этапы задачи

Введение троакара

Введение инструмента

Отведение органов/ткани в стороны

Диссекция ткани

Прибытие к целевому органу

Изоляция кровоснабжения

Поперечный разрез органа

Закрытие анастомоза/органа

Извлечение образца

Гемостаз

Закрытие/приближение целевого участка

Извлечение инструмента

Удаление троакара/места введения троакара

Закрытие раны

[00106] Во многих случаях каждая задача включает предварительно определенный набор этапов, которые могут выполняться в ходе выполнения задачи, и существует лишь небольшое количество комбинаций этих этапов, которые могут происходить. В этих случаях после обнаружения устройством 500 дополнения (например, детектором 504 событий) определенного этапа обычно имеется весьма ограниченное количество этапов, которые могут происходить после этого этапа. Это может облегчать нагрузку на устройство 500 дополнения (например, на детектор 504 событий) при обнаружении этапов задачи. Это также может обеспечить возможность обнаружения устройством 500 дополнения (например, детектором 504 событий) отклонения от ожидаемого набора этапов (например, когда выполняется этап, не находящийся в списке ожидаемых этапов, или когда этап, находящийся в списке ожидаемых этапов, выполняется вне очереди). Как описано ниже, если устройство 500 дополнения (например, детектор 504 событий) обнаруживает, что было отклонение от ожидаемого набора этапов, то устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью обнаружения аварийного события.

[00107] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий пациента. События пациента могут включать выход одного или более основных показателей состояния организма или одного или более других показателей здоровья пациента за пределы некоторого диапазона; и/или изменение одного или более основных показателей состояния организма и/или других показателей здоровья пациента (например, более чем на определенную величину).

[00108] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию о здоровье пациента или данные, указывающие состояние одного или более основных показателей состояния организма и/или одного или более других показателей здоровья пациента в ходе выполнения задачи. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения события пациента, если информация или данные о здоровье пациента указывают выход одного или более показателей здоровья пациента (например, основных показателей состояния организма) за пределы некоторого диапазона. Это диапазон может варьироваться для различных показателей здоровья (например, могут иметься разные диапазоны для частоты дыхания и частоты сердечных сокращений).

[00109] В некоторых случаях диапазоны могут быть предварительно определенными. В других случаях диапазоны могут быть выучены на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации на основе данных о состоянии для ранее выполненных задач уровня различных показателей здоровья непосредственно перед наступлением отрицательного результата и генерирования диапазонов на основе идентифицированных уровней (например, может быть выбран диапазон, охватывающий низший и высший идентифицированные уровни). Эти диапазоны могут быть определены для всех задач, или для разных задач (т.е. разных хирургических процедур) могут быть определены разные диапазоны. Например, на основе данных о состоянии для ранее выполненных задач можно определить, что частота сердечных сокращений в диапазоне от Х до Y является нормальной для хирургической операции типа А, но не является нормальной для хирургической операции типа В.

[00110] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий оператора (например, хирурга). События оператора (например, хирурга) могут включать, но без ограничения, одно или более из: выхода основных показателей состояния организма и/или других показателей здоровья оператора (например, хирурга) за пределы некоторого диапазона; изменения (например, более чем на определенную величину) одного или более основных показателей состояния организма и/или других показателей здоровья оператора (например, хирурга); изменения (например, более чем на определенную величину) усилия захватывания, прикладываемого оператором (например, хирургом) к одному или более из устройств ввода (например, органов ручного управления); и/или изменения (например, более чем на определенную величину) толкающего усилия, прикладываемого оператором (например, хирургом) к одному или более из устройств ввода (например, органам ручного управления). Например, устройство 500 дополнения (например, детектор событий) может быть выполнено с возможностью обнаружения наступления события оператора, если кровяное давление оператора находится за пределами некоторого диапазона; или если частота сердечных сокращений оператора находится за пределами некоторого диапазона, и прикладываемое оператором усилие захватывания превышает определенное пороговое значение/величину.

[00111] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию о здоровье оператора (например, хирурга) или данные, указывающие состояние одного или более основных показателей состояния организма оператора (например, хирурга) и/или одного или более других показателей здоровья оператора (например, хирурга) в ходе выполнения задачи. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения события оператора, если информация или данные о здоровье оператора указывают выход одного или более показателей здоровья оператора (например, основных показателей состояния организма) за пределы некоторого диапазона или их изменение более чем на определенную величину. Это диапазон и/или определенная величина может варьироваться для разных показателей здоровья (например, могут иметься разные диапазоны для частоты дыхания и частоты сердечных сокращений), операторов и/или задач.

[00112] В некоторых случаях диапазоны и/или определенные величины могут быть выучены на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации на основе данных о состоянии для ранее выполненных задач уровня различных показателей здоровья оператора непосредственно перед наступлением отрицательного события (например, отрицательного события, связанного с оператором или пациентом) и генерирования диапазонов на основе идентифицированных уровней (например, может быть выбран диапазон, охватывающий низший и высший идентифицированные уровни). Эти диапазоны могут быть определены для всех операторов, или для разных операторов могут быть определены разные диапазоны. Например, на основе данных о состоянии для ранее выполненных задач можно определить, что частота сердечных сокращений в диапазоне от Х до Y является нормальной для одного оператора, но не является нормальной для другого оператора.

[00113] Как описано выше, в некоторых случаях данные о состоянии могут включать информацию о захватывании органа ручного управления, которая описывает усилие захватывания, прикладываемое оператором к одному или более органам ручного управления. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения события оператора, если устройство 500 дополнения (например, детектор 504 событий) на основе информации о захватывании обнаруживает изменение усилия захватывания (или изменение более чем на определенную величину).

[00114] Как описано выше, в некоторых случаях орган ручного управления может быть установлен на пантографических механизмах при помощи кардановых подвесов, и данные о состоянии могут содержать данные о положении и/или крутящем моменте, указывающие положение и/или крутящий момент сочленений соединения и/или карданова подвеса. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения толкающего усилия, прикладываемого оператором к одному или более устройствам ввода (например, органам ручного управления), на основе информации о положении и/или крутящем моменте соединения и/или карданова подвеса и обнаружения наступления события оператора при обнаружении устройством 500 дополнения изменения толкающего усилия (или изменения более чем на определенную величину).

[00115] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения событий эффективности. События эффективности представляют собой события, связанные с эффективностью оператора (например, хирурга) при выполнении задачи (или части задачи) и могут включать, но без ограничения, падение эффективности оператора (например, хирурга) ниже допустимого уровня, и/или изменение (или изменение более чем на определенную величину) эффективности оператора (например, хирурга).

[00116] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения падения эффективности оператора (например, хирурга) ниже порогового значения путем сравнения данных о состоянии для данной задачи с данными о состоянии для ранее выполненных задач (например, задач такого же типа). Например, устройство 500 дополнения может иметь доступ к хранилищу данных, в котором хранятся данные для ранее выполненных задач, и в котором эффективность оператора (например, хирурга) оценена или идентифицирована (например, эффективности может быть дана оценка по некоторой балльной шкале, например, но без ограничения, от 1 до 10); и данные о состоянии могут сравниваться с данными о состоянии, хранящимися в хранилище, с целью определения уровня эффективности оператора (например, хирурга) для задачи.

[00117] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью определения уровня эффективности оператора (например, хирурга) для задачи путем сравнения одного или более показателей эффективности оператора (например, хирурга) с показателями эффективности операторов (например, хирургов) для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения уровня эффективности оператора (например определения уровня в баллах от 1 до 10) во множестве моментов времени в ходе выполнения задачи на основе показателей эффективности, и устройство 500 дополнения (например, детектор 504 событий) выполнено с возможностью обнаружения события эффективности, если уровень эффективности меняется или если уровень эффективности выходит за пределы допустимого диапазона. В некоторых случаях показатели эффективности могут включать одно или более из следующего: траектории, по которой движется рука робота или инструмент при выполнении задачи или этапа задачи; плавности движения руки робота и/или инструмента при выполнении задачи или этапа задачи; времени, необходимого для выполнения задачи или этапа задачи; и/или амплитуды или частоты движения руки робота.

[00118] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, описывающую положение и/или движение руки (рук) робота и/или инструмента (инструментов) хирургического роботизированного средства 502. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнена с возможностью определения траектории руки робота и/или инструмента на основе информации, описывающей положение и/или движение руки (рук) и/или инструмента (инструментов). После идентификации траектории движения, устройство 500 дополнения (например, детектор событий) может быть выполнено с возможностью оценки эффективности пользователя путем сравнения траектории движения с «лучшей», или «оптимальной», траекторией для этой задачи или этапа задачи. «Лучшая» траектория может быть определена на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения или другое устройство на вычислительной основе может быть выполнено с возможностью определения «лучшей» траектории на основе данных о состоянии для ранее выполненных задач, в которых траектории была дана оценка. В дополнение ко всем вышеописанным источникам данных о состоянии, данные о состоянии для ранее выполненных задач также могут содержать данные о результате. Как известно специалистам в данной области техники, данные о результате представляют собой информацию о результатах (например, успехе/неудаче) хирургической операции. В некоторых случаях, чем ближе траектория движения к «лучшей», или «оптимальной», траектории, тем лучше эффективность, а чем дальше траектория от «лучшей», или «оптимальной», траектории, тем эффективность хуже.

[00119] Устройство 500 дополнения (например, детектор 504 событий) также может быть выполнено с возможностью измерения плавности траектории на основе того, содержит ли траектория гладкие кривые или неровные края, и устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью оценки эффективности оператора, например, на основе количества гладких кривых и/или количества неровных краев.

[00120] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, в явном виде идентифицирующую задачу и/или выполняемый этап (этапы) задачи. В других случаях устройство 500 дополнения может быть выполнено с возможностью динамической идентификации задачи и/или этапа задачи на основе данных о состоянии. В любом случае устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения времени, необходимого для выполнения задачи или этапа задачи, путем измерения промежутков времени между задачами или между этапами задачи. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью оценки эффективности оператора путем сравнения времени, необходимого для завершения задачи или этапа задачи, со временем (сгенерированным на основе данных о состоянии), которое заняло выполнение такой же задачи или такого же этапа задачи в ходе ранее выполненных задач.

[00121] Как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, описывающую положение и/или движение устройств ввода (например, органов ручного управления). В этих случаях устройство 500 дополнения может быть выполнено с возможностью определения на основе данных о положении и/или движении органов ручного управления амплитуды (например, абсолютного значения) и частоты движения органов ручного управления. Затем устройство 500 дополнения может быть выполнено с возможностью оценки эффективности оператора на основе измеренной амплитуды и частоты движения. В частности большие и/или многочисленные изменения движения могут указывать на неудовлетворительную эффективность, тогда как небольшое движение с низкой частотой может указывать на подходящую эффективность.

[00122] Например, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью преобразования данных о положении и/или движении органа ручного управления из временной области в частотную область (например, при помощи преобразования Фурье) и идентификации паттернов, указывающих наступление события, в частотной области. Например, если устройство 500 дополнения обнаруживает множество низкочастотных составляющих в частотной области, это может указывать на утомление или интоксикацию; тогда как множество высокочастотных составляющих в частотной области может указывать на высокий уровень дрожи или панических движений. В некоторых случаях могут иметься допустимые диапазоны низко- и высокочастотных составляющих, и если любая из них выходит за пределы соответствующего допустимого диапазона, устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения наступления события эффективности.

[00123] В некоторых случаях устройство дополнения может быть выполнено с возможностью определения балльной оценки, или описателя, эффективности одного оператора на основе множества критериев эффективности. В других случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения множества оценок эффективности оператора, каждая из которых основана на отличном критерии эффективности. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью определения наступления события эффективности при падении любого из критериев эффективности ниже допустимого уровня или при изменении любого из критериев эффективности (например, на по меньшей мере определенную величину).

[00124] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть дополнительно или альтернативно выполнено с возможностью обнаружения аварийных событий. Аварийные события представляют собой события, указывающие наступление аварийной ситуации или высокую вероятность ее наступления в ходе выполнения задачи. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения аварийного события, если устройство 500 дополнения обнаруживает, что один или более из людей, присутствующих при выполнении задачи (например, один или более членов хирургической бригады), говорят на повышенных тонах; один или более из людей, присутствующих при выполнении задачи (например, один или более членов хирургической бригады), произносят предупреждающее слово или фразу; произошло внезапное перемещение руки хирургического робота; и/или возникло отклонение или отступление от предварительно определенных этапов задачи.

[00125] Как описано выше, в некоторых случаях данные о состоянии могут содержать видео- и/или аудиозапись из помещения (например, операционной), в котором выполняется задача. В этих случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения аварийного события, если устройство 500 дополнения (например, детектор 504 событий) на основе видео- и/или аудиозаписи обнаруживает, что человек в помещении говорит на повышенных тонах. В частности то, что человек говорит на повышенных тонах, может указывать на наличие трений между людьми в помещении/операционной и/или наличие в помещении/операционной спорного вопроса/проблемы. Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения повышенных тонов с использованием любой известной методики анализа речи.

[00126] Если данные о состоянии содержат видео- и/или аудиозапись, устройство 500 дополнения (например, детектор 504 событий) может быть также или альтернативно выполнено с возможностью обнаружения аварийного события, если устройство 500 дополнения (например, детектор 504 событий) на основе видео- и/или аудиозаписи обнаруживает, что человек в помещении произносит предупреждающее слово или фразу (т. е. слово или фразу, указывающую на возможность наличия проблемы). Устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения предупреждающих слов и/или фраз в видео- и/или аудиозаписи с использованием любой известной методики распознавания или анализа речи. Список предупреждающих слов и/или фраз может быть предварительно загружен в устройство 500 дополнения (например, в детектор 504 событий) перед запуском анализа. В некоторых случаях список предупреждающих слов и/или фраз может быть выучен на основе данных о состоянии для ранее выполненных задач. Например, устройство 500 дополнения (например, детектор 504 событий) или другое устройство на вычислительной основе выполнено с возможностью идентификации на основе данных о состоянии для каждой из множества ранее выполненных задач любых слов и фраз, произносимых в определенном промежутке времени перед отрицательным результатом, и генерирования списка идентифицированных слов и фраз, общих для некоторого количества ранее выполненных задач.

[00127] Специалистам в данной области техники будет очевидно, что данный набор представляет собой примерный набор событий, с возможностью обнаружения которых выполнена устройство 500 дополнения (например, детектор 504 событий), и что в других примерах устройство дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения дополнительных событий, лишь некоторого подмножества событий или других событий. Например, другие события, с возможностью обнаружения которых выполнено устройство 500 дополнения (например, детектор 504 событий), включают, но без ограничения, перепады давления в оборудовании для инсуффляции.

[00128] В некоторых случаях после идентификации набора событий на основе данных о состоянии устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью автоматической идентификации дополнительных событий на основе паттернов событий. Например, некоторые паттерны событий могут указывать наступление другого события. Паттерны событий, указывающие наступление определенного события, могут быть выучены (например, на основе данных о состоянии для ранее выполненных задач, при этом ранее выполненные задачи могут представлять собой такие же задачи, как текущая задача, набор задач, аналогичный текущей задаче, или набор задач, отличный от текущей задачи).

[00129] В некоторых случаях устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью обнаружения предварительно определенного набора событий на основе данных о состоянии. Предварительно определенный набор событий, с возможностью обнаружения которых на основе данных о состоянии может быть выполнено устройство 500 дополнения (например, детектор 504 событий), может быть основано на типах принятых данных о состоянии и/или одном или более других критериях. В некоторых случаях устройство 500 дополнения может быть выполнено с возможностью определения лишь подмножества предварительно определенного набора событий, который может быть обнаружен. Например, пользователь может иметь возможность настройки устройства 500 дополнения (например, детектора событий) на обнаружение только подмножества предварительно определенного набора событий. Это может быть полезно, например, тогда, когда пользователь ищет в эндоскопическом видеоизображении что-то конкретное. Например, может иметься пользовательский интерфейс (например, графический интерфейс пользователя (GUI)), связанный с устройством 500 дополнения (например, с детектором 504 событий), который обеспечивает возможность настройки устройства 500 дополнения пользователем. Пользовательский интерфейс, например, представляет пользователю предварительно определенный набор событий, поддерживаемых устройством 500 дополнения, и пользователь может выбирать, какое из поддерживаемых событий должна обнаружить устройство дополнения (например, детектор 504 событий).

[00130] Альтернативно или дополнительно пользователь имеет возможность ручного выбора событий, которые должно обнаруживать устройство 500 дополнения (например, детектор 504 событий), при этом устройство 500 дополнения (например, детектор 504 событий) может быть выполнено с возможностью автоматического выбора событий, которые должны быть обнаружены, на основе регистрации пользователя в устройстве 500 дополнения. Например, в некоторых случаях для генерирования дополненного эндоскопического видеоизображения на основе данных о состоянии пользователю может быть необходимо зарегистрироваться или аутентифицировать себя в устройстве 500 дополнения, и события, которые могут быть обнаружены устройством 500 дополнения (например, детектором 504 событий), основаны, например, возможны. Например, оператор, выполняющий задачу, может иметь возможность доступа к большему количеству событий, чем другой оператор (например, хирург). Например, оператор, выполняющий задачу, может иметь возможность видеть события эффективности, тогда как другой оператор (например, хирург) может не иметь возможности видеть события эффективности для данной конкретной задачи. Как более подробно описано ниже, вместо настройки устройства 500 дополнения (например, детектора 504 событий) на обнаружение на основе данных о состоянии лишь некоторого подмножества предварительно определенного набора событий, устройство 500 дополнения может быть выполнено с возможностью обнаружения всего предварительно определенного набора событий, и события, доступные пользователю при просмотре дополненного видеоизображения, могут быть выполнены с возможностью настройки и/или основаны на привилегиях пользователей.

[00131] В некоторых случаях для каждого события, обнаруженного на основе данных о состоянии, устройство 500 дополнения (например, детектор 504 событий) выполнено с возможностью генерирования информации о событии, используемой для дополнения эндоскопического видеоизображения. Информация о событии может включать, но без ограничения, идентификатор события, идентифицирующий обнаруженное событие, время начала события, идентифицирующее, когда началось событие, и необязательно продолжительность события или время окончания события, указывающее, когда событие завершилось (в случаях, когда событие имеет продолжительность). Идентификатор события может представлять собой имя или число, идентифицирующее обнаруженное событие. В некоторых случаях может иметься предварительно определенный набор событий, которые могут быть обнаружены, и которые перечислены, например, в справочной таблице при помощи номера и текстового описания. Время начала и/или время окончания могут представлять собой абсолютное время (например, 15:45) или относительное время (например, 35 минут после начала выполнения задачи).

[00132] После того, как устройство 500 дополнения (например, детектор 504 событий) проанализирует данные о состоянии с целью идентификации событий, наступивших в ходе выполнения задачи, способ 800 продолжается в блоке 808, где эндоскопическое видеоизображение дополняют. Следует отметить, что, хотя в способе 800, представленном на фиг. 8, детектор событий анализирует данные о состоянии с целью идентификации всех событий, которые наступили в ходе выполнения задачи, а затем способ 800 переходит к блоку 808 дополнения эндоскопического видеоизображения, в других примерных способах эндоскопическое видеоизображение может быть дополнено на основе отдельных событий. Иначе говоря, в других случаях эндоскопическое видеоизображение может быть дополнено сразу после обнаружения события вместо ожидания обнаружения всех событий.

[00133] В блоке 808 устройство 500 дополнения (например, средство 506 дополнения) генерирует дополненное эндоскопическое видеоизображение путем дополнения эндоскопического видеоизображения, принятого в блоке 802, информацией для каждого события, обнаруженного в блоке 806, которая идентифицирует обнаруженное событие и время, в которое это событие наступило относительно эндоскопического видеоизображения. Как описано выше, в некоторых случаях информация, добавляемая к эндоскопическому видеоизображению, может принимать форму метки, размещенной в соответствующий момент времени эндоскопического видеоизображения (например, в момент начала события или в течение продолжительности события). Информация или метка может быть видна пользователю, когда дополненное эндоскопическое видеоизображение впоследствии воспроизводится или просматривается, например, при помощи мультимедийного проигрывателя. В некоторых случаях метка может принимать форму закладки, позволяющей пользователю легко переходить к определенному моменту эндоскопического видеоизображения при воспроизведении дополненного эндоскопического видеоизображения, например, при помощи мультимедийного проигрывателя. Например, при загрузке пользователем дополненного эндоскопического видеоизображения в мультимедийный проигрыватель пользователю может быть представлен список закладок в видеоизображении, представляющих обнаруженные события, и пользователь может перемещаться непосредственно к одному из моментов, идентифицируемых закладкой, путем выбора закладки. В некоторых случаях информация (например, метка), относящаяся к конкретному событию, может быть включена в метаданные, образующие часть эндоскопического видеоизображения или связанные с ним.

[00134] Например, в таблице 2 представлен список событий, которые могут обнаруживаться устройством 500 дополнения (например, детектором 504 событий) в блоке 806. Специалистам в данной области техники будет очевидно, что эти события представляют примерные события, времена начала, времена окончания и продолжительности, и что могут обнаруживаться другие события с другими временами начала, временами окончания и продолжительностями.

Таблица2

Тип события	Идентификатор события	Начало события	Окончание события
Событие задачи	Этап наложения шва	Минута 25	Минута 45
Событие инструмента	Изменение инструмента - присоединение иглодержателя к руке 0	Минута 25	Минута 30
Событие инструмента	Изменение инструмента - присоединение иглодержателя к руке 1	Минута 30	Минута 35
Событие эффективности	Изменение эффективности - уровень 7 эффективности	Минута 65	---

[00135] На фиг. 10 представлен пример дополненного эндоскопического видеоизображения 1000, которое было дополнено на основе событий, представленных в таблице 2 и обнаруженных устройством 500 дополнения (например, детектором событий) в блоке 806. На фиг. 10 видно, что в этом примере для генерирования дополненного эндоскопического видеоизображения 1000 устройство 500 дополнения (например, средство 506 дополнения) добавляет по одной метке 1002, 1004, 1006, 1008 для каждого из идентифицированных событий в исходное эндоскопическое видеоизображение 1010. В частности устройство 500 дополнения (например, средство 506 дополнения) добавляет первую метку 1002, указывающую наступление этапа наложения шва между минутой 25 и минутой 45; вторую метку 1004, указывающую присоединение иглодержательного инструмента к руке робота 0 между минутой 25 и минутой 30; третью метку 1006, указывающую присоединение иглодержательного инструмента к руке робота 1 между минутой 30 и минутой 35; и четвертую метку 1008, указывающую изменение эффективности оператора до уровня 7 на минуте 65. Специалистам в данной области техники будет очевидно, что такое дополнение представляет собой лишь пример того, как может быть дополнено эндоскопическое видеоизображение, и что в других примерах эндоскопическое видеоизображение может быть дополнено иным образом.

[00136] После генерирования дополненного эндоскопического видеоизображения оно может сохраняться в запоминающем устройстве устройства 500 дополнения или в запоминающем устройстве другого устройства с целью последующего использования. Например, сохраненное дополненное эндоскопическое видеоизображение может впоследствии просматриваться или воспроизводиться с использованием, например, мультимедийного проигрывателя с целью критического анализа эффективности оператора, для обучения операторов выполнению процедуры и т.д. Информация или метки, добавляемые к дополненному эндоскопическому видеоизображению, могут быть выполнены с возможностью просмотра пользователем при просмотре или воспроизведении дополненного эндоскопического видеоизображения. В частности в некоторых случаях информация или метки могут быть представлены в виде закладок. Например, как представлено на фиг. 11, при просмотре пользователем примерного эндоскопического видеоизображения 1000, представленного на фиг. 10, например, при помощи мультимедийного проигрывателя 1102 пользователю, наряду с эндоскопическим видеоизображением 1106, может быть представлен список закладок 1104 (или меню закладок). Например, на фиг. 11 представлена закладка для каждого события, обнаруженного в таблице 2: закладка для этапа наложения шва, закладка для каждого изменения инструментов и закладка для изменения уровня эффективности. Тогда пользователь путем выбора одной из закладок 1104 может автоматически перемещаться в определенную часть эндоскопического видеоизображения 1106. В некоторых случаях, как представлено на фиг. 11, закладки 1104 могут быть представлены пользователю группами на основе, например, типа или времени. Однако специалистам в данной области техники будет очевидно, что такое представление является лишь примером, и что закладки могут представляться пользователю другим образом.

[00137] В некоторых случаях, в дополнение к информации или метке, добавленным к эндоскопическому видеоизображению для каждого обнаруженного события, представляемого пользователю в виде закладки, информация, добавляемая к эндоскопическому видеоизображению для обнаруженных событий, может представляться пользователю по мере воспроизведения эндоскопического видеоизображения. Например, дополненное эндоскопическое видеоизображение может дополняться так, что при воспроизведении видеоизображения информация о событиях отображается в верхней, нижней или боковой части экрана при помощи баннера, т. е. он отображает информацию об обнаруженных событиях в подходящие или значимые моменты времени эндоскопического видеоизображения.

[00138] В некоторых случаях информация или метки, выполненные с возможностью просмотра при просмотре или воспроизведении дополненного эндоскопического видеоизображения с использованием, например, мультимедийного проигрывателя, может быть настроены. Например, пользователю дополненного эндоскопического видеоизображения может быть представлен список событий, которые были отмечены в дополненном эндоскопическом видеоизображении, и пользователь может иметь возможность выбора событий для просмотра. Пользователь может иметь возможность выбора отдельных событий или типов событий. Например, пользователь может иметь возможность выбора всех событий инструментов и/или всех событий задачи; или некоторых событий инструментов и/или некоторых событий задачи. В некоторых случаях информация или метки, выполненные с возможностью просмотра при просмотре или воспроизведении дополненного эндоскопического видеоизображения, могут быть основаны на пользователе, просматривающем дополненное эндоскопическое видеоизображение. Например, в некоторых случаях для просмотра дополненного эндоскопического видеоизображения от пользователя может потребоваться регистрация или, в ином случае, аутентификация в средстве просмотра эндоскопических видеоизображений. В этих случаях информация или метки, выполненные с возможностью просмотра при просмотре или воспроизведении дополненного эндоскопического видеоизображения, могут определяться на основе привилегий, связанных с пользователем, воспроизводящим видеоизображение. Например, оператор, выполняющий задачу, может иметь возможность просмотра всей информации или меток, тогда как другие пользователи могут иметь возможность просмотра лишь некоторого подмножества информации или меток. Например, другие пользователи могут не иметь возможности просмотра любой информации или меток, связанных с событиями эффективности.

[00139] В некоторых случаях, в дополнение к выполнению с возможностью автоматического дополнения эндоскопического видеоизображения информацией или метками, идентифицирующими события, наступившие в ходе выполнения задачи, устройство 500 дополнения также может быть выполнено с возможностью генерирования на основе данных о состоянии трехмерной (3D) реконструкции в виртуальной реальности (VR) инструментов и их положений и/или движения. Тогда устройство 500 дополнения выполнено с возможностью синхронизации и связывания дополненного эндоскопического видеоизображения с 3D VR реконструкцией инструментов так, что при просмотре или воспроизведении эндоскопического видеоизображения наряду с дополненным эндоскопическим видеоизображением может быть просмотрена 3D VR реконструкция. Например, как описано выше, в некоторых случаях данные о состоянии могут содержать информацию, описывающую положение и/или движения руки (рук) робота и/или присоединенных к ней инструментов в ходе выполнения задачи, и информацию, описывающую инструменты, присоединенные к каждой руке робота в ходе выполнения задачи. В этих случаях устройство 500 дополнения может быть выполнено с возможностью определения положения и движения инструментов на основе информации о положении/движении руки робота/инструмента. После идентификации положения и движения инструментов эти движения могут отображаться в 3D модели соответствующих инструментов на основе типа инструмента, присоединенного к каждой руке (который идентифицируется информацией об инструментах в данных о состоянии). После отображения движений в 3D модели эти 3D модели могут сливаться с образованием 3D VR реконструкции инструментов в ходе выполнения задачи. Затем 3D VR реконструкция может синхронизироваться по времени и связываться с дополненным эндоскопическим видеоизображением. В некоторых случаях перспектива или вид инструментов в 3D VR реконструкции могут быть настроены (т. е. пользователь может иметь возможность задания или настройки точки обзора). Это может позволять пользователю рассматривать инструмент с точки обзора, отличной от точки обзора эндоскопа. В некоторых случаях точка обзора может быть динамически перенастраиваемой в ходе воспроизведения. В частности, 3D VR реконструкция может позволять пользователю регулировать точку обзора в ходе воспроизведения или просмотра.

[00140] В некоторых случаях в дополнение к выполнению с возможностью автоматического дополнения эндоскопического видеоизображения информацией или метками, идентифицирующими события, наступившие в ходе выполнения задачи, и момента или промежутка времени их наступления относительно эндоскопического видеоизображения, устройство 500 дополнения также может быть выполнено с возможностью связывания дополненного эндоскопического видеоизображения со всеми или частью данных о состоянии способом, который связывает идентифицированные события не только с соответствующей частью эндоскопического видеоизображения, но также с соответствующими частями всех или части данных о состоянии. Например, дополненное эндоскопическое видеоизображение может быть связано со всеми или частью подмножества потоков данных, образующих данные о состоянии. Например, если данные о состоянии содержат поток данных о частоте сердечных сокращений пациента и поток данных информации о положении руки робота, эндоскопическое видеоизображение может быть связано с любым одним или обоими потоками данных. Связанные дополненное эндоскопическое видеоизображение и данные о состоянии могут называться дополненными комбинированными данными.

[00141] Как описано выше, данные о состоянии синхронизируются по времени с эндоскопическим видеоизображением, например, при помощи общих отметок времени или общей шкалы времени. Соответственно, дополненные комбинированные данные могут генерироваться путем связывания дополненного эндоскопического видеоизображения со всеми или частью данных о состоянии так, что соответствующие части эндоскопического видеоизображения и данные о состоянии являются синхронизированными или связанными. Например, на фиг. 12 изображено примерное дополненное эндоскопическое видеоизображение 1000, представленное на фиг. 10, связанное с соответствующими данными 1202 о состоянии так, что соответствующие части эндоскопического видеоизображения 1000 и данных 1202 о состоянии являются синхронизированными или связанными. В данном примере данные 1202 о состоянии содержат два потока данных: поток 1206 данных о частоте сердечных сокращений пациента и поток данных информации о положении хирургического робота, - и оба эти потока данных связаны с дополненным эндоскопическим видеоизображением 1000. Это означает, что, например, данные о частоте сердечных сокращений и информация о положении хирургического робота на минуте 30 (от начала выполнения задачи) связаны с эндоскопическим видеоизображением на минуте 30 (от начала выполнения задачи). Однако специалистам в данной области техники будет очевидно, что это связывание представляет собой лишь пример, и что данные 1202 о состоянии могут содержать любую вышеописанную комбинацию потоков данных. Связанные дополненное эндоскопическое видеоизображение 1000 и данные 1202 о состоянии образуют дополненные комбинированные данные 1208.

[00142] После связывания эндоскопического видеоизображения с данными о состоянии для образования дополненных комбинированных данных информацию и/или метки в дополненном эндоскопическом видеоизображении можно использовать для идентификации частей эндоскопического видеоизображения и данных о состоянии, относящихся к каждому из идентифицированных событий. Таким образом, информация или метки в дополненном эндоскопическом видеоизображении можно считать идентифицирующими временные интервалы комбинированных данных, относящиеся к идентифицированным событиям. Например, метка 1002, идентифицирующая этап наложения шва, идентифицирует части эндоскопического видеоизображения, поток данных о частоте сердечных сокращений пациента и поток данных информации о положении хирургического робота, которые соответствуют этапу наложения шва. Метки можно затем использовать для извлечения данных из эндоскопического видеоизображения и/или из одного или более других потоков данных о состоянии, относящихся к данному событию. Например, может иметься средство или программное обеспечение, выполненные с возможностью приема дополненных комбинированных данных, выполненных с возможностью представления пользователю списка идентифицированных событий на основе информации или меток в дополненных комбинированных данных. Затем, при выборе одного из событий пользователю могут быть представлены части эндоскопического видеоизображения и данные о состоянии, относящихся к этому событию. Части эндоскопического видеоизображения и данные о состоянии, относящиеся к событию, могут быть представлены пользователю в любой подходящей форме. Например, при выборе события из списка часть эндоскопического видеоизображения, относящаяся к этому событию, может воспроизводиться наряду с отображением связанных данных о состоянии (например, частота сердечных сокращений пациента во время соответствующей части может отображаться над, под или сбоку от эндоскопического видеоизображения при его воспроизведении).

[00143] И хотя выше было описано, что дополненные комбинированные данные генерируются путем, в первую очередь, генерирования дополненного эндоскопического видеоизображения, а затем связывания дополненного эндоскопического видеоизображения, в других примерах эндоскопическое видеоизображение может быть связано со всеми или частью данных о состоянии для генерирования комбинированных данных перед дополнением так, что для генерирования дополненных комбинированных данных средство 506 дополнения дополняет комбинированные данные информацией или метками, идентифицирующими идентифицированные события и время их наступления.

[00144] Ниже сделана отсылка к фиг. 13, на которой изображены различные компоненты примерного устройства 1300 на вычислительной основе, которое может быть реализовано как какая-либо форма вычислительного и/или электронного устройства, и в котором могут быть реализованы варианты осуществления способов и устройств дополнения, описанных в настоящем документе.

[00145] Устройство 1300 на вычислительной основе содержит один или более процессоров 1302, которые могут представлять собой микропроцессоры, контроллеры или процессоры любого другого типа, для обработки исполняемых компьютером команд и управления работой устройства с целью верификации конструкции аппаратного обеспечения для линии передачи данных. В некоторых примерах, например, если используется средство на кристальной архитектуре, процессоры 1302 могут содержать один или более фиксированных функциональных блоков (также называемых ускорителями), реализующих часть способа дополнения эндоскопического видеоизображения, в форме аппаратного обеспечения (а не программного обеспечения или программно-аппаратного обеспечения). В устройстве на вычислительной основе может быть предусмотрено платформенное программное обеспечение, содержащее операционную систему 1304, или любое другое подходящее платформенное программное обеспечение, обеспечивающее возможность реализации прикладным программным обеспечением, таким как программное обеспечение 1305, исполнения способа, представленного на фиг. 8, на устройстве.

[00146] Исполняемые компьютером команды могут быть предоставлены с использованием любого машиночитаемого носителя данных, к которому может осуществлять доступ устройство 1300 на вычислительной основе. Машиночитаемый носитель данных может включать, например, компьютерный носитель данных, такой как запоминающее устройство 1306, и средства связи. Компьютерный носитель данных (т. е. постоянный машиночитаемый носитель данных), такой как запоминающее устройство 1306, включает энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные при помощи любого способа или технологии хранения такой информации, как машиночитаемые команды, структуры данных, программные модули или другие данные. Машиночитаемые носители данных включают, но без ограничения, RAM, ROM, EPROM, EEPROM, флеш-память или другие технологии запоминающих устройств, CD-ROM, универсальные цифровые диски (DVD) или другие оптические запоминающие устройства, магнитные кассеты, магнитную ленту, магнитные дисковые запоминающие устройства или другие магнитные запоминающие устройства, или любой другой непередающий носитель, выполненный с возможностью использования для хранения информации с целью доступа посредством устройства на вычислительной основе. Для сравнения, средства связи могут воплощать машиночитаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой механизм передачи. Как определено в настоящем документе машиночитаемый носитель данных не содержит средства связи. И хотя машиночитаемый носитель данных (т. е. постоянный машиночитаемый носитель данных, например запоминающее устройство 1306) представлен в устройстве 1300 на вычислительной основе, следует понимать, что запоминающее устройство может быть распределено или расположено удаленно и может являться доступным по сети или другому каналу связи (например, с использованием интерфейса 1308 связи).

[00147] Устройство 1300 на вычислительной основе также содержит контроллер 1210 ввода/вывода, выполненный с возможностью вывода отображаемой информации в дисплейное устройство 1312, которое может являться отдельным или объединенным с устройством 1300 на вычислительной основе. Отображаемая информация может предусматривать графический интерфейс пользователя. Контроллер 1310 ввода/вывода также выполнен с возможностью приема и обработки ввода от одного или более устройств, таких как устройство 1314 пользовательского ввода (например, мышь или клавиатура). Пользовательский ввод может использоваться для запуска верификации. В одном варианте осуществления дисплейное устройство 1312 также может действовать как устройство 1314 пользовательского ввода, если оно представляет собой дисплейное устройство с сенсорным экраном. Контроллер 1310 ввода/вывода также выполнен с возможностью вывода данных в устройства, отличные от дисплейного устройства, например, в локально подключенное устройство печати (не представлено на фиг. 13).

[00148] В настоящем документе заявитель раскрывает по отдельности каждый индивидуальный признак, описанный в настоящем документе, и любую комбинацию двух или более таких признаков в той степени, в какой такие признаки или комбинации могут быть осуществлены на основе представленного описания в целом в свете общих знаний специалистов в данной области техники независимо от того, решают ли эти признаки или комбинации признаков какие-либо проблемы, описанные в настоящем документе. В виду приведенного выше описания, специалистам в данной области техники будет очевидно, что различные модификации могут осуществляться в пределах объема настоящего изобретения.

Claims (21)

1. Устройство дополнения для генерирования дополненного эндоскопического видеоизображения, при этом устройство дополнения содержит детектор событий, выполненный с возможностью приема данных о состоянии, описывающих состояние хирургического роботизированного средства в ходе выполнения задачи, по меньшей мере частично выполняемой хирургическим роботизированным средством, при этом хирургическое роботизированное средство содержит по меньшей мере одного хирургического робота, содержащего основание и руку, проходящую от основания до места присоединения инструмента, при этом рука содержит сочленения, при помощи которых можно изменять конфигурацию руки; автоматического выбора подмножества паттернов из множества возможных паттернов в данных о состоянии на основе привилегий пользователя, связанных с пользователем, инициирующим указанное дополнение, при этом каждый паттерн из множества возможных паттернов указывает отличающееся событие, возникающее в ходе выполнения задачи, и идентификации в данных о состоянии указанного подмножества паттернов, и средство дополнения, выполненное с возможностью приема эндоскопического видеоизображения, захваченного в ходе выполнения задачи, при этом эндоскопическое видеоизображение синхронизировано по времени с данными о состоянии; и в ответ на идентификацию детектором событий в данных о состоянии паттерна из подмножества паттернов, указывающего наступление события в ходе выполнения задачи, автоматического дополнения метаданных, связанных с эндоскопическим видеоизображением, информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения.

2. Устройство дополнения по п. 1, в котором информация, идентифицирующая событие и время события, видна пользователю при просмотре пользователем дополненного эндоскопического видеоизображения после выполнения задачи.

3. Устройство дополнения по п. 1, в котором информация, идентифицирующая событие и время события, выборочно видна пользователю при просмотре пользователем дополненного эндоскопического видеоизображения после выполнения задачи.

4. Устройство дополнения по п. 1, в котором информация, идентифицирующая событие и время события, автоматически видна пользователю при просмотре пользователем дополненного эндоскопического видеоизображения после выполнения задачи на основе привилегий, связанных с пользователем.

5. Устройство дополнения по п. 1, в котором дополнение метаданных информацией, идентифицирующей событие и время события относительно эндоскопического видеоизображения, включает добавление в эндоскопическое видеоизображение в момент времени события закладки, которая идентифицирует событие.

6. Устройство дополнения по п. 1, в котором данные о состоянии по меньшей мере частично содержат данные, сгенерированные хирургическим роботизированным средством.

7. Устройство дополнения по п. 6, в котором данные о состоянии по меньшей мере частично содержат данные, сгенерированные одним или более источниками, внешними по отношению к хирургическому роботизированному средству.

8. Устройство дополнения по п. 1, в котором множество возможных паттернов в данных о состоянии выполнено с возможностью идентификации событий инструментов, при этом события инструментов содержат одно или более из следующего:

изменение по меньшей мере одного инструмента, присоединенного к руке хирургического роботизированного средства;

изменение состояния инструмента под напряжением, присоединенного к руке хирургического роботизированного средства;

очистка эндоскопа, присоединенного к руке хирургического роботизированного средства;

выполнение регулировки баланса белого в отношении средства формирования изображений эндоскопа, присоединенного к руке хирургического роботизированного средства;

выход величины или частоты движения эндоскопа, присоединенного к руке хирургического роботизированного средства, за пределы диапазона; и

изменение по меньшей мере одного инструмента, присоединенного к руке хирургического роботизированного средства, активно управляемого хирургическим роботизированным средством.

9. Устройство дополнения по п. 1, в котором множество возможных паттернов в данных о состоянии выполнено с возможностью идентификации одного или более событий столкновений, при этом одно или более событий столкновений включают одно или более из следующего: столкновения между по меньшей мере двумя руками хирургического робота хирургического роботизированного средства; столкновения между по меньшей мере двумя инструментами, присоединенными к разным рукам хирургического робота хирургического роботизированного средства; и столкновения между рукой хирургического робота хирургического роботизированного средства и инструментом, присоединенным к другой руке хирургического робота хирургического роботизированного средства.

10. Устройство дополнения по п. 1, в котором задача представляет собой хирургическую процедуру, выполняемую в отношении пациента, и множество возможных паттернов в данных о состоянии выполнено с возможностью идентификации одного или более событий пациента, при этом одно или более событий пациента включают одно или более из следующего: выхода одного или более показателей состояния организма пациента за пределы диапазона, и изменения одного или более показателей состояния организма пациента.

11. Устройство дополнения по п. 1, в котором хирургическое роботизированное средство находится под управлением оператора, и множество возможных паттернов в данных о состоянии выполнено с возможностью идентификации одного или более событий оператора, при этом одно или более событий оператора включают одно или более из следующего: выхода одного или более показателей состояния организма оператора за пределы диапазона; изменения одного или более показателей состояния организма оператора; изменения усилия захватывания, прикладываемого оператором к одному или более устройствам ввода, используемым для управления хирургическим роботизированным средством; и изменения толкающего усилия, прикладываемого оператором к одному или более из устройств ввода.

12. Устройство дополнения по п. 1, в котором хирургическое роботизированное средство находится под управлением оператора, и множество возможных паттернов в данных о состоянии выполнено с возможностью идентификации одного или более событий эффективности оператора, при этом одно или более событий эффективности оператора включают одно или более из следующего: падения эффективности оператора при выполнении задачи ниже допустимого уровня и изменения эффективности оператора при выполнении задачи.

13. Устройство дополнения по п. 1, в котором задача включает этапы и множество возможных паттернов в данных о состоянии, выполненных с возможностью автоматической идентификации этапов задачи из данных о состоянии.

14. Устройство дополнения по п. 1, в котором указанное устройство дополнения выполнено с возможностью связывания дополненного эндоскопического видеоизображения и всех или части данных о состоянии так, что информация, идентифицирующая событие, идентифицирует время наступления события относительно эндоскопического видеоизображения и данных о состоянии.

15. Устройство дополнения по п. 14, в котором часть эндоскопического видеоизображения и часть данных о состоянии, относящихся к идентифицированному событию, выполнены с возможностью извлечения из информации, идентифицирующей событие.

Images