RU2498408C2 - Реализуемые компьютером способ и система для дистанционного контроля производственного процесса - Google Patents

Реализуемые компьютером способ и система для дистанционного контроля производственного процесса Download PDF

Info

Publication number
RU2498408C2
RU2498408C2 RU2010128609/08A RU2010128609A RU2498408C2 RU 2498408 C2 RU2498408 C2 RU 2498408C2 RU 2010128609/08 A RU2010128609/08 A RU 2010128609/08A RU 2010128609 A RU2010128609 A RU 2010128609A RU 2498408 C2 RU2498408 C2 RU 2498408C2
Authority
RU
Russia
Prior art keywords
real
image
dimensional model
infrastructure
computer
Prior art date
Application number
RU2010128609/08A
Other languages
English (en)
Other versions
RU2010128609A (ru
Inventor
Джон ПРЕТЛАВ
Шарлотт СКОУРУП
Original Assignee
Абб Рисерч Лтд
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Абб Рисерч Лтд filed Critical Абб Рисерч Лтд
Publication of RU2010128609A publication Critical patent/RU2010128609A/ru
Application granted granted Critical
Publication of RU2498408C2 publication Critical patent/RU2498408C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к области дистанционного контроля процесса в производственном оборудовании. Техническим результатом является улучшение контроля над технологическим процессом. Способ для дистанционного контроля инфраструктуры производственного процесса в установке (1) для добычи, обработки и/или производства материалов. Этот процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и с одним или несколькими устройствами (10) компьютерных дисплеев. По меньшей мере, один компьютер выполнен с графической компьютерной моделью (4), трехмерной моделью инфраструктуры процесса, где положение в инфраструктуре процесса в трехмерной модели выполнено выбираемым, где выбранное положение идентифицируется от точки наблюдения в этой модели. Информация о точках наблюдения из этой модели используется для расположения одной или нескольких камер в реальной установке, и изображения от реальной установки комбинируются с трехмерной моделью различными способами. 3 н. и 16 з.п. ф-лы, 6 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Данное изобретение касается реализуемого компьютером способа для дистанционного контроля некоторого процесса в производственном оборудовании. В частности, этот способ приспособлен для контроля некоторого процесса, контролируемого и управляемого посредством распределенной системы управления, или производственной системы управления, причем этот процесс обычно происходит в некоторой установке для добычи, производства, обработки и/или транспортировки материалов и объектов в промышленности, как, например, в области нефти и газа, целлюлозы и бумаги, химических процессов и производства.
УРОВЕНЬ ТЕХНИКИ
В области управления процессом на производственных заводах существует постоянная необходимость в информации об оборудовании процесса и объектах процесса. Традиционно для контроля и управления некоторым процессом, как, например, на бумажной фабрике, в оборудовании для добычи нефти или на фабрике, обрабатывающей необработанные или полуобработанные материалы, используется оборудование контроля процесса, термочувствительные элементы, датчики давления, расходомеры и т.д. Наряду с традиционными датчиками и инструментами может использоваться формирование видеоизображений для обеспечения изображения некоторого объекта или процесса в реальном времени. Могут быть размещены машинные залы или рабочие станции операторов с экранами дисплеев, показывающими CCTV изображения (изображения системы внутреннего видеонаблюдения) одной или нескольких частей производственного завода. Могут отображаться CCTV изображения, показывающие части линии поточной обработки или оборудования процесса. Традиционные CCTV камеры обеспечивают операторов ограниченным видом некоторого процесса с одной или нескольких фиксированных точек, которые предварительно заданы.
Традиционные диаграммы конвейерной обработки и измерений P&ID, которые представляют топологию процесса, используются для управления процессом. Однако, для того, чтобы контролировать и/или управлять процессом, который удален от того места, где расположен оператор, P&ID диаграмма не достаточна. Для проведения дистанционного контроля процесса, операторам также необходимо быть способными контролировать реальное оборудование процесса. Например, в больших установках, таких как морские платформы для добычи нефти и газа, производство, большие площади или даже вся установка часто является неуправляемой человеком. Это требует, чтобы операторы контролировали процесс и/или управляли процессом с удаленного местоположения, а именно чтобы операторы были удалены от близости реального процесса. В традиционной управляемой человеком установке сегодня эксплуатационные операторы используют все свои чувства для получения информации о состоянии процесса и даже наблюдают какие-либо изменения, которые могут еще не идентифицироваться системой управления. В удаленной установке или ее части, поскольку операторы были удалены от близости реального процесса, они будут иметь необходимость в «видении и чувствовании» процесса для того, чтобы быть способными управлять им правильным образом. В этих удаленных установках (оборудовании), или в процессах удаленной части, операторы нуждаются в системе поддержки для дополнения измерения процесса информацией знания процесса, обычно собираемой человеком, физически присутствующим на месте. Радиоконтакт между эксплуатационным оператором на месте и удаленным оператором в машинном зале очень часто используется для того, чтобы дополнить информацию о состоянии процесса, доступную удаленному оператору.
Модели установки и процесса или оборудования процесса традиционно использовались для помощи оператору в понимании некоторого процесса, схемы процесса и связи с другими процессами, связанными с некоторым процессом. Сегодня физическая схема производственного процесса или его части может быть представлена посредством CAD представления (представления автоматизированного проектирования), или посредством реализуемого компьютером моделирования некоторого процесса.
Статья Bleser Gabrielle и др. “Real time 3D camera tracking for industrial Augmented Reality applications”, труды конференции, 31 января 2005 года, с. 47-54, описывает отслеживание камерами с использованием CAD модели, подлежащей отслеживанию, и ее калиброванного эталонного изображения.
В современных обрабатывающих заводах, информация представлена в большом количестве различных систем, которые не интегрированы. Представление информации часто отличается в пределах этих систем и даже в пределах единственной системы. Удаленный оператор должен знать, где найти информацию о состоянии процесса и как найти эту информацию. Акт получения информации о состоянии дистанционно управляемого процесса может быть длительным и может быть подверженным ошибкам. Во время аварий или других неожиданных событий время, взятое для приобретения информации о состоянии некоторого процесса, может быть критическим.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Согласно некоторому аспекту данного изобретения описано усовершенствование способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной 3D (трехмерной) моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, где упомянутый способ дополнительно предусматривает идентификацию некоторой выбранной части инфраструктуры реального упомянутого процесса на основе выбора упомянутого представления на трехмерной модели, согласование выбранного упомянутого представления на трехмерной модели с известным положением в упомянутой установке, наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели и формирование или графическое комбинирование отображаемого изображения с использованием генерируемой компьютером трехмерной модели процесса или модели, основанной на оборудовании процесса, наложенной или комбинированной с изображением из упомянутой трехмерной модели.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает принятие части некоторого реального изображения и наложение изображения реальной части, таким образом принятого на соответствующих частях модельного изображения, таким образом графически сопрягающего и отображающего части этого реального изображения, наложенного на части модельного изображения, и целое, комбинированное в отображаемом изображении.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает обеспечение графических данных, образующих часть из по меньшей мере одного из одного или нескольких изображений реальной части инфраструктуры или устройства процесса из некоторого сохраненного изображения. Альтернативно или также, упомянутый способ может дополнительно предусматривать обеспечение по меньшей мере одного из одного или нескольких изображений реальной части инфраструктуры или устройства процесса из некоторого изображения, сделанного в реальном времени.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает согласование выбора упомянутого представления на трехмерной модели с известным положением посредством вычисления вычисляемого или преобразованного положения на основе точки наблюдения в трехмерной модели выбора упомянутого представления на трехмерной модели.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает вычисление вычисляемого или преобразованного положения выбора упомянутого представления на изображении трехмерной модели на основе любой информации из группы из: положения в трехмерном пространстве, ориентации, линии визирования камеры, положения в трехмерном пространстве некоторой структуры, расстояния между камерой и объектом процесса или от манипулятора робота, на котором установлена эта камера.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает согласование выбранной упомянутой части инфраструктуры или устройства процесса на основе манипулирования трехмерной моделью или ее выбора с информацией о положении или местоположении реальной части процесса или устройства для размещения информации, удерживаемой упомянутой системой управления. Альтернативно или также, упомянутый способ может дополнительно предусматривать согласование выбранной упомянутой части с положением или местоположением реальной части процесса или устройства посредством информации, удерживаемой программным объектом процесса части процесса или устройства, реализуемой упомянутой системой управления.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает управление одной или несколькими камерами производственного процесса для фокусировки на упомянутой части инфраструктуры или устройства процесса в положении, согласованном с информацией, удерживаемой программным объектом процесса в упомянутой системе управления.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает вычисление из положения или линии визирования или точки наблюдения в упомянутой трехмерной модели, линии визирования или положения или местоположения для одной или нескольких камер для фокусировки на реальной части устройства инфраструктуры процесса.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает вычисление из положения или линии визирования или точки наблюдения в упомянутой трехмерной модели и манипулирования трехмерной моделью или ее выбора линии визирования или положения или местоположения реальной части инфраструктуры или устройства процесса. С выгодой упомянутый способ может дополнительно предусматривать генерацию сигнала для управления одной или несколькими камерами для наведения в положение или местоположение реальной части инфраструктуры или устройства процесса и создания изображения. Альтернативно или также, упомянутый способ может дополнительно предусматривать согласование данных реального изображения с трехмерным изображением посредством нахождения особенностей в реальном изображении и вычисления того, изображением какой части изображения трехмерной модели является реальное изображение, причем эти особенности являются любыми из группы из: линий, краев, точек, углов.
Согласно некоторому варианту осуществления данного изобретения обеспечено усовершенствование в форме способа для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью упомянутой инфраструктуры процесса, причем упомянутый способ предусматривает стадии выбора в этой трехмерной модели представления части инфраструктуры упомянутого процесса для контроля, и наложение одного или нескольких изображений упомянутого реального процесса поверх изображения упомянутого представления из упомянутой трехмерной модели, формирование или графическое комбинирование отображаемого изображения, содержащего одно или несколько изображений инфраструктуры реального процесса или оборудования процесса, наложенных или комбинированных с изображением из упомянутой трехмерной модели, где упомянутый способ дополнительно предусматривает вычисление, где находятся точки данных реального изображения, положения в трехмерном пространстве частично на основе информации о линии визирования между камерой и реальной частью процесса или устройства. С выгодой упомянутый способ может дополнительно предусматривать отображение исторического или архивного реального изображения, графически наложенного или совмещенного или скомбинированного с трехмерным изображением, в котором реальное изображение не в реальном времени представлено в визуальном режиме, графически обработанном для создания контраста с обычным фотореалистичным реальным изображением, и эта обработка может быть некоторым изменением в любом из группы из: цвета, контраста, яркости, количества цветов.
Данное изобретение простирается для включения трехмерной модели полного процесса с перемещением, сопряжением изображений и контекстно-зависимым взаимодействием. Виды процесса в некоторой установке в видах трехмерной модели сопрягаются с реальными видеоизображениями или изображениями камер, записями или записанными изображениями от процесса. Оператор использует трехмерную модель процесса для перемещения некоторой камеры или другого датчика. Когда камера находится в том же положении в реальной установке, что и точка наблюдения в трехмерной модели, вид трехмерной модели вытесняется реальным видеоизображением реального процесса, полностью или частично.
Данное изобретение также вносит CCTV, или подобные камеры, в естественный логический интерфейс, который является трехмерным миром. Оператор может управлять камерами (почти) без ограничений, когда камеры являются подвижными. Оператор использует трехмерную модель для определения специфической точки наблюдения камеры. Эта система содержит трехмерную модель/CAD модель физического процесса. Этой трехмерной моделью может быть та же самая трехмерная модель, что и модель, которая была сгенерирована во время фазы проектирования и конструирования установки. Эта трехмерная модель соединена с DCS (распределенной системой управления) таким образом, что объекты в этой трехмерной модели связаны с теми же самыми объектами в DCS. Кроме того, используются реальные изображения и/или видеозаписи от завода. Камеры, которые собирают такие изображения, либо расположены в фиксированных положениях в заводе, с возможностью панорамирования (плавного смещения), наклона и масштабирования (обычно CCTV камеры), либо они смонтированы на манипуляторах роботов, которые будут перемещать их по заводу.
Трехмерная модель и реальные изображения интегрированы в одну систему для создания «системы дистанционного контроля для критической инфраструктуры». Оператор использует трехмерную модель процесса для перемещения к определенному объекту в этом процессе, который он желает контролировать, собирать о нем информацию или взаимодействовать с ним другим образом. Для того чтобы делать это, оператор может извлекать контекстно-зависимое меню или список задач, связанный с этим объектом, на основе интеграции с DCS, из которой оператор может выбирать заданные задачи, такие как контроль и сбор данных, например, в форме и/или извлекая запись изображений/видеозапись того же самого объекта с реального завода. Альтернативно или также, оператор может управлять видом камеры вручную в трехмерной модели и извлекать запись изображений или видеозапись с реального завода. Точка наблюдения трехмерной модели будет той же самой, что и для камеры, которая возвращает некоторое изображение или реальную видеозапись от линии визирования в реальном процессе, которая согласуется с точкой наблюдения в трехмерной модели. Оператор использует эту систему как «глаза эксплуатационного оператора» для контроля инфраструктуры.
Согласно некоторому аспекту данного изобретения описано усовершенствование системы дистанционного контроля в некоторой установке для добычи, обработки и/или производства материалов, включающей в себя инфраструктуру производственного процесса, причем упомянутый процесс управляется посредством системы управления, выполненной с одним или несколькими компьютерами, и одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью инфраструктуры упомянутого процесса, причем этот компьютер выполнен для выбора представления части инфраструктуры упомянутого процесса, где упомянутая система дополнительно содержит компьютер или устройство обработки данных, запрограммированное для идентификации выбранной упомянутой части инфраструктуры реального упомянутого процесса на основе выбора упомянутого представления на трехмерной модели, компьютер или устройство обработки данных, запрограммированное для согласования выбранного упомянутого представления на трехмерной модели с известным положением в упомянутой установке, и компьютер или устройство обработки данных, запрограммированное для графического комбинирования одного или нескольких изображений упомянутого реального процесса, наложенных поверх изображения упомянутого представления из упомянутой трехмерной модели и образующих отображаемое изображение, содержащее одно или несколько изображений реального процесса или оборудования процесса, наложенные и комбинированные с изображением из упомянутой трехмерной модели.
Эта интегрированная система может содержать следующие элементы: (удаленно расположенный) оператор использует трехмерную модель процесса для перемещения в трехмерной модели процесса в некотором виртуальном мире. Поскольку оператор перемещается вокруг в трехмерной модели, он изменяет свою точку наблюдения в этой модели. Местоположение и ориентация вида камеры реального процесса подобным же образом изменяется согласно точке наблюдения в трехмерной модели таким образом, чтобы согласовывать линию визирования некоторой камеры в реальной установке с точкой наблюдения в трехмерной модели. Трехмерная модель является представлением реального процесса, и оператор может легко выбрать соответствующую точку наблюдения, из которой будет сделано изображение камерой реальной установки. Снаружи на заводе либо фиксированная камера (если выбрана заданная точка наблюдения), либо определяемая вручную точка наблюдения выбирается и/или изменяется таким образом, чтобы возвратить некоторое изображение, или видеозапись, от реального процесса.
Трехмерная модель процесса является интерактивной в том смысле, что информация от DCS системы связана с соответствующими объектами в трехмерной модели. Трехмерная модель выполнена для контекстной зависимости посредством связи с данными реального завода от производственной системы управления или DCS. Оператор может, используя какие-либо средства компьютерного ввода, выбрать некоторый объект в трехмерной модели и получить контекстно-зависимое меню или список задач, который может включать в себя такие варианты, как: показать реальные данные от процесса, показать данные от предыдущего контроля, показать данные от заданного контроля (и/или поддержания освещения), показать задачи и тенденции. Когда некоторое изображение, или видеозапись, реального процесса представлена вместо трехмерной модели, это изображение (или видео) выполнено для отображения с теми же самыми реализуемыми компьютером вариантами для извлечения и отображения контекстно-зависимой информации, активируемой посредством выбора на экране дисплея, или другими способами компьютерного ввода или устройством, как из трехмерной модели. Это сделано возможным, так как наложенные реальные изображения, так сказать, интегрированы в трехмерной модели, и выборы на экране дисплея, или другие компьютерные вводы, согласованы и некоторым образом связаны с показанным оборудованием процесса. Положения точек наблюдения камер являются известными, также как и схема завода (например, из трехмерной модели). Выбор некоторого объекта, такого как некоторый резервуар в реальном изображении, приведет к подобному контекстно-зависимому меню, что и из трехмерной модели. Оператор может инициировать те же самые задачи из трехмерной модели и изображения/видеозаписи.
Также, данное изобретение позволит оператору иметь интегрированный операторный контроль, состоящий из одного единственного интерфейса, откуда он может осуществлять все свои задачи контроля интуитивным и естественным образом. Оператор перемещается к некоторому объекту в определенном физическом местоположении в трехмерной модели и инициирует задачи контроля для этого конкретного объекта, связанного с некоторой моделью всего завода. Также, он получит реальное изображение или видеозапись этого объекта как часть этого контроля, если это необходимо. Данное изобретение дает вклад в увеличенную безопасность для персонала путем снижения необходимости для инженеров или техников посещать это место.
В дополнение к использованию CCTV камер и видеокамер, изобретение также обеспечивает использование ввода изображений с камеры или датчика, адаптированного к источникам света, отличающихся от длин волн в пределах обычного видимого светового спектра. Такая камера или датчик может быть адаптирован для обеспечения некоторого изображения устройства, которое обеспечено, например, посредством температурного формирования изображений или формирования изображений ночного видения.
В предпочтительном варианте осуществления способов данного изобретения один или несколько способов могут быть осуществлены посредством вычислительного устройства, содержащего один или несколько микропроцессоров или компьютеров. Блок (блоки) управления содержат средство памяти или устройство памяти для хранения одной или нескольких компьютерных программ или листинг программного обеспечения, содержащий некоторое множество рабочих команд для осуществления этих усовершенствованных способов. Предпочтительно, чтобы такая компьютерная программа содержала команды для выполнения процессором способов, описанных здесь.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты осуществления изобретения будут теперь описаны, только в качестве примера, с конкретной ссылкой на сопутствующие чертежи, в которых:
Фиг.1а-1f являются схемами некоторого изобретения согласно независимому пункту 1 формулы изобретения, в котором изображения реального процесса скомбинированы с некоторым изображением трехмерной модели согласно некоторому варианту осуществления изобретения; и в котором Фиг.1а показывает только трехмерную модель, Фиг.1b показывает некоторое изображение реальной установки, Фиг.1с показывает некоторое изображение трехмерной модели, наложенное на часть изображения реального процесса; Фиг.1d показывает некоторое изображение реальной установки с наложенными частичными изображениям из трехмерной модели; Фиг.1е показывает первый кадр, содержащий некоторое изображение части реальной установки, наложенное на трехмерную модель; Фиг.1f показывает второй кадр, содержащий другое изображение части реальной установки, наложенное на трехмерную модель;
Фиг.2 является блок-схемой изобретения согласно пункту 1 формулы изобретения, в котором система создания изображений в реальной установке и комбинирования результирующих реальных изображений с некоторым изображением трехмерной модели более конкретно описана согласно некоторому варианту осуществления данного изобретения;
Фиг.3 является блок-схемой, показывающей использование изобретения согласно пункту 1 формулы изобретения, в котором стадии способа для комбинирования части реального изображения с трехмерной моделью описаны согласно некоторому варианту осуществления изобретения;
Фиг.4 является блок-схемой, показывающей использование изобретения согласно пункту 1 формулы изобретения, в котором стадии некоторого способа для комбинирования части реального изображения с трехмерной моделью описаны согласно некоторому варианту осуществления изобретения, в котором этот способ конкретно описан в отношении активации списка задач с дисплея, комбинирующего реальное изображение и изображение трехмерной модели;
Фиг.5 является блок-схемой, показывающей использование изобретения согласно пункту 1 формулы изобретения, в котором стадии некоторого способа для комбинирования части реального изображения с трехмерной моделью описаны согласно некоторому варианту осуществления изобретения, в котором этот способ конкретно описан в отношении вычисления некоторого положения в реальной установке на основе удерживаемых данных о точке наблюдения и/или положении в трехмерной модели;
Фиг.6 является схематичной подробностью для части схемы изобретения согласно пункту 1 формулы изобретения, в котором система создания изображений в реальной установке и комбинирования реальных изображений с изображением трехмерной модели более конкретно описаны согласно некоторому варианту осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Данное изобретение описывает способ и систему для дистанционного контроля инфраструктуры, и, в частности, критической инфраструктуры в некотором процессе, такой как оборудование, измерения и системы обеспечения в некотором процессе или части некоторого процесса. Эта система использует трехмерную модель/CAD модель физического процесса, предпочтительно ту же самую, что и выводится из трехмерной модели, которая была сгенерирована во время фазы проектирования и конструирования. Эта трехмерная модель также связана с DCS (распределенной системой управления) или производственной системой управления таким образом, что индивидуальные графические объекты в трехмерной модели некоторым образом связаны с программными объектами управления в DCS, представляющими и связанными с индивидуальными реальными объектами, клапанами, датчиками, резервуарами, колоннами, трубопроводами и т.д. в реальной установке. В дополнение к трехмерной модели, используются реальные изображения и/или видеозаписи от реального завода. Камеры могут быть расположены в фиксированных положениях в заводе, с возможностью панорамирования, наклона и масштабирования (обычно CCTV камеры). Камеры могут быть также смонтированы на манипуляторах роботов, которые перемещают их вокруг на заводе или установке. Камера, смонтированная на механической руке робота или манипулятора, может перемещаться с высокой точностью, и также положение этой камеры в любое время может быть точно найдено на основе перемещений этого робота и/или перемещения различных соединений механической руки робота.
Фиг.2 показывает систему согласно изобретению в схематичной диаграмме. Она показывает реальный завод или установку в пределах прямоугольника 1 с объектами 2, 3 реального процесса и сеть 5 передачи данных и систему управления или DCS 7. Она также показывает четыре камеры 11-14, из которых одна камера 14 расположена на подвижном устройстве, как, например, на манипуляторе робота (не показан). Одна или несколько камер могут быть выполнены с микрофоном 9 или другим собирающим звук устройством. Эти камеры предпочтительно связаны и управляются посредством подсистемы 17 управления камерами, которая может быть также связана с DCS 7. Эта система также включает в себя рабочую станцию или машинный зал по меньшей мере с одним графическим дисплеем 10, на котором отображается вид трехмерной модели 4 этого процесса. Трехмерная модель 4 прогоняется на компьютере некоторого типа. Изображения объекта 2, 3 реального процесса в реальной установке 1 создаются камерами 11-14 и вводятся в систему управления камерами. Система управления камерами управляет перемещением, фокусировкой, панорамированием и наклоном и т.д. камер 11-14, а также обрабатывает оптические или видеосигналы, возвращаемые этими камерами. Ввод изображений посылается через сеть передачи данных к трехмерной модели 4. Сигналы, отображаемые из трехмерной модели, могут быть посланы непосредственно через систему 7 управления камерами для управления камерами 11-14; возможно, эти сигналы могут быть обработаны некоторым модулем DCS, и данные из трехмерной модели, например, точки наблюдения, положения и выбор на этой модели, затем согласуются с программными объектами управления в системе управления, и данные, связанные с этими объектами, удерживаются посредством DCS 7.
Оператор, например, просматривающий графический дисплей 10, использует трехмерную модель 4 процесса для перемещения к определенному объекту, который он желает контролировать или с которым он желает взаимодействовать. Фиг.3 показывает блок-схему стадий в общем способе, в котором следующие стадии:
30 Оператор выбирает на графическом дисплее 10 некоторую часть процесса, представляющую интерес, в процессе, показанном трехмерной моделью 4,
32 Трехмерная модель вычисляет данные точек наблюдения, связанные или определяющие часть процесса, выбранную таким образом в трехмерной модели,
33 Одна или несколько камер выбираются и наводятся на реальный объект 2, 3 в реальной установке 1 вдоль линии визирования L, которая зависит от, или вычислена из, или преобразована из данных точек наблюдения, сгенерированных посредством трехмерной модели,
34 Одно или несколько изображений 92, 93 камер или видеоизображений, показанных на Фиг.1а, реальных объектов 2, 3, показанных на Фиг.1b, генерируются и записываются,
36 Одно или несколько изображений регистрируются для изображения трехмерной модели процесса,
38 Одно или несколько видеоизображений или изображений камер накладываются на изображение трехмерной модели в определенной степени, и комбинированное изображение, содержащее реальную графику и графику трехмерной модели, отображается, как показано на Фиг.1с-1f,
39 Стадии этого способа повторяются, если это необходимо.
Комбинированное отображенное изображение состоит из частей реального изображения, наложенных поверх вида трехмерной модели. Трехмерная модель и реальные изображения составляют «систему дистанционного контроля для критической инфраструктуры».
Этот способ и система для контроля некоторого процесса имеет преимущество легкости в перемещении, а также образует единую систему для сбора информации. Этот интерфейс является относительно естественным интерфейсом, легким в использовании, легким для понимания, и реальные или моделируемые объекты отображаются расположенными контекстно-зависимым образом. Другим преимуществом является то, что перемещения этой модели и полученные изображения могут быть зарегистрированы и обеспечивают путь аудита (контроля).
Фиг.6 схематично показывает точку наблюдения камеры в реальной установке 1. Камера 11 в реальной установке 1 сфокусирована на некоторой части объекта 2 реального процесса. Между камерой и частью объекта процесса, на которой фокусируются, имеется линия визирования, которая схематично показана посредством линии L, составленной из чередующихся штрихов и точек. Расстояние между камерой и частью объекта процесса, на которой фокусируются, указана как R на схеме. Точка наблюдения из трехмерной модели на выбранное положение в трехмерной модели используется для обеспечения информации о положении в реальной установке таким образом, что камера 11 может быть передвинута для наведения вдоль линии визирования L в реальной установке, которая согласуется с точкой наблюдения в трехмерной модели. Эта информация о положении может быть вычислена из данных положения в трехмерной модели на основе вычисления, преобразования, на основе информации реального завода, удерживаемой системой управления, о некотором положении в реальном процессе и объектах в этом положении; или посредством комбинации этих способов.
Оператор может также извлечь либо контекстно-зависимое меню/список задач, связанный с этим объектом (на основе интеграции с DCS), либо запись изображений/видеозапись от реального завода того же самого объекта/с линии визирования, соответствующей той же самой точке наблюдения в этой модели. В одном списке вариантами могут быть: показать реальные данные от процесса, показать данные от предыдущего контроля, показать данные от заданного контроля, показать данные от теста, показать данные от второстепенного рабочего порядка или от рабочего порядка поддержания освещения, показать задачи и тенденции. Точка наблюдения в графическом дисплее трехмерной модели выполнена согласно изобретению с возможностью быть точкой наблюдения в реальном процессе или установке, с которой камера должна возвратить некоторое изображение или реальную видеозапись от реального процесса. Оператор использует эту систему как «глаза эксплуатационных операторов» для контроля инфраструктуры. Фиг.4 показывает блок-схему для стадий способа, в котором, например, некоторый список задач или одна или несколько позиций контекстной информации могут быть сгенерированы для выбранного объекта процесса в трехмерной модели.
На стадии 46 показано, как, для выбранного объекта процесса, изображения 46а в реальном времени или хранимые изображения объекта реального процесса могут быть выбраны и извлечены для комбинирования в графический дисплей; и/или реальные данные 46b или исторические данные, соответствующие этому объекту процесса, могут быть выбраны, получены и отображены. Список 46с аварийной сигнализации может быть отображен с реальными и/или отмененными сигналами тревоги или событиями для этого объекта процесса или для раздела процесса, содержащего этот объект процесса.
Много различных типов информации получается с использованием CCTV или других камер, как только часть процесса, представляющая интерес, была локализована в реальной установке с использованием трехмерной модели. Часть реального процесса, представляющая интерес, дистанционно контролируется оператором, и состояние инфраструктуры процесса наблюдается и записывается. Это состояние может также использоваться как базис для дальнейшего контроля или тестов. Это состояние может дополнительно использоваться как базис для осуществления ремонтов освещения, обслуживания или корректирующего действия, такого как закрытие клапанов, замена батареи, замена малых частей и т.п. Информация, собранная посредством контроля, может содержать визуальную информацию от реальных изображений, например, об ожидаемом выпуске газа или текучих сред, неожиданный выпуск, такой как утечка газа или текучей среды, утечка твердого или текучего материала; контроль загрязнения поверхностей, как, например, из-за соленой воды или живых организмов из моря, признаки или указания физического повреждения некоторой поверхности или структуры. Физическим повреждением может быть любое из повреждения штормом, повреждения из-за неожиданных изменений уровня или изменения давления в трубопроводе или резервуаре; коррозионные повреждения, повреждения из-за незапланированного подъема температуры или повреждения от пожара.
Вид трехмерной модели, в пределах которой оператор перемещается, является базовым видом процесса и представлен в относительно большом окне. Это окно, содержащее реальное изображение, кадрирование изображений/видеокадрирование, может приводить к некоторому кадру изображения/видео, который может иметь любой размер (1-100%), связанный с размером вида трехмерной модели, и представлен в пределах вида трехмерной модели. В случае, если кадр изображения/видеокадр составляет 100%, изображение полностью заменит вид трехмерной модели и будет точной «копией» точки наблюдения трехмерной модели. В случае, если кадр изображения/видеокадр имеет любой размер между 1-99%, он будет представлен в некотором кадре в пределах вида трехмерной модели с видом трехмерной модели в качестве «фона». Всякий раз, когда оператор начинает перемещаться, сам кадр будет оставаться в последнем положении, тогда как вид трехмерной модели будет изменяться. Когда оператор удовлетворен новой точкой наблюдения, система может либо автоматически, после определенной временной задержки, обновить кадр с реальным изображением/видео процесса, либо оператору придется инициировать это обновление, например, из контекстно-зависимого меню/списка задач. Этот кадр с уменьшенным размером будет «висеть» в мире трехмерной модели, пока новая точка наблюдения не найдена и не подтверждена (либо автоматически, либо на основе ручного подтверждения/ввода). Оператор может изменить размер кадра изображения/видеокадра в любое время. Фиг.1е показывает некоторый вид, в котором реальное изображение части процесса, части объекта 3 процесса, наложено на правильное положение на трехмерной модели процесса, и оставшаяся часть трехмерной модели остается на виду. Фиг.1f схематично показывает, как перемещение точки наблюдения в трехмерной модели, скажем, от первого положения F1, показанного на Фиг.1е, приводит к получению реального изображения из кадра F2 второго положения, взятого вдоль второй линии визирования, как показано на Фиг.1е. Впоследствии данные изображений от других камер могут быть также наложены на этот вид. Например, после временного интервала, в течение которого вторая камера была перемещена, например, CCTV камера была панорамирована, или наклонена или масштабирована, или вторая камера на манипуляторе была перенесена в положение, реальные изображения, соответствующие текущему виду, сцена, определенная на основе точки наблюдения в модели, могут быть также затухать в отображаемом изображении в дополнение к реальному изображению от первого или второго положения. Это свойство может быть также расширено для включения заданных точек наблюдения процесса с изображениями/видео из банка исторических изображений/видео. Этот подход может быть также описан как способ перемещения или управления камерой. Одна или несколько камер затем перемещаются, панорамируются, наклоняются и т.д. таким образом, что они затем указывают вдоль желаемой линии визирования и фокусируются на объекте процесса. В случае, когда камера перемещается или удерживается механической рукой манипулятора или робота, этот робот может управляться посредством манипулирования трехмерной моделью для определения того, где робот будет наводить эту камеру.
Отображаемое изображение, когда оно включает в себя реальное изображение/видео, может быть показано с различной степенью сопряжения между трехмерной моделью и «реальным» изображением. В случае, если это соотношение равно 100%, показана только трехмерная модель процесса. Подобным же образом, соотношение в 0% является фотореалистичным качеством, и только изображение/видео показано вместо трехмерной модели. См. Фиг.1а, схематично показывающую вид с 100%, т.е. только трехмерную модель. Фиг.1b схематично показывает вид с 0%, т.е. показано только реальное изображение, изображение камер. На Фиг.1с, 1d показана уменьшенная величина изображения трехмерной модели, возможно, 60% и 10%, соответственно.
Переход между трехмерной моделью и изображением может быть осуществлен различными способами. Способ перехода может быть выбран таким образом, что визуальное изменение, наблюдаемое оператором, будет более или менее явным. При использовании, например, «усиления» или «затухания» между этими двумя средами, имеется по меньшей мере два различных способа, которыми изобретение может представить этот переход:
1) малые шаги/изменения будут происходить в пределах видеорежима, тогда как большие шаги будут происходить в компьютерном графическом мире трехмерной модели. Изображение трехмерной модели будет затухать, когда фиксированная или управляемая CCTV камера находится в положении, или когда камера, смонтированная на роботе, находится на месте в новом положении и готова, и затем видеозапись усиливается;
2) перемещение будет всегда происходить в трехмерной компьютерной графике, и режим изображения/видеорежим с изображениями реальной установки будет усиливаться, когда он готов.
Когда сопряжение, или смешивание источников, находится между 1-99%, трехмерная модель будет видна более или менее через изображение/видео в зависимости от этого соотношения. Могут быть различные причины использования высокого процентного соотношения трехмерной модели (~50-99%), такие как низкое качество изображения/видео, и, следовательно, необходимость поддерживать понимание изображений. Сопряжение двух сред с высокой степенью трехмерной модели процесса, таким образом, позволяет оператору сравнивать эти два мира и совершенно легко детектировать коррозию, повреждения от пожаров, недостающее оборудование, например, огнетушитель, перила и т.д. в реальном мире.
Сопряжение двух сред с низкой степенью трехмерной модели (1-49%) позволяет системе показывать конкретную информацию из трехмерной модели, такую как схемы трубопроводов, электрическую проводку, системы безопасности и т.д. Также, различные уровни информации, такие как различные системы обеспечения, конкретные текучие среды или сигналы тревоги могут быть визуализированы с использованием информации и визуальных изображений из трехмерной модели в качестве сопряжения между (трехмерной) моделью компьютерной графики и реальным изображением/видео. Другими примерами являются:
Текущие текучие среды, или среды с определенным потоком, температурой и т.д.
Вспыхивающие сигналы тревоги и/или предупреждения.
Только одна конкретная текучая среда (например, нефть или газ).
Предпочтительно, чтобы эта модель была выполнена со средствами управления регулировкой графического представления таким образом, что оператор, исследующий графический дисплей 10, может вручную выбрать для изменения: более высокий/более низкий контраст сопряжения изображения трехмерной модели на графическом дисплее; заменить один или несколько цветов изображения трехмерной модели на другие цвета и т.д.
Пометки обслуживания, наблюдения могут записываться оператором или могут быть сделаны как графическая версия пометки или клейкой пометки. Последнее представляет более интеллектуальные уровни, или расширенную реальность (AR), наложенную на реальный мир, представленный записями изображений/видеозаписями от реального процесса.
Эксплуатационные операторы или техники на эксплуатационном посещении используют все свои чувства, когда они контролируют процесс. Изображения или видеозаписи представляют собой глаза эксплуатационных операторов. Кроме того, описанная система дистанционного контроля может быть также расширена для включения микрофонов 9, фиксированных на месте или переносимых вокруг посредством мобильного оборудования 14, особенно, манипуляторов роботов, в пределах реального процесса. Следовательно, дистанционно расположенные операторы могут также получать информацию в форме звуков от процесса в качестве обратной связи от состояния процесса и использовать эту информацию вместе с другими данными контроля для контроля процесса и, возможно, диагностики состояния процесса.
В выгодном варианте осуществления трехмерная модель процесса может содержать некоторое количество заданных точек наблюдения (связанных либо с фиксированными камерами, либо с точками прохода для перемещения робота с камерой, смонтированной на руке манипулятора). База данных, содержащая банк исторических изображений/видео, может собирать и хранить изображения или видеоклипы, которые показывают нормальные и ненормальные ситуации. Этот исторический банк, или архивная библиотека, функционирует как инструмент диагностики, который оператор может выбрать для использования и сравнения с изображениями текущей ситуации. В выгодном развитии, изображения не в реальном времени, архивные изображения/видеоклипы могут быть представлены, отображены и показаны способом, который идентифицирует, что эти изображения не являются изображениями в реальном времени. Например, данные хранимых или архивных изображений могут быть представлены как черно-белые (B/W) изображения, размытые, окрашенные краской или с использованием других средств для указания того, что они являются историческими изображениями/видеоклипами. В трехмерной модели может быть вариант визуализации заданных точек наблюдения, кадра исторических изображений и т.д. Наложение в реальном времени реального изображения или хранимого изображения поверх трехмерной модели может изменяться или варьироваться таким образом, что генерируемая трехмерной моделью графика накладывается на изображение в реальном времени или хранимое реальное изображение. Трехмерная модель имеет, как отмечалось выше, средство показа графики из трехмерной модели в форме уровней, наложенных поверх друг друга. Реальное изображение может быть наложено на уровни изображения трехмерной модели, и, возможно, трехмерная модель или ее уровни могут быть наложены поверх реального изображения или хранимого изображения реального процесса. Таким образом, различные уровни информации о процессе, такие как различные системы обеспечения, пар, воздух, специфические текучие среды и т.д. или сигналы тревоги могут быть визуализированы с использованием информации и визуальных изображений из трехмерной модели как сопряжение (трехмерной) модели компьютерной графики и реального изображения/видео. Преимущество этого аспекта изобретения состоит в том, что для оператора просто сравнить изображения в реальном времени и исторические изображения и для оператора просто различить графически обработанные исторические изображения и изображение в реальном времени.
В другом варианте осуществления информация от системы управления о местоположении некоторого объекта процесса, или оборудования в этом процессе, или оборудования, близкого к процессу, используется для вычисления положения или местоположения в реальной установке. Когда выбрана некоторая часть изображения трехмерной модели, трехмерная модель согласует этот выбор с некоторым идентификатором или программным идентификатором объекта, или другим идентификатором для объекта процесса в реальной установке. Другими словами, положение объекта реального процесса находится частично с использованием информации или информации о местоположении объекта реального процесса, которая хранится в системе управления, или доступна ей.
Фиг.5 показывает блок-схему стадий в общем способе, в котором следующие стадии:
50 - Оператор выбирает на графическом дисплее 10 часть процесса, представляющую интерес, в некотором процессе, как показано посредством трехмерной модели 4,
51 - Компьютер согласует выбранный объект процесса в трехмерной модели с данными, представляющими объект реального процесса, причем эти данные удерживаются системой управления,
52 - Трехмерная модель вычисляет данные о линии визирования, или положении и ориентации в пространстве для объекта реального процесса на основе данных или данных о местоположении для объекта реального процесса, удерживаемых системой управления или доступных ей,
53 - Одна или несколько камер выбираются и наводятся на объект реального процесса на основе линии визирования трехмерной модели или положения, вычисленного из данных или данных о местоположении для реального процесса, удерживаемых системой управления,
54 - Одно или несколько изображений камер или видеоизображений реальных объектов 2, 3 генерируются и записываются,
56 - Одно или несколько изображений регистрируются в изображение трехмерной модели процесса,
58 - Одно или несколько видеоизображений или изображений камер накладываются на изображение трехмерной модели в определенной степени, и комбинированное изображение, содержащее реальную графику и графику трехмерной модели, отображается,
59 - Этот способ повторяется, если это необходимо.
В еще одном варианте осуществления информация от реального изображения может быть обработана цифровым образом для согласования местоположения или положения объекта процесса, или оборудования в этом процессе, или оборудования, близкого к процессу в реальной установке. Цифровая обработка предусматривает согласование данных реального изображения с изображением трехмерной модели посредством нахождения особенностей в реальном изображении и вычисления того, изображением какой части изображения трехмерной модели является реальное изображение, причем эти особенности являются любыми из группы из: линий, краев, точек, углов. Этот способ может быть скомбинирован с другими способами для нахождения положения объекта процесса.
Способы изобретения могут управляться или осуществляться посредством одной или нескольких компьютерных программ. Один или несколько микропроцессоров (или процессоров, или компьютеров) содержат центральный процессор CPU, связанный или содержащийся в одной или нескольких вышеописанных систем управления камерами и/или DCS, и эти процессоры или компьютеры выполняют стадии способов согласно одному или нескольким аспектам изобретения.
Эта компьютерная программа содержит элементы компьютерного программного кода или части программного кода, которые вызывают выполнение компьютером или процессором этих способов с использованием уравнений, алгоритмов, данных, хранимых значений, вычислений, синхронизаций и т.п. для ранее описанных способов, и, например, в связи с блок-схемами Фиг.3-5, и/или для графического пользовательского интерфейса, показанного на дисплее 10 Фиг.2. Часть этой программы может храниться в некотором вышеупомянутом процессоре, но также в микросхеме ПЗУ, ЗУПВ, ППЗУ, СППЗУ, ЭСППЗУ или подобных средствах памяти. Некоторые из этих программ частично или полностью могут также храниться локально (или центрально) на, или в ЗУ системы управления. Эта программа может также частично поставляться или обновляться от сети передачи данных, включающей в себя сеть общего пользования, такую как Интернет.
Следует отметить, что хотя вышеприведенное описывает примерные варианты осуществления изобретения, существует несколько вариаций и модификаций, которые могут быть сделаны для описанного решения, не выходя за рамки объема данного изобретения, заданного в прилагаемой формуле изобретения.

Claims (19)

1. Реализуемый компьютером способ для дистанционного контроля инфраструктуры производственного процесса в установке для добычи, обработки и/или производства материалов, причем упомянутый процесс управляется посредством распределенной системы (7) управления, выполненной с одним или несколькими компьютерами, и с одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью инфраструктуры, причем упомянутый способ характеризуется этапами, на которых:
принимают выбор оператора о представлении части инфраструктуры для контроля в трехмерной модели,
идентифицируют выбранную часть реальной инфраструктуры на основе выбора представления на трехмерной модели,
согласуют выбранное представление на трехмерной модели с данными, представляющими реальный объект процесса в установке,
принимают реальное изображение, содержащее реальный объект процесса, и
накладывают реальное изображение на соответствующие части изображения трехмерной модели, таким образом осуществляя графическое сопряжение и отображение частей реального изображения, наложенного на части изображения трехмерной модели, и целого, скомбинированного в отображаемом изображении.
2. Способ по п.1, отличающийся обеспечением графических данных, образующих часть по меньшей мере одного из одного или нескольких изображений реальной части инфраструктуры процесса или устройства, из сохраненного изображения.
3. Способ по п.1, отличающийся вычислением вычисляемого или преобразованного положения выбора упомянутого представления на изображении трехмерной модели на основе любой информации из группы из: положения в трехмерном пространстве, ориентации, линии визирования камеры, положения в трехмерном пространстве структуры, расстояния между камерой и объектом процесса, или от манипулятора робота, на котором расположена эта камера.
4. Способ по п.1, отличающийся согласованием выбранной упомянутой части инфраструктуры процесса или устройства на основе манипулирования или выбора трехмерной модели с положением или местоположением реальной части процесса или устройства посредством информации, удерживаемой программным объектом процесса части процесса или устройства, реализуемым посредством упомянутой системы управления.
5. Способ по п.1, отличающийся согласованием данных реального изображения с трехмерным изображением посредством нахождения особенностей в реальном изображении и вычисления, какой частью изображения трехмерной модели является реальное изображение, причем эти особенности являются любыми из группы из: линий, краев, точек, углов.
6. Способ по п.1, отличающийся вычислением, где находятся точки данных реального изображения, положения в трехмерном пространстве, частично на основе информации о линии визирования между камерой и реальной частью процесса или устройства.
7. Способ по п.1, отличающийся обеспечением одного или нескольких изображений или частичных изображений упомянутого представления из упомянутой трехмерной модели в форме визуально отдельного графического уровня, выполненного наложенным прозрачным или полупрозрачным образом на реальное изображение или частичное изображение.
8. Способ по п.1, отличающийся отображением исторического или архивного реального изображения, графически наложенного или совмещенного или скомбинированного с трехмерным изображением, в котором реальное изображение не в реальном времени представлено в визуальном режиме, графически обработанном для осуществления контраста с обычным фотореалистичным реальным изображением, причем эта обработка может быть некоторым изменением в любом из группы из: цвета, контраста, яркости, количества цветов.
9. Способ по п.1, отличающийся обеспечением, по меньшей мере, одного из одного или нескольких изображений реальной части инфраструктуры процесса или устройства, образованных из ввода изображений от камеры или датчика, адаптированного для любого из группы из: видимого света, температурного формирования изображений, ночного видения.
10. Система дистанционного контроля в установке для добычи, обработки и/или производства материалов, включающей в себя инфраструктуру производственного процесса, причем упомянутый процесс управляется посредством распределенной системы (7) управления, выполненной с одним или несколькими компьютерами, и с одним или несколькими устройствами компьютерных дисплеев, в которой упомянутый компьютер выполнен с графической компьютерной трехмерной моделью инфраструктуры упомянутого процесса, характеризующаяся компьютером, выполненным с возможностью приема выбора оператора о представлении части инфраструктуры,
компьютером или устройством обработки данных, запрограммированным для идентификации выбранной части реальной инфраструктуры на основе выбора представления на трехмерной модели,
и компьютером или устройством обработки данных, запрограммированным для согласования выбранного представления на трехмерной модели с данными, представляющими реальный объект процесса в установке, чтобы принимать реальное изображение реального объекта процесса и накладывать реальное изображение на соответствующие части изображения трехмерной модели, таким образом осуществляя графическое сопряжение и отображение частей реального изображения, наложенного на части изображения трехмерной модели, и целого, скомбинированного в отображаемом изображении.
11. Система по п.10, отличающаяся содержанием компьютера или устройства обработки данных, запрограммированного для принятия части реального изображения и наложения таким образом полученного реального частичного изображения на соответствующие части модельного изображения, с осуществлением, таким образом, графического сопряжения и отображения частей реального изображения, наложенного на части модельного изображения, и целого, скомбинированного в отображаемом изображении.
12. Система по п.10, отличающаяся содержанием компьютера или устройства обработки данных, запрограммированного для обеспечения графических данных, образующих часть по меньшей мере одного из одного или нескольких изображений реальной части инфраструктуры процесса или устройства, из сохраненного изображения.
13. Система по п.10, отличающаяся содержанием компьютера или устройства обработки данных, запрограммированного для согласования выбранной упомянутой части инфраструктуры процесса или устройства на основе манипулирования или выбора трехмерной модели с положением или местоположением реальной части инфраструктуры процесса или устройства посредством информации, удерживаемой программным объектом процесса части процесса или устройства, реализуемым посредством упомянутой системы управления.
14. Система по п.10, отличающаяся содержанием одного или нескольких контроллеров для управления одной или несколькими камерами производственного процесса для фокусировки на упомянутой части инфраструктуры или устройства процесса в положении, согласованном с информацией, удерживаемой программным объектом процесса в упомянутой системе управления.
15. Система по п.10, отличающаяся содержанием компьютера или устройства обработки данных, запрограммированного для генерации сигнала для управления одной или несколькими камерами для наведения в положение или местоположение реальной части инфраструктуры процесса или устройства и создания изображения.
16. Система по любому из пп.10-15, отличающаяся содержанием по меньшей мере одной камеры или датчика, обеспечивающего изображения реальной части инфраструктуры процесса или устройства, причем камера или датчик адаптирован для обеспечения изображения на основе любого из группы из: видимого света, температурного формирования изображений, ночного видения.
17. Система по п.10, используемая в промышленности, например, в областях нефти и газа, целлюлозы и бумаги, химических процессов и/или производства.
18. Система по п.10, используемая, чтобы способствовать выполнению задачи обслуживания, выполнению ремонтов освещения, обслуживания или коррективного действия, такого как закрытие клапанов, замена батареи, замена малых частей и т.п.
19. Считываемый компьютером носитель, содержащий компьютерную программу, которая при исполнении компьютером или процессором вызовет выполнение компьютером или процессором одной или нескольких команд для обеспечения способа по п.1.
RU2010128609/08A 2007-12-10 2008-12-10 Реализуемые компьютером способ и система для дистанционного контроля производственного процесса RU2498408C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US99688707P 2007-12-10 2007-12-10
US60/996,887 2007-12-10
PCT/EP2008/067188 WO2009074600A1 (en) 2007-12-10 2008-12-10 A computer implemented method and system for remote inspection of an industrial process

Publications (2)

Publication Number Publication Date
RU2010128609A RU2010128609A (ru) 2012-01-20
RU2498408C2 true RU2498408C2 (ru) 2013-11-10

Family

ID=40469818

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010128609/08A RU2498408C2 (ru) 2007-12-10 2008-12-10 Реализуемые компьютером способ и система для дистанционного контроля производственного процесса

Country Status (5)

Country Link
US (1) US20100315416A1 (ru)
EP (1) EP2232437B1 (ru)
CN (1) CN101939765B (ru)
RU (1) RU2498408C2 (ru)
WO (1) WO2009074600A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2746652C1 (ru) * 2020-06-22 2021-04-19 Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс" Модульный комплекс контроля производственной безопасности и технологических процессов

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100914848B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 혼합현실 시스템 및 그 구현 방법
FR2945630B1 (fr) * 2009-05-14 2011-12-30 Airbus France Procede et systeme d'inspection a distance d'une structure
US20110010624A1 (en) * 2009-07-10 2011-01-13 Vanslette Paul J Synchronizing audio-visual data with event data
TW201108045A (en) * 2009-08-28 2011-03-01 Primax Electronics Ltd Testing system of input device model
US8935129B1 (en) * 2010-06-04 2015-01-13 Bentley Systems, Incorporated System and method for simplifying a graph'S topology and persevering the graph'S semantics
JP2012124653A (ja) * 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
US9292963B2 (en) * 2011-09-28 2016-03-22 Qualcomm Incorporated Three-dimensional object model determination using a beacon
DE102011085003A1 (de) * 2011-10-21 2013-04-25 Siemens Aktiengesellschaft Verfahren zur Visualisierung der räumlichen Verhältnisse einer Fertigungsstätte
CN102546262B (zh) * 2012-02-09 2015-09-30 长春市天空标通信有限公司 一种调控系统
CN104508576B (zh) * 2012-05-29 2017-12-29 Abb研究有限公司 工业工厂中的对象检验
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
CN104871097B (zh) * 2012-12-13 2018-05-18 Abb 技术有限公司 用于监测和/或诊断工业工厂生产线操作的系统和方法
EP2757472A1 (en) * 2013-01-18 2014-07-23 Dassault Systèmes A computer-implemented method for launching an installed application
US20140278718A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Enhanced time-management and recommendation system
US20140320529A1 (en) * 2013-04-26 2014-10-30 Palo Alto Research Center Incorporated View steering in a combined virtual augmented reality system
KR101912795B1 (ko) * 2013-04-29 2018-10-29 한화테크윈 주식회사 3차원 정보제공장치
WO2014206473A1 (en) 2013-06-27 2014-12-31 Abb Technology Ltd Method and video communication device for transmitting video to a remote user
WO2015051816A1 (en) * 2013-10-07 2015-04-16 Abb Technology Ltd Control of a communication session between a local and remote user of a process control system
US10078712B2 (en) * 2014-01-14 2018-09-18 Energid Technologies Corporation Digital proxy simulation of robotic hardware
US10444746B2 (en) * 2014-10-16 2019-10-15 Abb Schweiz Ag Method for managing subsystems of a process plant using a distributed control system
EP3029535A3 (en) * 2014-12-03 2016-07-13 Rockwell Automation Technologies, Inc. P&ID and control system synchronization
US10176643B2 (en) * 2015-03-30 2019-01-08 Capcom Co., Ltd. Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium
JP6586824B2 (ja) * 2015-08-27 2019-10-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10957102B2 (en) * 2017-01-16 2021-03-23 Ncr Corporation Virtual reality maintenance and repair
FR3062229A1 (fr) * 2017-01-26 2018-07-27 Parrot Air Support Procede d'affichage sur un ecran d'au moins une representation d'un objet, programme d'ordinateur, dispositif et appareil electroniques d'affichage associes
WO2018222835A1 (en) * 2017-05-31 2018-12-06 Abb Schweiz Ag Robot system for real-time inspection of switchgear
CN110019431B (zh) * 2017-12-11 2022-04-12 北京京东尚科信息技术有限公司 数据可视化的处理方法、系统及终端设备
US10861220B2 (en) * 2017-12-14 2020-12-08 The Boeing Company Data acquisition and encoding process for manufacturing, inspection, maintenance and repair of a structural product
EP3579127A1 (en) * 2018-06-07 2019-12-11 Hexagon Technology Center GmbH Method of generation of an enhanced plant model
US11442438B2 (en) * 2018-08-14 2022-09-13 The Boeing Company Automated supervision and inspection of assembly process
US11681834B2 (en) * 2019-01-30 2023-06-20 Augmntr, Inc. Test cell presence system and methods of visualizing a test environment
CA3057655A1 (en) * 2019-10-04 2021-04-04 Wave9 Technology Inc. Remote montoring method using image processing intelligence
CN111123030A (zh) * 2019-12-18 2020-05-08 淮北工科检测检验有限公司 一种基于NBIoT的电缆故障在线温度监控系统
CN111726589B (zh) * 2020-07-07 2022-01-28 山东天原管业股份有限公司 一种阀体的生产加工方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2213365C2 (ru) * 1997-04-14 2003-09-27 Сименс Акциенгезелльшафт Система автоматизации

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100318330B1 (ko) * 1991-04-08 2002-04-22 가나이 쓰도무 감시장치
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
FR2798761B1 (fr) * 1999-09-17 2002-03-29 Thomson Multimedia Sa Procede de construction d'un modele de scene 3d par analyse de sequence d'images
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US7116330B2 (en) * 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6947593B2 (en) * 2001-10-05 2005-09-20 Hewlett-Packard Development Company, Lp. Digital image processing
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
NZ544780A (en) * 2003-06-19 2008-05-30 L 3 Comm Corp Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
SE527441C2 (sv) * 2003-12-23 2006-03-07 Abb Research Ltd Förfarande vid ett säkerhetssystem för styrning av en process eller utrustning
CN1300746C (zh) * 2004-12-09 2007-02-14 上海交通大学 基于多特征信息融合的视频运动目标自适应跟踪方法
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
EP2284814A1 (en) * 2005-01-03 2011-02-16 Vumii, Inc. Systems and methods for night time surveillance
DE102006014634B4 (de) * 2005-04-01 2014-01-30 Abb Research Ltd. Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System
DE102006052321A1 (de) * 2005-11-24 2007-06-06 Danfoss A/S Verfahren zum Analysieren einer Kühlanlage und Verfahren zur Regelung einer Kühlanlage
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2213365C2 (ru) * 1997-04-14 2003-09-27 Сименс Акциенгезелльшафт Система автоматизации

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gabriele B. et al, "Real-time 3D Camera Tracking for Industrial Augmented Reality Applications" WSCG 2005 conference proceedings, 31 января 2005. Hanek R. et al "Yet another method for pose estimation a probalistic approach using points, lines and cylinders", Siemens corporate research, IEEE 1999. Najafi H. et al,"Automated Initialization for Marker-Less Tracking: A Sensor Fusion Approach", Mixed and Augmented Reality, 2004. Georgeli P. et al, "An Industrial Augmented Reality Solution for Discrepancy Check", Mixed and Augmented Reality, 2007. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2746652C1 (ru) * 2020-06-22 2021-04-19 Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс" Модульный комплекс контроля производственной безопасности и технологических процессов
WO2021262030A1 (ru) * 2020-06-22 2021-12-30 Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс" Модульный комплекс контроля производственной безопасности и технологических процессов

Also Published As

Publication number Publication date
RU2010128609A (ru) 2012-01-20
CN101939765A (zh) 2011-01-05
US20100315416A1 (en) 2010-12-16
CN101939765B (zh) 2014-01-29
EP2232437A1 (en) 2010-09-29
EP2232437B1 (en) 2013-09-18
WO2009074600A1 (en) 2009-06-18

Similar Documents

Publication Publication Date Title
RU2498408C2 (ru) Реализуемые компьютером способ и система для дистанционного контроля производственного процесса
US7715929B2 (en) Human-machine interface for a control system
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
US5745387A (en) Augmented reality maintenance system employing manipulator arm with archive and comparison device
Natephra et al. Live data visualization of IoT sensors using augmented reality (AR) and BIM
KR101894471B1 (ko) 플랜트의 가상 현실 서비스 제공 방법 및 이를 위한 장치
JP3274290B2 (ja) 映像表示装置及び映像表示システム
US20120007852A1 (en) Method and system for assembling components
EP1975752B1 (en) A method for operating remotely controlled cameras in an industrial process
US9274519B2 (en) Methods and apparatus for monitoring operation of a system asset
EP2296069A1 (en) Process monitoring system
US10964104B2 (en) Remote monitoring and assistance techniques with volumetric three-dimensional imaging
JP2008269310A (ja) プラント保守支援システム
US20180204387A1 (en) Image generation device, image generation system, and image generation method
Xiang et al. Mobile projective augmented reality for collaborative robots in construction
US11341716B1 (en) Augmented-reality system and method
AU2018436495B2 (en) System and method of operation for remotely operated vehicles for automatic detection of structure integrity threats
JP2010009479A (ja) 遠隔目視検査支援システムおよび遠隔目視検査支援コンピュータプログラム
CN110689212A (zh) 建筑维护方法和系统
JP2005252831A (ja) 設備監視支援装置
JP7260839B2 (ja) プラント管理方法、プラント管理装置およびプラント管理プログラム
JPH0857784A (ja) ロボット式アームを用いる遠隔保守システム
EP4102468A1 (en) Augmented-reality system and method
JP2000187719A (ja) 情報視覚化装置および方法
CN115511113A (zh) 一种管线管理系统及管理方法

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20171211