RU2679200C1 - Способ и система отображения данных с видеокамеры - Google Patents

Способ и система отображения данных с видеокамеры Download PDF

Info

Publication number
RU2679200C1
RU2679200C1 RU2017140239A RU2017140239A RU2679200C1 RU 2679200 C1 RU2679200 C1 RU 2679200C1 RU 2017140239 A RU2017140239 A RU 2017140239A RU 2017140239 A RU2017140239 A RU 2017140239A RU 2679200 C1 RU2679200 C1 RU 2679200C1
Authority
RU
Russia
Prior art keywords
plan
video
terrain
video camera
location
Prior art date
Application number
RU2017140239A
Other languages
English (en)
Inventor
Мурат Казиевич Алтуев
Original Assignee
ООО "Ай Ти Ви групп"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ООО "Ай Ти Ви групп" filed Critical ООО "Ай Ти Ви групп"
Priority to RU2017140239A priority Critical patent/RU2679200C1/ru
Priority to US16/027,230 priority patent/US10635925B2/en
Priority to DE102018118422.0A priority patent/DE102018118422A1/de
Application granted granted Critical
Publication of RU2679200C1 publication Critical patent/RU2679200C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

Изобретение относится к области систем видеонаблюдения. Технический результат – повышение точности отображения объектов на плане местности в системе видеонаблюдения за счет преобразования координат местоположения объекта из системы координат кадра в систему координат плана местности. Способ отображения данных посредством видеокамеры в системе видеонаблюдения включает: получение изображений с видеокамеры, определение неподвижного объекта и координаты его местоположения на кадре изображения, определение подвижного объекта и координаты его местоположения на кадре изображения, обозначение на плане местности графического обозначения неподвижного объекта, калибровку видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на плане и кадре полученного изображения, преобразование координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, отображение совмещенного изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения. 3 н. и 11 з.п. ф-лы, 6 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Техническое решение относится к системам видеонаблюдения и к компьютерным системам, а именно, к обработке графической и иной видеоинформации для совмещения отображения видеоизображений, полученных с по меньшей мере одной видеокамеры и данных, представленных на плане какой-либо местности.
УРОВЕНЬ ТЕХНИКИ
Под системами видеонаблюдения понимается программно-аппаратное обеспечение или технические средства, использующие в том числе и методы компьютерного зрения для автоматизированного сбора данных, на основании анализа потокового видео (видеоанализа). Системы видеонаблюдения могут опираться на алгоритмы обработки изображения и распознавания образов, позволяющие анализировать видео без прямого участия человека.
Системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, таких, как: обнаружение объектов, слежение за движением объектов, классификация объектов, идентификация объектов, обнаружение ситуаций, в том числе и тревожных и многое другое.
Одной из задач, которую возможно решить посредством системы видеонаблюдения, является быстрое определение местоположения объекта.
Под планом местности понимается план и/или карта какого-либо помещения и/или объекта недвижимости и/или местности. На плане могут отображаться подвижные и неподвижные объекты, которые могут иметь на плане свои, условные обозначения.
Известно решение, раскрытое в заявке RU 2012101736 A, G08B 13/196, опубл. 27.07.2013, в котором раскрыты способ и система видеолокации, которые могут быть использованы для охраны помещений, автомобилей и других объектов. Способ видеолокации, содержащий получение видеоизображения при помощи, по меньшей мере, одной поворотной видеокамеры, запись его на компьютер, имеющий манипулятор типа «мышь» и воспроизведение на мониторе, отличающийся тем, что в памяти компьютера внесено изображение охраняемого объекта в формате 3D, с координатами всех элементов охраняемого объекта, также в памяти компьютера занесены координаты поворотной видеокамеры, а изображение, полученное с поворотной видеокамеры накладывается на изображение в формате 3D, при этом оператор устанавливает курсор манипулятора на любую точку охраняемого объекта, а компьютер выдает команду на поворот оси поворотной видеокамеры на эту точку. При использовании данного решения не предполагается корректное отображение видеоизображения объектов на плане местности.
Из уровня техники также известно решение, раскрытое в патенте RU 2417437 С2, G06K 9/36, в котором раскрыта технология, направленная на отображение результатов поисков сетевого контента на мобильных устройствах, которая включает получение результатов запроса сетевого контента посредством мобильного устройства, при этом получают геопозицию по меньшей мере одного объекта, связанного с результатами запроса сетевого контента. При этом, в поле обзора камеры мобильного устройства наблюдают сцену и определяют виртуальное местоположение, виртуальное местоположение представляет реальное местоположение объекта относительно сцены, содержащейся в поле обзора камеры, графическое изображение, представляющее объект, затем отображают в виртуальном местоположении в поле обзора камеры. При использовании данной технологии не предполагается корректное отображение видеоизображения объектов на плане местности.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Данное техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники.
Техническим результатом заявленной группы изобретений является повышение точности отображения объектов на плане местности в системе видеонаблюдения за счет преобразования координат местоположения объекта из системы координат кадра в систему координат плана местности.
Данный технический результат достигается за счет предложенного способа отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения, характеризующегося тем, что:
получают по меньшей мере одно изображение с видеокамеры;
определяют, по крайней мере, один неподвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
определяют, по крайней мере, один подвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
задают на плане местности графическое обозначение неподвижного объекта, обозначающее неподвижный объект;
производят калибровку вышеуказанной видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на вышеупомянутых плане и кадре полученного изображения, характеризующих координаты местоположения неподвижного объекта в пространстве и осуществляют задание связей между ними, при этом один конец каждого отрезка соответствует расположению неподвижного объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности;
преобразуют координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, которое обозначает неподвижный объект на плане местности;
отображают упомянутое совмещенное изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения в зависимости от наличия и положения на нем движущихся объектов.
Данный технический результат также достигается за счет системы видеонаблюдения для отображения данных посредством, по меньшей мере, одной видеокамеры, содержащей:
по меньшей мере, один блок получения данных от видеокамеры;
по меньшей мере, одно устройство обработки команд;
по меньшей мере, одно устройство хранения данных;
одну или более компьютерных программ, загружаемых в, по меньшей мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по меньшей мере, одном вышеупомянутом устройстве обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения.
Данный технический результат также достигается за счет машиночитаемого носителя данных, содержащего исполняемые одним или более процессором машиночитаемые инструкции, которые при их исполнении реализуют выполнение способа отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения.
В одном частном варианте заявленного решения, заданные в процессе калибровки связи можно редактировать и/или удалять.
В другом частном варианте заявленного решения, местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры может быть определено при помощи видеоаналитики, встроенной в видеосервер и/или встроенное в видеокамеру.
Еще в одном частном варианте, местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры определяется при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
В другом частном варианте, местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры, могут визуализировать для пользователя путем отображения видеоданных поверх плана местности на экране монитора.
Еще в одном частном варианте, план местности может быть двухмерным.
В другом частном варианте, план местности может быть трехмерным.
Еще в одном частном варианте, для трехмерного плана местности возможно изменение наклона плоскости плана.
В другом частном варианте, для плана местности возможно автоматическое и ручное масштабирование и смещение.
Еще в одном частном варианте, при автоматической регулировке прозрачности, делают прозрачным весь кадр, кроме точек, где есть движущиеся объекты.
В другом частном варианте, в качестве условных обозначений на плане местности могут быть отображены видеокамеры и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц, и/или номеров автомобилей.
Еще в одном частном варианте, поле зрения видеокамеры может отображаться на плане местности в виде области, отличной по цвету и/или прозрачности от остальных элементов плана местности, и/или ограниченной от остальных элементов плана местности.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - выбор точек на кадре видеоизображения и плане местности, характеризующих местоположение объекта в пространстве;
Фиг. 2 - пример использования перспективного преобразования;
Фиг. 3 - пример интерфейса объектов привязки, план и видеоизображения, получаемые с видеокамер;
Фиг. 4 - пример реализации режима погружения в работе;
Фиг. 5 - пример отображения совмещенного изображения;
Фиг. 6 - блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Данное техническое решение в различных своих вариантах осуществления может быть выполнено в виде способа, реализуемого на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
В данном техническом решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании данного технического решения.
Калибровка камеры - это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ею. Калибровка камеры часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности. Кроме того, калибровка камеры помогает исправлять дисторсию на фотографиях и видео.
План местности (карта) - это план объекта видеонаблюдения, который доступен для просмотра оператором видеонаблюдения. На плане местности обычно указывается расположение видеокамер и других объектов. Обычно план местности обладает некоторой интерактивностью - на нем отображается текущее состояние видеокамер, оператор может производить какие-либо действия.
В настоящем техническом решении предлагается способ отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения, характеризующийся тем, что: получают по меньшей мере одно изображение с видеокамеры;
определяют, по крайней мере, один неподвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
определяют, по крайней мере, один подвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
задают на плане местности графическое обозначение неподвижного объекта, обозначающее неподвижный объект;
производят калибровку вышеуказанной видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на вышеупомянутых плане и кадре полученного изображения, характеризующих координаты местоположения неподвижного объекта в пространстве и осуществляют задание связей между ними, при этом один конец каждого отрезка соответствует расположению неподвижного объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности;
преобразуют координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, которое обозначает неподвижный объект на плане местности;
отображают упомянутое совмещенное изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения в зависимости от наличия на нем движущихся объектов.
Это становится возможным благодаря реализации режима погружения на плане местности, повышающего интерактивность наблюдения. Он позволяет более наглядно представить передвижение объектов в реальном пространстве. В режиме погружения полупрозрачное видеоизображение отображается вместе с планом местности, и неподвижные предметы в кадре (мебель, двери и др.) совмещаются со своими обозначениями на ней. Привязывается конкретная видеокамера к определенному плану местности или участку плана местности.
Далее будут кратко рассмотрены этапы заявленного способа, которые реализуются также посредством заявленной системы и машиночитаемого носителя.
На фиг. 6 показана блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.
1. Получают, по меньшей мере, одно видеоизображение с видеокамеры.
В некоторых вариантах реализации технического решения видеокамер может быть две и более; видеокамеры могут быть установлены в более чем одном помещении. При этом для каждой камеры может соответствовать свой план местности (то есть в какой-либо местности может быть установлена только одна видеокамера), либо несколько видеокамер установлено в одной местности и используется план этой местности с возможностью переключаться между видеокамерами.
2. Определяют, по крайней мере, один неподвижный объект и координаты его местоположения на кадре видеоизображения, полученного с видеокамеры.
3. Определяют, по крайней мере, один подвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры.
В качестве неподвижных объектов могут выступать различные предметы мебели, офисная и бытовая техника, а также двери, подоконники и прочие предметы, имеющие объемно-пространственную структуру.
В качестве подвижных объектов могут выступать такие объекты как человек, транспортные средства, животные и многие другие.
В некоторых вариантах реализации технического решения местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры может быть определено при помощи видеоаналитики, встроенной в видеосервер и/или встроенное в видеокамеру.
В некоторых вариантах реализации технического решения местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры определяется при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
В некоторых вариантах реализации технического решения местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры, могут визуализировать для пользователя путем отображения видеоданных поверх плана местности на экране монитора.
4. Задают на плане местности графическое обозначение неподвижного объекта, обозначающее неподвижный объект.
На фиг. 1 показан пример выбора точек на видеоизображении и на плане местности.
План местности представляет собой изображение в общеупотребительном формате, например, jpg или png. План можно загрузить в систему видеонаблюдения и использовать его как план местности. Либо есть возможность использовать реальные планы местности, полученные например, из сети Интернет, например, такие как веб-ресурс OpenStreetMap.
В некоторых вариантах реализации технического решения в устройство хранения информации может быть заранее загружен план местности с отмеченными на нем объектами. При этом план местности может быть двухмерным, трехмерным.
Для трехмерного плана местности возможно изменение наклона плоскости плана.
Для плана местности возможно автоматическое и ручное масштабирование и смещение.
В качестве условных обозначений на плане местности могут быть отображены видеокамеры и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц, и/или номеров автомобилей.
Поле зрения видеокамеры может отображаться на плане местности в виде области, отличной по цвету и/или прозрачности от остальных элементов плана местности, и/или ограниченной от остальных элементов плана местности.
5. Производят калибровку вышеуказанной видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на вышеупомянутых плане и кадре полученного изображения, характеризующих координаты местоположения неподвижного объекта в пространстве и осуществляют задание связей между ними, при этом один конец каждого отрезка соответствует расположению неподвижного объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности.
6. Преобразуют координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, которое обозначает неподвижный объект на плане местности.
Как правило, для представления 2D-координат точки на плоскости используется вектор-столбец вида
Figure 00000001
а для задания положения 3D-точки в мировых координатах-
Figure 00000002
. Нужно отметить, что эти выражения записаны в расширенной нотации однородных координат, которая является самой распространенной в робототехнике и задачах трансформации твердых тел. В частности, в модели камеры-обскуры матрица камеры используется для проецирования точек трехмерного пространства на плоскость изображения:
Figure 00000003
где Zc - произвольный масштабный коэффициент
В предлагаемом техническом решении совпадение положения изображений предметов с их положением на плане местности будет только для тех видеокамер, для которых выполнена привязка к плану местности (калибровка).
Предлагается по входному набору соответствующих точек с изображения обзорной камеры и плану построить такие матрицы, которые позволят так откалибровать камеру, чтобы изображение с камеры можно было совместить с изображением объектов на плане.
Искомые матрицы называются матрицей переноса и матрицей поворота. Матрица поворота имеет размерность [3×3], а матрица переноса размерность [3×1].
Для того чтобы можно было однозначно восстановить вышеуказанные матрицы необходимо передать 4 пары соответствующих точек с плана и обзорной камеры, по которым будут восстановлены матрицы поворота и переноса для того, чтобы изображение с обзорной камеры было наложено на план. Под парой соответствующих точек понимается одна точка с плана, координаты которой имеют размерность 3: (x; у; z), и, соответствующая ей точка с обзорной камеры, координаты которой имеют размерность 2: (u; v).
Задаем 4 пары точек привязки видео к плану. Указывается пара точек - одна на плане, другая на кадре видеоизображения. Обе точки должны указывать положение одного и того же предмета (например, угла комнаты). Всего надо задать четыре пары таких точек.
При этом, данные 4 пары точек могут образовывать не менее 4 виртуальных отрезков на плане, по которым осуществляется задание связей между неподвижным объектом и планом местности.
В данном решении идет привязка неподвижных объектов (стол, шкаф, угол здания и тд.) на видеоизображении с их обозначением на плане местности. Один конец каждого отрезка соответствует расположению объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности.
Изображение в обзорной камере формируется из трехмерной сцены проекцией на изображение с камеры, используя перспективное преобразование:
Figure 00000004
или
Figure 00000005
, где:
(X;Y;Z) - координаты в трехмерном пространстве,
(u; v) - соответствующие координаты на изображении,
Figure 00000006
матрица камеры или матрица внутренних параметров. Данная матрица может быть рассчитана алгоритмом автоматически или быть передана в качестве входной. В данной матрице ƒx; ƒy - фокальные расстояния камеры, сх; су - ее главная точка,
Figure 00000007
матрицы поворота и переноса, соответственно, подлежащие восстановлению.
При восстановлении матриц R и T возникает PnP полная задача, которая в предложенном алгоритме решается с помощью метода Левенберга-Марквардта, сутью которого в применении к данному алгоритму является следующее: искать функцию отображения трехмерных точек с плана на двухмерные точки изображения, как функцию с минимальной ошибкой репроекции или, другими словами, функцию, для которой сумма квадратов расстояний от восстановленных до реальных точек наблюдения минимальна.
7. Отображают упомянутое совмещенное изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения в зависимости от наличия на нем движущихся объектов.
Одним из возможных вариантов использования данного технического решения является режим погружения.
В режиме погружения можно «перемещаться» между камерами, выбирая любую камеру из текущей области видимости. Таким образом, переходить от одной камеры к другой можно, не выходя из режима погружения, что удобно, когда требуется проследить за передвижением какого-либо объекта.
В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения плана. При этом на основе заранее заданной привязки подбирается такой ракурс, при котором неподвижные объекты наблюдения на видеоизображении и плане будут совпадать. Оператор видит план и наложенное на него видео. Зачастую на реальных объектах видеонаблюдения изображение с видеокамер однотипное - это могут быть практически одинаковые помещения (например, коридоры офисного здания), одинаковое изображение периметра объекта и т.д. Если в области видимости какой-либо камеры происходит тревожная ситуация, оператору сложно определить, где именно эта камера находится. Если же камеры размещены на плане и есть возможность оперативно посмотреть видео "с привязкой к местности", то задача определения реального положения видеокамеры заметно упрощается. Кроме того, оператор можно "следить" за тревожной ситуацией в режиме погружения, используя несколько камер. Пример: на одной из камер замечен движущийся человек. Оператор переходит в режим погружения по этой камере. Так как она привязана к плану, то оператор может примерно определить траекторию движения человека и определить, в поле зрения какой камеры он появится после выхода из поля зрения текущей камеры. Поэтому оператор может прямо в режиме погружения переключиться на эту камеру и продолжать наблюдение.
На фиг. 4 и фиг. 5 показаны примеры отображения совмещенных изображений, на которых скорректирована степень прозрачности.
При отображении совмещенного изображения, в заявленном решении есть возможность автоматически регулировать прозрачность кадра, т.е. различные части кадра могут отображаться с различной степенью прозрачности.
К примеру, можно делать весь кадр прозрачным кроме тех точек, где есть движущиеся объекты, и отображаемое совмещенное изображение получится еще более наглядным.
В системе можно дополнительно изменять степень прозрачности движущегося объекта.
Например, если в точке изображения есть движущийся объект, то точка показывается с прозрачностью 1, если нет, то с прозрачностью2.
Варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном из различных традиционных машиночитаемых носителей. В контексте данного документа «машиночитаемым носителем» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер. Машиночитаемый носитель может включать энергонезависимый машиночитаемый носитель данных, который может быть любой средой или средством, содержащим или хранящим инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер, или для использования в связи с ними.
Если необходимо, по меньшей мере, часть различных функций, рассмотренных в данном описании, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом. Кроме того, при необходимости одна или более из описанных выше функций могут быть опциональными или могут комбинироваться.
Хотя в независимых пунктах формулы изобретения охарактеризованы различные аспекты настоящего изобретения, другие аспекты изобретения включают другие комбинации признаков из описанных вариантов осуществления и/или зависимых пунктов формулы изобретения совместно с признаками независимых пунктов формулы изобретения, при этом упомянутые комбинации не обязательно явно указаны в формуле изобретения.

Claims (26)

1. Способ отображения данных посредством по меньшей мере одной видеокамеры в системе видеонаблюдения, характеризующийся тем, что:
получают по меньшей мере одно изображение с видеокамеры;
определяют по крайней мере один неподвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
определяют по крайней мере один подвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
задают на плане местности графическое обозначение неподвижного объекта, обозначающее неподвижный объект;
производят калибровку вышеуказанной видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на вышеупомянутых плане и кадре полученного изображения, характеризующих координаты местоположения неподвижного объекта в пространстве, и осуществляют задание связей между ними, при этом один конец каждого отрезка соответствует расположению неподвижного объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности;
преобразуют координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, которое обозначает неподвижный объект на плане местности;
отображают упомянутое совмещенное изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения в зависимости от наличия и положения на нем движущихся объектов.
2. Способ по п. 1, отличающийся тем, что заданные в процессе калибровки связи можно редактировать и/или удалять.
3. Способ по п. 2, отличающийся тем, что местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры может быть определено при помощи видеоаналитики, встроенной в видеосервер и/или в видеокамеру.
4. Способ по п. 3, отличающийся тем, что местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры определяется при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
5. Способ по п. 4, отличающийся тем, что местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры могут визуализировать для пользователя путем отображения видеоданных поверх плана местности на экране монитора.
6. Способ по п. 5, отличающийся тем, что план местности может быть двухмерным.
7. Способ по п. 6, отличающийся тем, что план местности может быть трехмерным.
8. Способ по п. 7, отличающийся тем, что для трехмерного плана местности возможно изменение наклона плоскости плана.
9. Способ по п. 8, отличающийся тем, что для плана местности возможно автоматическое и ручное масштабирование и смещение.
10. Способ по п. 9, отличающийся тем, что при автоматической регулировке прозрачности делают прозрачным весь кадр, кроме точек, где есть движущиеся объекты.
11. Способ по п. 10, отличающийся тем, что в качестве условных обозначений на плане местности могут быть отображены видеокамеры и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц и/или номеров автомобилей.
12. Способ по п. 11, отличающийся тем, что поле зрения видеокамеры может отображаться на плане местности в виде области, отличной по цвету и/или прозрачности от остальных элементов плана местности и/или ограниченной от остальных элементов плана местности.
13. Система видеонаблюдения для отображения данных посредством по меньшей мере одной видеокамеры, содержащая:
по меньшей мере один блок получения данных от видеокамеры;
по меньшей мере одно устройство обработки команд;
по меньшей мере одно устройство хранения данных;
одну или более компьютерных программ, загружаемых в по меньшей мере
одно вышеупомянутое устройство хранения данных и выполняемых на по меньшей мере одном вышеупомянутом устройстве обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа отображения данных с видеокамеры по любому из пп. 1-12.
14. Машиночитаемый носитель данных, содержащий исполняемые одним или более процессором машиночитаемые инструкции, которые при их исполнении реализуют выполнение способа отображения данных с видеокамеры по любому из пп. 1-12.
RU2017140239A 2017-11-20 2018-04-10 Способ и система отображения данных с видеокамеры RU2679200C1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2017140239A RU2679200C1 (ru) 2018-04-10 2018-04-10 Способ и система отображения данных с видеокамеры
US16/027,230 US10635925B2 (en) 2018-04-10 2018-07-03 Method and system for display the data from the video camera
DE102018118422.0A DE102018118422A1 (de) 2017-11-20 2018-07-30 Verfahren und system zur darstellung von daten von einer videokamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2017140239A RU2679200C1 (ru) 2018-04-10 2018-04-10 Способ и система отображения данных с видеокамеры

Publications (1)

Publication Number Publication Date
RU2679200C1 true RU2679200C1 (ru) 2019-02-06

Family

ID=65273833

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017140239A RU2679200C1 (ru) 2017-11-20 2018-04-10 Способ и система отображения данных с видеокамеры

Country Status (3)

Country Link
US (1) US10635925B2 (ru)
DE (1) DE102018118422A1 (ru)
RU (1) RU2679200C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695168A (zh) * 2020-04-08 2020-09-22 岭澳核电有限公司 核电厂实物保护系统的三维布设方法、装置及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213292A1 (ja) * 2019-04-17 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001467A1 (en) * 2001-06-25 2003-01-03 Wespot Ab Method and device for monitoring movement
US20060002607A1 (en) * 2000-11-06 2006-01-05 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
RU2417437C2 (ru) * 2006-01-09 2011-04-27 Нокиа Корпорейшн Отображение объектов сети на мобильных устройствах на основании геопозиции
RU2458407C1 (ru) * 2011-03-02 2012-08-10 Общество с ограниченной ответственностью "ДиСиКон" (ООО "ДСК") Система и способ видеомониторинга леса
RU2012101736A (ru) * 2012-01-18 2013-07-27 Закрытое акционерное общество "ИНТЕГРА-С" Способ и система видеолокации
RU131210U1 (ru) * 2012-08-21 2013-08-10 Общество с ограниченной ответственностью "Ай-кэмп инжиниринг" Система инженерного оборудования зданий, мониторинга и управления ею
EP1974326B1 (en) * 2006-01-20 2017-10-25 BRITISH TELECOMMUNICATIONS public limited company Video signal analysis

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009006605A2 (en) * 2007-07-03 2009-01-08 Pivotal Vision, Llc Motion-validating remote monitoring system
JP4660569B2 (ja) * 2008-03-21 2011-03-30 株式会社東芝 物体検出装置及び物体検出方法
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
US10687022B2 (en) * 2014-12-05 2020-06-16 Avigilon Fortress Corporation Systems and methods for automated visual surveillance
RU2670429C1 (ru) * 2017-11-24 2018-10-23 ООО "Ай Ти Ви групп" Системы и способы отслеживания движущихся объектов на видеоизображении

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002607A1 (en) * 2000-11-06 2006-01-05 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
WO2003001467A1 (en) * 2001-06-25 2003-01-03 Wespot Ab Method and device for monitoring movement
RU2417437C2 (ru) * 2006-01-09 2011-04-27 Нокиа Корпорейшн Отображение объектов сети на мобильных устройствах на основании геопозиции
EP1974326B1 (en) * 2006-01-20 2017-10-25 BRITISH TELECOMMUNICATIONS public limited company Video signal analysis
RU2458407C1 (ru) * 2011-03-02 2012-08-10 Общество с ограниченной ответственностью "ДиСиКон" (ООО "ДСК") Система и способ видеомониторинга леса
RU2012101736A (ru) * 2012-01-18 2013-07-27 Закрытое акционерное общество "ИНТЕГРА-С" Способ и система видеолокации
RU131210U1 (ru) * 2012-08-21 2013-08-10 Общество с ограниченной ответственностью "Ай-кэмп инжиниринг" Система инженерного оборудования зданий, мониторинга и управления ею

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695168A (zh) * 2020-04-08 2020-09-22 岭澳核电有限公司 核电厂实物保护系统的三维布设方法、装置及设备

Also Published As

Publication number Publication date
DE102018118422A1 (de) 2019-05-23
US10635925B2 (en) 2020-04-28
US20190311212A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
US20210021761A1 (en) Connecting And Using Building Data Acquired From Mobile Devices
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
US10607369B2 (en) Method and device for interactive calibration based on 3D reconstruction in 3D surveillance system
US6778171B1 (en) Real world/virtual world correlation system using 3D graphics pipeline
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
US10812686B2 (en) Method and system for mimicking human camera operation
US8369578B2 (en) Method and system for position determination using image deformation
JP6160290B2 (ja) 情報処理装置、判定方法および判定プログラム
CN113689578B (zh) 一种人体数据集生成方法及装置
US11373329B2 (en) Method of generating 3-dimensional model data
US20200364900A1 (en) Point marking using virtual fiducial elements
US20180204387A1 (en) Image generation device, image generation system, and image generation method
RU2679200C1 (ru) Способ и система отображения данных с видеокамеры
KR20170100204A (ko) 3차원 공간 정보를 이용한 목표물 추적 장치 및 방법
CN111429194B (zh) 用户轨迹确定系统、方法、装置及服务器
JP6240328B2 (ja) オプティカルフロー場を構築する方法
KR20180029690A (ko) 매물에 관한 가상현실영상 제공방법 및 제공서버, 매물에 관한 가상현실영상 제작방법 및 제작서버
JP6688518B1 (ja) 三次元空間における座標軸決定方法並びに面特定方法
JP4446114B2 (ja) 画像撮影装置
CN111107307A (zh) 基于单应性变换的视频融合方法、系统、终端及介质
KR102473804B1 (ko) 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법
EA028632B1 (ru) Способ и система отображения данных с видеокамеры
Schmidt et al. The calibration of the pan-tilt units for the active stereo head
Greco et al. 360 tracking using a virtual PTZ camera
Tingdahl et al. WEAR++: 3D model driven camera tracking on board the International Space Station