RU2686154C1 - Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем - Google Patents
Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем Download PDFInfo
- Publication number
- RU2686154C1 RU2686154C1 RU2018119699A RU2018119699A RU2686154C1 RU 2686154 C1 RU2686154 C1 RU 2686154C1 RU 2018119699 A RU2018119699 A RU 2018119699A RU 2018119699 A RU2018119699 A RU 2018119699A RU 2686154 C1 RU2686154 C1 RU 2686154C1
- Authority
- RU
- Russia
- Prior art keywords
- block
- unit
- video
- metadata
- input
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/40—Circuit details for pick-up tubes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Abstract
Изобретение относится к области видеонаблюдения и распознавания объектов. Сущность заявленного технического решения заключается в том, что телекамера и способ для формирования панорамного видеоизображения обеспечивают возможность использования встроенного в камеру вычислителя, который управляет движением наклонно-поворотной платформы с установленной на ней телекамерой по заданному маршруту, при этом формирует единое панорамное видеоизображение, а также выявляет и распознает объекты на каждом кадре видеоизображения. Техническим результатом заявленного изобретения является создание телекамеры и способа для формирования панорамного видеоизображения и распознавания объектов на нем с более простой и дешевой конструкцией. 2 н. и 2 з.п. ф-лы, 1 ил.
Description
Изобретение относятся к области видеонаблюдения и распознавания объектов, а именно к телекамерам и способам для формирования панорамного видеоизображения и распознавания объектов на нем, и может применяться в системах видеонаблюдения.
В настоящее время в телекамерах применяют насколько основных способов формирования панорамного видеоизображения.
В многообъективных телекамерах (US 2018095275) формирование панорамного видеоизображения осуществляют из нескольких видеопотоков как внутри телекамеры, за счет использования вычислительных ресурсов встроенного в камеру вычислителя, так и с помощью внешнего вычислителя.
В наборе стационарных широкоугольных телекамер с перекрывающейся областью обзора (CN 205750270 (U)) формирование панорамного видеоизображения осуществляют с помощью внешнего вычислителя, который формирует единый панорамный видеопоток из нескольких видеопотоков со стационарных телекамер.
Наиболее близкой к заявленному изобретению является поворотная телекамера, описанная в патенте CN 106331653, в которой формирование панорамного видеоизображения осуществляют при движении камеры по заранее заданному маршруту с остановками, в заранее определенных точках. В этих точках маршрута производят захват кадров видеопотока. Во внешнем вычислителе из захваченных кадров формируют панорамное изображение. На следующем проходе по заранее заданному маршруту осуществляют обновление изображения. Таким образом, во внешнем вычислителе формируют панорамный видеопоток с низкой частотой кадров. Частота кадров итогового видеопотока определяется скоростными возможностями поворотной телекамеры и вычислительными возможностями внешнего вычислителя. Для большого круга задач по организации видеонаблюдения на стационарных объектах такой частоты кадров достаточно. Данная телекамера выбрана в качестве прототипа заявленного изобретения.
Недостатками телекамер аналогов и прототипа изобретения является требуемая высокая мощность внешних вычислителей, а так же высокое качество и пропускная способность канала передачи данных от телекамеры до внешнего вычислителя, что усложняет конструкцию и, соответственно, удорожает всю систему.
Техническим результатом заявленного изобретения является создание телекамеры и способа для формирования панорамного видеоизображения и распознавания объектов на нем с более простой и дешевой конструкцией, за счет использования встроенного в камеру вычислителя, который управляет движением наклонно-поворотной платформы, с установленной на ней телекамерой, по заданному маршруту, при этом формирует единое панорамное видеоизображение, а также выявляет и распознает объекты на каждом кадре видеоизображения.
Поставленный технический результат достигнут путем создания телекамеры для формирования панорамного видеоизображения и распознавания объектов на нем, содержащей наклонно-поворотную платформу, на которой установлены видеосенсор 1, выход которого соединен с входом блока 2 распознавания изображений и с входом блока 5 наложения служебной информации, выход которого соединен с видеокодеком 9, первый и второй выходы которого соединены соответственно с четвертым входом блока 10 формирования панорамного изображения и с первым входом блока 12 формирования видеопотоков, второй вход которого соединен с первым выходом блока 10 формирования панорамного изображения, а выход блока 2 распознавания изображений соединен с первым входом блока 6 принятия решения и формирования метаданных, выход которого соединен с первым входом блока 10 формирования панорамного изображения, второй выход которого соединен с входом блока 13 формирования тревог, первый, второй, третий, четвертый и пятый выходы блока 7 управления наклонно-поворотной платформой соединены соответственно с трансфокатором 4, с шаговыми двигателями 3 наклонно-поворотной платформы, с вторым входом блока 6 принятия решения и формирования метаданных, с вторым входом блока 10 формирования панорамного изображения и с первым входом блока 15 коммуникаций, второй, третий, четвертый, пятый и шестой входы которого соединены соответственно с третьим выходом блока 10 формирования панорамного изображения, с выходом блока 13 формирования тревог, с выходом блока 12 формирования видеопотоков, с выходом блока 14 поддержки ONVIF и с выходом WEB интерфейса 16, вход которого соединен с первым выходом блока 15 коммуникаций, второй вход которого соединен с выходом блока 14 поддержки ONVIF, а третий и четвертый выходы блока 10 формирования панорамного изображения соединены соответственно с первым входом блока 7 управления опорно-поворотной платформой и с входом блока 11 накопления кадров, выход которого соединен с четвертым входом блока 10 формирования панорамного изображения, причем
- видеосенсор 1 выполнен с возможностью формирования основного видеопотока и передачи его в блок 5 наложения служебной информации и в
- блок 2 распознавания изображений, который выполнен с возможностью покадрового обнаружения объектов на изображении, определения типа и координат относительно кадра обнаруженных объектов и передачи их в
- блок 6 принятия решения и формирования метаданных, который выполнен с возможностью анализа данных, полученных от блока 2 распознавания изображений, при этом принятия решения о выделении или игнорировании объекта, причем в случае принятия решения о выделении объекта, с возможностью формирования метаданных в координатах панорамного изображения на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, и с возможностью передачи потока метаданных в блок 10 формирования панорамного изображения и в
- блок 5 наложения служебной информации, который выполнен с возможностью наложения рамок на обнаруженные объекты и другой визуальной информации об объекте на видеокадры из входного потока, при этом формирования выходного видеопотока и передачи его в
- видеокодек 9, который выполнен с возможностью сжатия видеопотока, при этом формирования множества сжатых видеопотоков с различными разрешениями, в соответствии с заданным режимом работы телекамеры, и передачи сжатых видеопотоков в блок 12 формирования видеопотоков и в
- блок 10 формирования панорамного изображения, который выполнен с возможностью получения сжатого видеопотока, синхронизированного с ними потока метаданных, информации о текущем положении (координатах) наклонно-поворотной платформы от блока 7 управления наклонно-поворотной платформой и предшествующего кадра от блока 11 накопления кадров, и на основе полученных данных с возможностью осуществления «склейки» панорамного изображения, устранения дублирования метаданных от соседних кадров и формирования команды управления наклонно-поворотной платформой для ее движения по заданной траектории, и передачи панорамного изображения в блок 12 формирования видеопотоков и в блок 11 накопления кадров, а прореженного потока метаданных в блок 13 формирования тревог и блок 15 коммуникаций,
- блок 11 накопления кадров выполнен с возможностью буферизации кадров,
- блок 12 формирования видеопотоков выполнен с возможностью подготовки сжатых видеопотоков к трансляции потребителю, при этом преобразования их в видеопотоки формата RTSP и передачи в блок 15 коммуникаций,
- блок 13 формирования тревог выполнен с возможностью формирования сообщений о тревоге, на основе поступающих в него метаданных и заранее заданных тревожных линий и зон, и передачи сообщений о тревоге в блок 15 коммуникаций,
- блок 7 управления наклонно-поворотной платформой выполнен с возможностью получения информации с датчика 8 движения и остановки и команды управления наклонно-поворотной платформой и с возможностью формирования сигналов управления шаговыми двигателями 3 наклонно-поворотной платформы, а также сигналов управления трансфокатором 4, при этом передачи информации о текущем положении (координатах) наклонно-поворотной платформы и трансфокатора в блок 6 принятия решения и формирования метаданных, в блок 10 формирования панорамного изображения и в блок 15 коммуникаций,
- блок 14 поддержки ONVIF выполнен с возможностью обеспечения взаимодействия телекамеры через блок 15 коммуникаций с внешними объектами в соответствии со стандартом ONVIF,
- WEB интерфейс 16 выполнен с возможностью передачи внешних команд управления телекамерой,
- блок 15 коммуникаций выполнен с возможностью соединения и взаимодействия с внешними объектами.
В предпочтительном варианте осуществления телекамеры блок 13 формирования тревог выполнен с возможностью формирования сообщений о тревоге, выбранных из набора сообщений о тревоге: объект пересек линию; объект появился в зоне; объект пропал в зоне; объект зашел в зону; объект вышел из зоны; объект слишком долго находится в зоне.
Поставленный технический результат достигнут также путем создания способа для формирования панорамного видеоизображения и распознавания объектов на нем, в котором
- с помощью видеосенсора 1 формируют основной видеопоток и передают его в блок 5 наложения служебной информации и в
- блок 2 распознавания, с помощью которого покадрового обнаруживают объекты на изображении, определяют типа и координаты относительно кадра обнаруженных объектов и передают их в
- блок 6 принятия решения и формирования метаданных, с помощью которого анализируют данные, полученные от блока 2 распознавания изображений, при этом принимают решение о выделении или игнорировании объекта, причем в случае принятия решения о выделении объекта, формируют метаданные в координатах панорамного изображения на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, и передают поток метаданных в блок 10 формирования панорамного изображения и в
- блок 5 наложения служебной информации, с помощью которого накладывают рамки на обнаруженные объекты и другую визуальную информацию об объекте на видеокадры из входного потока, при этом формируют выходной видеопоток и передают его в
- видеокодек 9, с помощью которого сжимают видеопоток, при этом формируют сжатые видеопотоки с различными разрешениями, в соответствии с заданным режимом работы телекамеры, и передают сжатые видеопотоки в блок 12 формирования видеопотоков и в
- блок 10 формирования панорамного изображения, с помощью которого получают сжатые видеопотоки, синхронизированный с ними поток метаданных, информацию о текущем положении (координатах) наклонно-поворотной платформы от блока 7 управления наклонно-поворотной платформой и предшествующий кадр от блока 11 накопления кадров, и на основе полученных данных осуществляют «склейку» панорамного изображения, устраняют дублирование метаданных от соседних кадров и формируют команды управления наклонно-поворотной платформой для ее движения по заданной траектории, и передают панорамное изображение в блок 12 формирования видеопотоков и в блок 11 накопления кадров, а прореженный поток метаданных в блок 13 формирования тревог и блок 15 коммуникаций,
- с помощью блока 11 накопления кадров буферизируют кадры,
- с помощью блока 12 формирования видеопотоков подготавливают сжатые видеопотоки к трансляции потребителю, при этом преобразовывают их в видеопотоки формата RTSP и передают в блок 15 коммуникаций,
- с помощью блока 13 формирования тревог формируют сообщения о тревоге, на основе поступающих в него метаданных и заранее заданных тревожных линий и зон, и передают сообщения о тревоге в блок 15 коммуникаций,
- с помощью блока 7 управления наклонно-поворотной платформой получают информацию с датчика 8 движения и остановки и команды управления наклонно-поворотной платформой и формируют сигналы управления шаговыми двигателями 3 наклонно-поворотной платформы, а также сигналы управления трансфокатором 4, при этом передают информацию о текущем положении (координатах) наклонно-поворотной платформы и трансфокатора в блок 6 принятия решения и формирования метаданных, в блок 10 формирования панорамного изображения и в блок 15 коммуникаций,
- с помощью блока 14 поддержки ONVIF обеспечивают взаимодействие телекамеры через блок 15 коммуникаций с внешними объектами в соответствии со стандартом ONVIF,
- с помощью WEB интерфейса 16 передают внешние команды управления телекамерой,
- с помощью блока 15 коммуникаций осуществляют соединение и взаимодействие с внешними объектами.
В предпочтительном варианте осуществления способа с помощью блока 13 формирования тревог формируют сообщения о тревоге, выбранные из набора сообщений о тревоге: объект пересек линию; объект появился в зоне; объект пропал в зоне; объект зашел в зону; объект вышел из зоны; объект слишком долго находится в зоне.
Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.
Фиг. 1. Общая функциональная схема телекамеры для формирования панорамного видеоизображения и распознавания объектов на нем, выполненная согласно изобретению.
Элементы:
1 - видеосенсор;
2 - блок распознавания изображений;
3 - шаговые двигатели наклонно-поворотной платформы;
4 - трансфокатор;
5 - блок наложения служебной информации;
6 - блок принятия решения и формирования метаданных;
7 - блок управления наклонно-поворотной платформой;
8 - датчик движения и остановки;
9 - видеокодек;
10 - блок формирования панорамного изображения;
11 - блок накопления кадров;
12 - блок формирования видеопотоков;
13 - блок формирования тревог;
14 - блок поддержки ONVIF;
15 - блок коммуникаций;
16 - WEB интерфейс;
17 - внешние объекты;
18 - основной видеопоток;
19 - координаты, относительно кадра, и тип обнаруженных объектов;
20 - сигналы управления шаговыми двигателями;
21 - сигналы управления трансфокатором;
22 - метаданные;
23 - информация о текущем положении (координатах) наклонно-поворотной платформы;
24 - информация с датчика движения и остановки;
25 - выходной видеопоток;
26 - метаданные объектов;
27 - команды управления наклонно-поворотной платформой;
28 - текущее положение (координаты) наклонно-поворотной платформы;
29 - сжатые видеопотоки;
30 - панорамный кадр;
31 - предшествующий кадр;
32 - текущее положение (координаты) наклонно-поворотной платформы;
33 - сжатые видеопотоки;
34 - панорамное изображение;
35, 36 - метаданные;
37 - видеопотоки формата RTPS;
38 - сообщения о тревоге;
39-43 - данные блока коммуникации.
Рассмотрим кратко функционирование заявленной телекамеры для формирования панорамного видеоизображения (Фиг. 1). Блок 10 формирования панорамного изображения управляет движением наклонно-поворотной платформы для обеспечения ее безостановочного движения по заранее заданному маршруту. Остальные элементы телекамеры, расположенные на наклонно-поворотной платформе, непрерывно формируют видеопоток. Каждый кадр сформированного видеопотока передают в блок 2 распознавания изображения, в котором осуществляют обнаружение и распознавание всех объектов, попавших в кадр. Полученный таким образом поток метаданных об обнаруженных объектах (тип объекта, его координаты в рамках кадра, время обнаружения) передают в блок 10 формирования панорамного изображения.
В блоке 10 формирования панорамного изображения на основе данных местоположение от наклонно-поворотной платформы встраивают полученный видеокадр в соответствующее место на панорамном изображении, координаты распознанных объектов пересчитывают из координат в рамках кадра в координаты в рамках общей панорамы.
Сформированное таким образом панорамное изображение вместе с потоком метаданных о распознанных объектах передают как один из формируемых телекамерой выходных видеопотоков.
Рассмотрим более подробно функционирование заявленной телекамеры для формирования панорамного видеоизображения (Фиг. 1).
С помощью видеосенсора 1 (рис. 1) формируют основной видеопоток 18, который поступает напрямую в блок 2 распознавания изображений и в блок 5 наложения служебной информации.
Блок 2 распознавания изображений работает по одному кадру, что позволяет проводить обнаружение объектов на изображении, полученном с движущейся телекамеры. Тип и координаты 19 относительно кадра обнаруженных объектов передают в блок 6 принятия решения и формирования метаданных.
В блоке 6 принятия решения и формирования метаданных, на основе полученных от блока 2 распознавания изображений оценок соответствия объекта, принимают решение о выделении или игнорировании объекта. В случае принятия решения о выделении объекта, на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, формируют метаданные в координатах панорамного изображения. Сформированный таким образом поток метаданных 26 подают в блок 10 формирования панорамного изображения для встраивания метаданных в панорамное изображение. Аналогичный поток метаданных 22 передают в блок 5 наложения служебной информации.
В блоке 5 наложения служебной информации, на основе полученных метаданных 22 осуществляют наложение рамок на обнаруженные объекты и другой визуальной информации об объекте на видеокадры из входного основного видеопотока 18, при этом формируют выходной видеопоток 25.
С помощью видеокодека 9 сжимают входной видеопоток 25 и формируют один или нескольких видеопотоков 33 с различными разрешениями, в соответствии с заданным режимом работы телекамеры. Полученные таким образом, сжатые видеопотоки 33 с помощью видеокодека 9 передают на вход блока 12 формирования видеопотоков (RTSP streaming) и на вход блока 10 формирования панорамного изображения.
На вход блока 10 формирования панорамного изображения поступают сжатые видеопотоки 29, синхронизированный с ним поток метаданных 26, информация 28 о текущем положении (координатах) наклонно-поворотной платформы и предшествующий кадр 31 от блока 11 накопления кадров. На основе этих данных в блоке 11 формирования панорамного изображения осуществляют «склейку» панорамного изображения, устраняют дублирование метаданных от соседних кадров и формируют команды 27 управления наклонно-поворотной платформой для ее движения по заданной траектории. Полученное панорамное изображение 34 передают в блок 12 формирования видеопотоков (RTSP streaming), это же кадр панорамного изображения 30 передают в блок 11 накопления кадров. Прореженный поток метаданных 35, 36 передают в блок 13 формирования тревог и блок 15 коммуникаций.
В блоке 11 накопления кадров осуществляют буферизацию кадров, для последующего формирования единого панорамного кадра изображения.
В блоке 12 формирования видеопотоков (RTSP streaming) подготавливают сжатые видеопотоки 33 и 34 к трансляции потребителю в виде видеопотоков 37 формата RTSP (real time streaming protocol - потоковый протокол реального времени). Видеопотоков 37 может быть несколько, с различными разрешениями. Готовые видеопотоки формата RTPS 37 передают в блок 15 коммуникаций.
В блоке 13 формирования тревог на основе поступающих в него метаданных 35 и заранее заданных тревожных линий/зон формируют следующие виды сообщений о тревоге:
- объект пересек линию;
- объект появился в зоне;
- объект пропал в зоне;
- объект зашел в зону;
- объект вышел из зоны;
- объект слишком долго находится в зоне.
Сформированный таким образом поток сообщений 38 о тревоге передают в блок 15 коммуникаций.
Блок 7 управления наклонно-поворотной платформой на вход получает информацию 24 с датчика 8 движения и остановки и команды 27 на перемещение наклонно-поворотной платформы. На основе этой информации в блоке 7 управления наклонно-поворотной платформой формируют сигналы 20 управления шаговыми двигателями 3 наклонно-поворотной платформы и сигналы 21 управления трансфокатором 4, при этом на выходы блока 7 управления наклонно-поворотной платформой поступает информация 23, 28 и 32 о текущем положении наклонно-поворотной платформы и трансфокатора.
С помощью блока 14 поддержки ONVIF (Open Network Video Interface Forum - отраслевая международная организация, которая занимается разработкой стандартизованных протоколов для взаимодействия различного оборудования и программных средств, входящих в состав систем безопасности) обеспечивают взаимодействие 39, 41 через блок 15 коммуникаций 15 с внешними объектами 17 в соответствии со стандартом ONVIF.
С помощью WEB интерфейса 16 передают внешние команды 40, 42 управления телекамерой.
С помощью блока 15 коммуникаций обеспечивают соединение и взаимодействие 43 с внешними, по отношению к телекамере, объектами 17.
Заявленное изобретение представляет собой полностью автономную систему, реализованную в виде телекамеры установленной на управляемой наклонно-поворотной платформе, без использования внешних вычислителей для управления движением наклонно-поворотной платформы по предварительно заданному маршруту, выявления и распознавания объектов на каждом кадре видеопотока и формирования единого панорамного кадра в процессе движения наклонно-поворотной платформы по маршруту. Такое решение позволяет резко снизить требования к вычислительной мощности управляющих системами видеонаблюдения вычислительных устройств и систем или увеличить число одновременно задействованных телекамер. Кроме того, использование заявленного изобретения позволяет снизить требования к качеству и пропускной способности канала передачи данных от телекамеры до управляющего вычислительного устройства.
Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.
Claims (30)
1. Телекамера для формирования панорамного видеоизображения и распознавания объектов на нем, содержащая наклонно-поворотную платформу, на которой установлены видеосенсор 1, выход которого соединен с входом блока 2 распознавания изображений и с входом блока 5 наложения служебной информации, выход которого соединен с видеокодеком 9, первый и второй выходы которого соединены соответственно с четвертым входом блока 10 формирования панорамного изображения и с первым входом блока 12 формирования видеопотоков, второй вход которого соединен с первым выходом блока 10 формирования панорамного изображения, а выход блока 2 распознавания изображений соединен с первым входом блока 6 принятия решения и формирования метаданных, выход которого соединен с первым входом блока 10 формирования панорамного изображения, второй выход которого соединен с входом блока 13 формирования тревог, первый, второй, третий, четвертый и пятый выходы блока 7 управления наклонно-поворотной платформой соединены соответственно с трансфокатором 4, с шаговыми двигателями 3 наклонно-поворотной платформы, со вторым входом блока 6 принятия решения и формирования метаданных, со вторым входом блока 10 формирования панорамного изображения и с первым входом блока 15 коммуникаций, второй, третий, четвертый, пятый и шестой входы которого соединены соответственно с третьим выходом блока 10 формирования панорамного изображения, с выходом блока 13 формирования тревог, с выходом блока 12 формирования видеопотоков, с выходом блока 14 поддержки ONVIF и с выходом WEB интерфейса 16, вход которого соединен с первым выходом блока 15 коммуникаций, второй вход которого соединен с выходом блока 14 поддержки ONVIF, а третий и четвертый выходы блока 10 формирования панорамного изображения соединены соответственно с первым входом блока 7 управления опорно-поворотной платформой и с входом блока 11 накопления кадров, выход которого соединен с четвертым входом блока 10 формирования панорамного изображения, причем
- видеосенсор 1 выполнен с возможностью формирования основного видеопотока и передачи его в блок 5 наложения служебной информации и в
- блок 2 распознавания изображений, который выполнен с возможностью покадрового обнаружения объектов на изображении, определения типа и координат относительно кадра обнаруженных объектов и передачи их в
- блок 6 принятия решения и формирования метаданных, который выполнен с возможностью анализа данных, полученных от блока 2 распознавания изображений, при этом принятия решения о выделении или игнорировании объекта, причем в случае принятия решения о выделении объекта, с возможностью формирования метаданных в координатах панорамного изображения на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, и с возможностью передачи потока метаданных в блок 10 формирования панорамного изображения и в
- блок 5 наложения служебной информации, который выполнен с возможностью наложения рамок на обнаруженные объекты и другой визуальной информации об объекте на видеокадры из входного потока, при этом формирования выходного видеопотока и передачи его в
- видеокодек 9, который выполнен с возможностью сжатия видеопотока, при этом формирования множества сжатых видеопотоков с различными разрешениями, в соответствии с заданным режимом работы телекамеры, и передачи сжатых видеопотоков в блок 12 формирования видеопотоков и в
- блок 10 формирования панорамного изображения, который выполнен с возможностью получения сжатого видеопотока, синхронизированного с ними потока метаданных, информации о текущем положении (координатах) наклонно-поворотной платформы от блока 7 управления наклонно-поворотной платформой и предшествующего кадра от блока 11 накопления кадров, и на основе полученных данных с возможностью осуществления «склейки» панорамного изображения, устранения дублирования метаданных от соседних кадров и формирования команды управления наклонно-поворотной платформой для ее движения по заданной траектории, и передачи панорамного изображения в блок 12 формирования видеопотоков и в блок 11 накопления кадров, а прореженного потока метаданных в блок 13 формирования тревог и блок 15 коммуникаций,
- блок 11 накопления кадров выполнен с возможностью буферизации кадров,
- блок 12 формирования видеопотоков выполнен с возможностью подготовки сжатых видеопотоков к трансляции потребителю, при этом преобразования их в видеопотоки формата RTSP и передачи в блок 15 коммуникаций,
- блок 13 формирования тревог выполнен с возможностью формирования сообщений о тревоге, на основе поступающих в него метаданных и заранее заданных тревожных линий и зон, и передачи сообщений о тревоге в блок 15 коммуникаций,
- блок 7 управления наклонно-поворотной платформой выполнен с возможностью получения информации с датчика 8 движения и остановки и команды управления наклонно-поворотной платформой и с возможностью формирования сигналов управления шаговыми двигателями 3 наклонно-поворотной платформы, а также сигналов управления трансфокатором 4, при этом передачи информации о текущем положении (координатах) наклонно-поворотной платформы и трансфокатора в блок 6 принятия решения и формирования метаданных, в блок 10 формирования панорамного изображения и в блок 15 коммуникаций,
- блок 14 поддержки ONVIF выполнен с возможностью обеспечения взаимодействия телекамеры через блок 15 коммуникаций с внешними объектами в соответствии со стандартом ONVIF,
- WEB интерфейс 16 выполнен с возможностью передачи внешних команд управления телекамерой,
- блок 15 коммуникаций выполнен с возможностью соединения и взаимодействия с внешними объектами.
2. Телекамера по п. 1, отличающаяся тем, что блок 13 формирования тревог выполнен с возможностью формирования сообщений о тревоге, выбранных из набора сообщений о тревоге: объект пересек линию; объект появился в зоне; объект пропал в зоне; объект зашел в зону; объект вышел из зоны; объект слишком долго находится в зоне.
3. Способ для формирования панорамного видеоизображения и распознавания объектов на нем, в котором
- с помощью видеосенсора 1 формируют основной видеопоток и передают его в блок 5 наложения служебной информации и в
- блок 2 распознавания, с помощью которого покадрово обнаруживают объекты на изображении, определяют тип и координаты относительно кадра обнаруженных объектов и передают их в
- блок 6 принятия решения и формирования метаданных, с помощью которого анализируют данные, полученные от блока 2 распознавания изображений, при этом принимают решение о выделении или игнорировании объекта, причем в случае принятия решения о выделении объекта, формируют метаданные в координатах панорамного изображения на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, и передают поток метаданных в блок 10 формирования панорамного изображения и в
- блок 5 наложения служебной информации, с помощью которого накладывают рамки на обнаруженные объекты и другую визуальную информацию об объекте на видеокадры из входного потока, при этом формируют выходной видеопоток и передают его в
- видеокодек 9, с помощью которого сжимают видеопоток, при этом формируют сжатые видеопотоки с различными разрешениями, в соответствии с заданным режимом работы телекамеры, и передают сжатые видеопотоки в блок 12 формирования видеопотоков и в
- блок 10 формирования панорамного изображения, с помощью которого получают сжатые видеопотоки, синхронизированный с ними поток метаданных, информацию о текущем положении (координатах) наклонно-поворотной платформы от блока 7 управления наклонно-поворотной платформой и предшествующий кадр от блока 11 накопления кадров, и на основе полученных данных осуществляют «склейку» панорамного изображения, устраняют дублирование метаданных от соседних кадров и формируют команды управления наклонно-поворотной платформой для ее движения по заданной траектории, и передают панорамное изображение в блок 12 формирования видеопотоков и в блок 11 накопления кадров, а прореженный поток метаданных в блок 13 формирования тревог и блок 15 коммуникаций,
- с помощью блока 11 накопления кадров буферизируют кадры,
- с помощью блока 12 формирования видеопотоков подготавливают сжатые видеопотоки к трансляции потребителю, при этом преобразовывают их в видеопотоки формата RTSP и передают в блок 15 коммуникаций,
- с помощью блока 13 формирования тревог формируют сообщения о тревоге, на основе поступающих в него метаданных и заранее заданных тревожных линий и зон, и передают сообщения о тревоге в блок 15 коммуникаций,
- с помощью блока 7 управления наклонно-поворотной платформой получают информацию с датчика 8 движения и остановки и команды управления наклонно-поворотной платформой и формируют сигналы управления шаговыми двигателями 3 наклонно-поворотной платформы, а также сигналы управления трансфокатором 4, при этом передают информацию о текущем положении (координатах) наклонно-поворотной платформы и трансфокатора в блок 6 принятия решения и формирования метаданных, в блок 10 формирования панорамного изображения и в блок 15 коммуникаций,
- с помощью блока 14 поддержки ONVIF обеспечивают взаимодействие телекамеры через блок 15 коммуникаций с внешними объектами в соответствии со стандартом ONVIF,
- с помощью WEB интерфейса 16 передают внешние команды управления телекамерой,
- с помощью блока 15 коммуникаций осуществляют соединение и взаимодействие с внешними объектами.
4. Способ по п. 3, отличающийся тем, что с помощью блока 13 формирования тревог формируют сообщения о тревоге, выбранные из набора сообщений о тревоге: объект пересек линию; объект появился в зоне; объект пропал в зоне; объект зашел в зону; объект вышел из зоны; объект слишком долго находится в зоне.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018119699A RU2686154C1 (ru) | 2018-05-29 | 2018-05-29 | Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем |
| PCT/RU2019/050070 WO2020005114A1 (ru) | 2018-05-29 | 2019-05-29 | Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018119699A RU2686154C1 (ru) | 2018-05-29 | 2018-05-29 | Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2686154C1 true RU2686154C1 (ru) | 2019-04-24 |
Family
ID=66314769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018119699A RU2686154C1 (ru) | 2018-05-29 | 2018-05-29 | Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2686154C1 (ru) |
| WO (1) | WO2020005114A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2585370A (en) * | 2019-07-02 | 2021-01-13 | Parsempo Ltd | Digital display set-up |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2423736C1 (ru) * | 2008-10-27 | 2011-07-10 | Сони Корпорейшн | Устройство обработки изображения, способ обработки изображения и программа |
| US8427552B2 (en) * | 2008-03-03 | 2013-04-23 | Videoiq, Inc. | Extending the operational lifetime of a hard-disk drive used in video data storage applications |
| US20160028950A1 (en) * | 2014-07-23 | 2016-01-28 | Disney Enterprises, Inc. | Panoramic Video from Unstructured Camera Arrays with Globally Consistent Parallax Removal |
| US20170287200A1 (en) * | 2016-04-05 | 2017-10-05 | Qualcomm Incorporated | Dual fisheye image stitching for spherical image content |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020054211A1 (en) * | 2000-11-06 | 2002-05-09 | Edelson Steven D. | Surveillance video camera enhancement system |
| US7697025B2 (en) * | 2002-08-28 | 2010-04-13 | Sony Corporation | Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display |
| JP4940820B2 (ja) * | 2006-08-09 | 2012-05-30 | パナソニック株式会社 | ネットワークカメラ |
-
2018
- 2018-05-29 RU RU2018119699A patent/RU2686154C1/ru active
-
2019
- 2019-05-29 WO PCT/RU2019/050070 patent/WO2020005114A1/ru active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8427552B2 (en) * | 2008-03-03 | 2013-04-23 | Videoiq, Inc. | Extending the operational lifetime of a hard-disk drive used in video data storage applications |
| RU2423736C1 (ru) * | 2008-10-27 | 2011-07-10 | Сони Корпорейшн | Устройство обработки изображения, способ обработки изображения и программа |
| US20160028950A1 (en) * | 2014-07-23 | 2016-01-28 | Disney Enterprises, Inc. | Panoramic Video from Unstructured Camera Arrays with Globally Consistent Parallax Removal |
| US20170287200A1 (en) * | 2016-04-05 | 2017-10-05 | Qualcomm Incorporated | Dual fisheye image stitching for spherical image content |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2585370A (en) * | 2019-07-02 | 2021-01-13 | Parsempo Ltd | Digital display set-up |
| GB2585370B (en) * | 2019-07-02 | 2022-02-23 | Parsempo Ltd | Digital display set-up |
| US11449299B2 (en) | 2019-07-02 | 2022-09-20 | Parsempo Ltd. | Initiating and determining viewing distance to a display screen |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020005114A1 (ru) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9270941B1 (en) | Smart video conferencing system | |
| US9674453B1 (en) | Using local talker position to pan sound relative to video frames at a remote location | |
| US10911694B2 (en) | System and method for creating metadata model to improve multi-camera production | |
| US9786144B2 (en) | Image processing device and method, image processing system, and image processing program | |
| EP3391639B1 (en) | Generating output video from video streams | |
| US8451329B2 (en) | PTZ presets control analytics configuration | |
| KR101120131B1 (ko) | 지능형 광역 감시 카메라, 그 제어회로 및 제어방법, 이를 이용한 영상 감시 시스템 | |
| EP1696396A2 (en) | Image pickup apparatus and image distributing method | |
| EP2724343B1 (en) | Video remixing system | |
| CN102801963B (zh) | 基于高清数字摄像头监控的电子ptz方法及装置 | |
| CN102342100A (zh) | 用于在网络环境中提供三维成像的系统和方法 | |
| US20110255590A1 (en) | Data transmission apparatus and method, network data transmission system and method using the same | |
| US20180213185A1 (en) | Method and system for monitoring a scene based on a panoramic view | |
| RU2686154C1 (ru) | Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем | |
| US9071731B2 (en) | Image display device for reducing processing load of image display | |
| JP2000069455A (ja) | 遠隔監視装置 | |
| JP2007043466A (ja) | 画像合成装置並びに多カメラ監視システム | |
| RU182656U1 (ru) | Телекамера для формирования панорамного видеоизображения и распознавания объектов на нем | |
| CN110570614B (zh) | 一种视频监控系统及智能相机 | |
| WO2021028061A1 (en) | Collaborative object detection | |
| CN116016950A (zh) | 用于传输视频流的方法和系统 | |
| US20220224862A1 (en) | Control system and method | |
| RU2682315C1 (ru) | Способ видеосъемки телекамерой, установленной на наклонно-поворотной платформе | |
| KR102090879B1 (ko) | 원거리 얼굴인식 및 다채널 모니터링 시스템 | |
| KR20200047438A (ko) | 원거리 얼굴인식 및 다채널 모니터링 시스템 |