RU2722771C1 - Оптико-электронное устройство наблюдения для наземного транспортного средства - Google Patents

Оптико-электронное устройство наблюдения для наземного транспортного средства Download PDF

Info

Publication number
RU2722771C1
RU2722771C1 RU2018146526A RU2018146526A RU2722771C1 RU 2722771 C1 RU2722771 C1 RU 2722771C1 RU 2018146526 A RU2018146526 A RU 2018146526A RU 2018146526 A RU2018146526 A RU 2018146526A RU 2722771 C1 RU2722771 C1 RU 2722771C1
Authority
RU
Russia
Prior art keywords
image
camera
field
view
images
Prior art date
Application number
RU2018146526A
Other languages
English (en)
Inventor
Паскаль ЖЕРО
Доминик БОН
Людовик ПЕРРЮШО
Original Assignee
Таль
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Таль filed Critical Таль
Application granted granted Critical
Publication of RU2722771C1 publication Critical patent/RU2722771C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H7/00—Armoured or armed vehicles
    • F41H7/02—Land vehicles with enclosing armour, e.g. tanks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0085—Adjustable or movable supports with adjustment by rotation in their operational position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/24—Military vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Изобретение относится к оптико-электронному устройству наблюдения для наземного транспортного средства. Оптико-электронное устройство наблюдения, предназначенное для оснащения наземного транспортного средства (3000), содержит панорамный датчик (300) изображений; по меньшей мере одну ориентируемую камеру (310), имеющую лучшее разрешение в поле обзора, которое меньше, чем поле обзора панорамного датчика изображений, и устройство (330, 430) отображения изображений; процессор (320) данных, который выполнен с возможностью или запрограммирован для: приема по меньшей мере одного первого изображения (201) от упомянутого панорамного датчика изображений и одного второго изображения (202) от упомянутой ориентируемой камеры; синтезирования из первого и второго изображений составного изображения (210), в котором по меньшей мере один участок второго изображения (202) вставлен в участок (2011) первого изображения; и передачи упомянутого составного изображения в устройство отображения изображения. Изобретение позволяет повысить поле обзора. 3 н. и 10 з.п. ф-лы, 8 ил.

Description

Изобретение относится к оптико-электронному устройству наблюдения для наземного транспортного средства, в частности, бронированного транспортного средства или танка.
Как известно, такое транспортное средство оснащается множеством камер обнаружения/целеуказания, которые работают в видимом или инфракрасном диапазоне, причем такие камеры являются ориентируемыми и имеют поле обзора, составляющее несколько градусов - как правило, изменяющееся между 3° и 9° или между 4° и 12° и, возможно, способное достигать 20°. Эти камеры имеют очень хорошую разрешающую способность, но их сложно использовать ввиду их малого поля обзора: оператору трудно определить местоположение небольшой области, наблюдаемой такой камерой, в условиях окружающей обстановки, в которых движется транспортное средство. При этом говорят об «эффекте соломинки», поскольку в этом случае оператор как будто бы смотрит через соломинку.
Можно сгладить этот недостаток путем изменения оптики в этих камерах таким образом, чтобы они могли работать в сверхширокопольном режиме (с полем размером до 40°-45°). Реализация такого решения является дорогостоящей, и, кроме того, переключение камеры в сверхширокопольный режим препятствует одновременному наблюдению в малом поле.
В документе US 2002/75258 описывается система наблюдения, содержащая панорамную первую камеру с множеством линз и ориентируемую вторую камеру высокого разрешения. В этой системе изображение высокого разрешения, получаемое второй камерой, вставляется в панорамное изображение, выдаваемое с первой камеры.
Целью изобретения является устранение недостатков известного уровня техники и создание системы наблюдения, которая лучше соответствует требованиям экипажа транспортного средства, такого как бронированное транспортное средство (боевая бронированная машина, AFV) или танк.
С этой целью в нем используется то обстоятельство, что современные бронированные транспортные средства часто оснащаются сверхширокопольной системой наблюдения, например, полусферическим датчиком, таким как система «ANTARES» компании Thales, которая обеспечивает наблюдение с азимутальным углом, равным 360°, и вдоль вертикальной дуги от -15° до 75°. Такое сверхширокое поле обзора включает в себя поле обзора одной или более из камер обнаружения/целеуказания, по меньшей мере, для некоторых диапазонов ориентации последних. Идея, на которой основано данное изобретение, при этом состоит в объединении на том или ином дисплее участка изображения, полученного такой сверхширокопольной системой наблюдения, и изображения, полученного камерой обнаружения/целеуказания. В соответствии с изобретением, изображение с высоким разрешением и малым полем, передаваемое камерой обнаружения/целеуказания, вставляется в участок изображения с более низким разрешением и более широким полем, выдаваемого с системы наблюдения. Таким образом осуществляется получение синтезированного изображения, соответствующего тому изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и камера обнаружения/целеуказания, но большее поле обзора. Предпочтительно пользователь может увеличивать масштаб, чтобы использовать высокое разрешение камеры обнаружения/целеуказания, или уменьшать масштаб, чтобы увеличить свое поле обзора и, например, идентифицировать реперные точки.
Таким образом, одним объектом изобретения является оптико-электронное устройство наблюдения, предназначенное для оборудования наземного транспортного средства, содержащее:
- панорамный датчик изображений;
- по меньшей мере одну ориентируемую камеру, имеющую лучшее разрешение в поле обзора, которое меньше, чем поле обзора панорамного датчика изображений, и которое содержится в последнем поле обзора, для по меньшей мере одного набора ориентаций камеры; и
- устройство отображения изображений;
а также содержащее процессор данных, который выполнен с возможностью или запрограммирован для:
- приема по меньшей мере одного первого изображения от упомянутого панорамного датчика изображений и одного второго изображения от упомянутой ориентируемой камеры;
- синтезирования из первого и второго изображений составного изображения, в котором по меньшей мере один участок второго изображения вставлен в участок первого изображения; и
- передачи упомянутого составного изображения в устройство отображения изображений; причем процессор данных выполнен с возможностью или запрограммирован для синтезирования упомянутого составного изображения таким образом, что оно соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора.
В соответствии с конкретными вариантами осуществления такого устройства:
- Процессор данных может быть выполнен с возможностью или запрограммирован для изменения размера поля обзора упомянутого составного изображения в ответ на команду, исходящую от пользователя.
- Процессор данных может быть выполнен с возможностью или запрограммирован для синтеза в реальном времени потока упомянутых составных изображений из потока упомянутых первых изображений и потока упомянутых вторых изображений.
- Устройство отображения изображений может представлять собой портативное устройство отображения, снабженное датчиками ориентации, причем устройство дополнительно содержит систему для автоматического регулирования ориентации (сервоуправления ориентацией) камеры в соответствии с ориентацией портативного устройства отображения.
- Панорамный датчик изображений и ориентируемая камера могут быть выполнены с возможностью работы в различных спектральных диапазонах.
- Панорамный датчик изображений может представлять собой полусферический датчик.
- Ориентируемая камера может иметь поле обзора, возможно изменяемое, в диапазоне от 1° до 20°, а предпочтительно - от 3° до 12°.
Еще одним объектом изобретения является бронированное транспортное средство, оснащенное таким оптико-электронным устройством наблюдения.
Еще одним объектом изобретения является способ, реализуемый таким оптико-электронным устройством, который включает в себя следующие этапы:
- прием первого изображения от панорамного датчика изображений;
- прием второго изображения от ориентируемой камеры, причем упомянутое второе изображение имеет лучшее разрешение в поле обзора, которое меньше, чем поле обзора первого изображения, и которое содержится в последнем поле обзора;
- синтезирование из первого и второго изображений составного изображения, в котором по меньшей мере один участок второго изображения вставлен в участок первого изображения, причем упомянутое составное изображение соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора; и
- отображение упомянутого составного изображения.
В соответствии с конкретными вариантами осуществления такого способа:
- Способ может также включать в себя следующий этап: изменение размера поля обзора упомянутого составного изображения в ответ на команду, исходящую от пользователя.
- Поток упомянутых составных изображений может быть синтезирован в реальном времени из потока упомянутых первых изображений и потока упомянутых вторых изображений.
- Упомянутое составное изображение может отображаться на портативном устройстве отображения, снабженном датчиками ориентации, причем данный способ также включает в себя следующие этапы: определение ориентации упомянутого портативного устройства отображения по сигналам, генерируемым упомянутыми датчиками; и автоматическое регулирование ориентации камеры в соответствии с ориентацией портативного устройства отображения.
Прочие признаки, детали и преимущества изобретения станут понятными после прочтения описания, приведенного со ссылкой на прилагаемые чертежи, которые приводятся в качестве примера и на которых:
- фиг. 1 является схематическим представлением принципа изобретения;
- фиг. 2А-2Е иллюстрируют различные изображения, отображаемые во время реализации изобретения; и
- фиг. 3 и 4 схематически иллюстрируют два оптико-электронных устройства в соответствии с соответствующими вариантами осуществления изобретения.
В данном документе:
- Выражение «камера обнаружения/целеуказания» означает ориентируемую цифровую камеру с относительно ограниченным полем обзора - как правило, меньшим или равным 12° или даже 15°, но иногда 20° как в азимутальной плоскости, так и вдоль вертикальной дуги. Камера обнаружения/целеуказания может работать в видимой области спектра, в ближней инфракрасной области (ночное видение), в средней или дальней инфракрасной области (тепловизионная камера) или, более того, являться многоспектральной или даже гиперспектральной.
- Выражения «сверхширокопольный» и «панорамный» приравниваются друг к другу и означают поле обзора, простирающееся по меньшей мере на 45° в азимутальной плоскости, вдоль вертикальной дуги или в обоих направлениях.
- Выражение «полусферический датчик» означает датчик изображения, имеющий поле обзора, простирающееся на 360° в азимутальной плоскости и по меньшей мере на 45° вдоль вертикальной дуги. Он может представлять собой отдельный датчик, например, датчик с использованием объектива типа «рыбий глаз», или, более того, составной датчик, состоящий из набора камер с меньшим полем обзора и цифрового процессора, который объединяет изображения, получаемые этими камерами. Полусферический датчик является конкретным типом панорамного, или сверхширокопольного, датчика изображения.
Как объяснялось выше, один аспект изобретения состоит в объединении на том или ином дисплее участка изображения, полученного системой полусферического наблюдения (или, в более общем случае, сверхширокопольной системой наблюдения), и изображения, полученного камерой обнаружения/целеуказания. Это приводит к синтезу одного или более составных изображений, которые отображаются с помощью одного или более устройств отображения, таких как экраны, гарнитуры виртуальной реальности и т.д.
При использовании устройства в соответствии с изобретением оператор может, например, выбирать широкопольный режим наблюдения - скажем, равное 20° (в азимутальной плоскости) × 15° (вдоль вертикальной дуги). Выбор осуществляется с использованием подходящего интерфейсного средства: клавиатуры, координатного манипулятора, джойстика и т.д. Надлежащим образом запрограммированный процессор данных при этом выбирает выдаваемый с системы полусферического наблюдения участок изображения, имеющий требуемый размер поля и ориентированный в направлении визирования камеры обнаружения/целеуказания. Изображение, полученное камерой обнаружения/целеуказания, которое, например, соответствует полю размером 9° × 6°, вставляется в центр этого изображения с тем же увеличением. Это иллюстрируется в левой части фиг. 1, в которой позицией 100 обозначено составное изображение, 101 соответствует внешней части этого составного изображения, которое поступает с системы полусферического наблюдения и которое обеспечивает «контекст», позволяющий оператору получать свои координаты, в то время как 102 обозначает его центральную часть, которая поступает с камеры обнаружения/целеуказания. Необходимо отметить, что элементарные изображения 101 и 102 имеют одинаковое увеличение, поэтому нет разрыва непрерывности сцены, отображаемой составным изображением. Если оставить в стороне то обстоятельство, что элементарные изображения 101 и 102 не имеют одинаковое разрешение и могут соответствовать различным спектральным диапазонам, и что сложно избежать параллакса, составное изображение соответствует изображению, которое было бы получено камерой - ее можно называть виртуальной камерой - имеющей ту же ориентацию, что и камера обнаружения/целеуказания, но большее поле обзора.
В отличие от случая системы наблюдения из документа US 2002/75258, когда ориентация камеры обнаружения/целеуказания изменяется, элементарное изображение 102 не перемещается внутри элементарного изображения 101. Напротив, поле обзора последнего изменяется, чтобы элементарное изображение 102 выравнивалось по его центральной части. Таким образом, именно центральная часть составного изображения всегда имеет высокое разрешение.
Если оператор уменьшает масштаб, тем самым дополнительно увеличивая размер поля обзора, центральная часть 102 изображения сжимается. Если он увеличивает масштаб, эта центральная часть 102 увеличивается в ущерб внешней части 101, и это показано в центральной картинке фиг. 1, до тех пор, пока упомянутая внешняя часть не исчезнет (правая картинка на чертеже). В данном случае упоминается функциональность цифрового масштабирования, реализуемая путем изменения отображения. Камера обнаружения/целеуказания может также иметь оптическое масштабирование; когда масштаб увеличивают оптически, однако, размер поля изображения, выдаваемого с камеры, уменьшается, и, следовательно, центральная часть 102 составного изображения 100 сжимается. Цифровое масштабирование, применяемое к составному изображению 100, может при необходимости восстанавливать размерное соотношение между изображениями 101 и 102.
Предпочтительно камера обнаружения/целеуказания и система полусферического наблюдения передают потоки изображений со скоростью, составляющей несколько кадров в секунду. Предпочтительно эти изображения объединяются в реальном времени или почти в реальном времени, т.е., с задержкой, не превышающей 1 секунду, а предпочтительно 0,02 секунды (последнее значение соответствует стандартной длительности кадра).
Фиг. 2А-2Е подробнее иллюстрируют составные изображения, отображаемые на экране 2 оптико-электронного устройства в соответствии с изобретением.
На фиг. 2А показан общий вид этого экрана.
Полоса 20 в нижней части экрана соответствует первому составному изображению, получаемому путем объединения панорамного изображения 201 (360° в азимутальной плоскости, от -15° до +75° перпендикулярно этой плоскости), выдаваемого с полусферического датчика, и изображения 202, выдаваемого с камеры обнаружения/целеуказания, которой в данном случае является инфракрасная камера. В действительности прямоугольник панорамного изображения 201 заменяется изображением 202 (или в некоторых случаях участком этого изображения). Если камера обнаружения/целеуказания снабжена оптическим масштабированием, изображение 202 может иметь переменный размер, но в любом случае оно будет занимать лишь незначительную часть панорамного изображения 201. На фиг. 2В изображена отдельная часть этой полосы. Необходимо отметить, что в случае отображения полосой составное изображение не обязательно расположено по центру направления визирования камеры обнаружения/целеуказания.
Верхняя часть 21 экрана отображает второе составное изображение 210, показывающее изображение 202, выдаваемое с камеры обнаружения/целеуказания и вставленное в контекст 2011, выдаваемый с полусферического датчика изображений, иными словами, участок 2011 панорамного изображения 201. Пользователь может принять решение активировать цифровое масштабирование (независимо от оптического масштабирования камеры обнаружения/целеуказания), чтобы уменьшить размер поля обзора составного изображения 210. Вставленное изображение 202 вследствие этого оказывается увеличенным в ущерб участку 2011 панорамного изображения. Фиг. 2C, 2D и 2E соответствуют все более высоким уровням масштабирования. Фиг. 2Е, в частности, соответствует предельному случаю, в котором отображается только изображение 202, выдаваемое с камеры обнаружения/целеуказания (см. правую часть фиг. 1). Разумеется, пользователь может в любой момент принять решение уменьшить масштаб, чтобы вновь увидеть контекст изображения.
Одно преимущество данного изобретения состоит в том, что оно позволяет извлекать пользу от отображения и в виде полосы 20 с идентификацией области, наблюдаемой камерой обнаружения/целеуказания, и составного изображения 21 с промежуточным размером поля. Это было бы невозможным, если бы использовалось только оптическое масштабирование камеры обнаружения/целеуказания .
Другая часть экрана может использоваться для отображения детальных видов панорамного изображения 201. Это не имеет непосредственного отношения к данному изобретению.
Фиг. 3 схематически иллюстрирует оптико-электронное устройство в соответствии с первым вариантом осуществления изобретения, установленное на бронированное транспортное средство 3000. Позицией 300 обозначен полусферический датчик изображения, установленный на крыше транспортного средства; 310 соответствует камере обнаружения/целеуказания, установленной на башне; 311 - управляющему устройству типа джойстика, которое позволяет оператору 350 управлять ориентацией камеры 310 и ее оптическим масштабированием; 320 обозначает процессор данных, который принимает потоки изображений от датчика 300 и от камеры 310 и который синтезирует одно или более составных изображений, отображаемых на экране 330. В нижней части данного чертежа показаны эти составные изображения 210, описанные выше со ссылкой на фиг. 2A-2E.
Фиг. 4 схематически иллюстрирует оптико-электронное устройство в соответствии со вторым вариантом осуществления изобретения, также установленное на бронированное транспортное средство 3000. Это устройство отличается от устройства на фиг. 3 тем, что экран отображения и управляющее устройство 311 заменены портативным устройством 430 отображения, например, напоминающим бинокль, гарнитуру виртуальной реальности или планшет. Это устройство 430 снабжено датчиками положения и ориентации: гироскопами, акселерометрами, оптическими датчиками и т.д., позволяющими определять его положение и главным образом его ориентацию по отношению к системе координат, связанной с транспортным средством. Система 435 автоматического регулирования - некоторые компоненты которой могут использоваться совместно с процессором 320 данных - осуществляет автоматическое регулирование ориентации камеры 310 в соответствии с устройством 430. Составные изображения, отображаемые устройством, адаптируются в реальном времени к изменениям ориентации. При этом у оператора 350 складывается впечатление, что он смотрит сквозь броню транспортного средства 3000 с помощью бинокля с масштабированием. Кроме того, может иметься экран, который отображает, например, сверхширокопольное составное изображение, такое как полоса 20, изображенная на фиг. 2А.
В вышеописанных вариантах осуществления оптико-электронное устройство содержит одну сверхширокопольную систему наблюдения (полусферический датчик) и одну камеру обнаружения/целеуказания. Однако в более общем случае такое устройство может содержать множество сверхширокопольных систем наблюдения, например, работающих в различных спектральных диапазонах, и/или множество камер обнаружения/целеуказания, которые могут являться ориентируемыми, при необходимости независимо. Таким образом, может генерироваться и отображаться множество различных составных изображений.
Процессор данных может представлять собой универсальный компьютер или микропроцессорную плату, специализирующиеся на обработке изображений, или даже специализированную цифровую электронную схему. Для реализации изобретения он осуществляет алгоритмы обработки изображений, которые широко известны.

Claims (28)

1. Оптико-электронное устройство наблюдения, предназначенное для оборудования наземного транспортного средства (3000), содержащее:
- панорамный датчик (300) изображений;
- по меньшей мере одну ориентируемую камеру (310), имеющую лучшее разрешение в поле обзора, которое меньше, чем поле обзора панорамного датчика изображений, и которое содержится в последнем поле обзора, для по меньшей мере одного набора ориентаций камеры; и
- устройство (330, 430) отображения изображений;
также содержащее процессор (320) данных, который выполнен с возможностью или запрограммирован для:
- приема по меньшей мере одного первого изображения (201) от упомянутого панорамного датчика изображений и одного второго изображения (202) от упомянутой ориентируемой камеры;
- синтезирования из первого и второго изображений составного изображения (20, 210), в котором по меньшей мере один участок второго изображения (202) вставлен в участок (2011) первого изображения; и
- передачи упомянутого составного изображения в устройство отображения изображений;
отличающееся тем, что процессор (320) данных выполнен с возможностью или запрограммирован для синтезирования упомянутого составного изображения (210) таким образом, что оно соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора.
2. Оптико-электронное устройство наблюдения по п. 1, в котором процессор (320) данных выполнен с возможностью или запрограммирован для изменения размера поля обзора упомянутого составного изображения (210) в ответ на команду, исходящую от пользователя (350).
3. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором процессор (320) данных выполнен с возможностью или запрограммирован для синтеза в реальном времени потока упомянутых составных изображений из потока упомянутых первых изображений и потока упомянутых вторых изображений.
4. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором устройство (430) отображения изображений представляет собой портативное устройство отображения, снабженное датчиками ориентации, причем устройство наблюдения также содержит систему (435) автоматического регулирования ориентации камеры в соответствии с ориентацией портативного устройства отображения.
5. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором панорамный датчик (300) изображений и ориентируемая камера (310) выполнены с возможностью работы в различных спектральных диапазонах.
6. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором панорамный датчик (300) изображений представляет собой полусферический датчик.
7. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором ориентируемая камера (310) имеет поле обзора, возможно изменяемое, в диапазоне от 1° до 20°, а предпочтительно от 3° до 12°.
8. Бронированное транспортное средство (3000), оснащенное оптико-электронным устройством наблюдения по одному из предыдущих пунктов.
9. Способ наблюдения, реализуемый оптико-электронным устройством наблюдения по одному из пп. 1-7, включающий в себя следующие этапы:
- прием первого изображения (201) от панорамного датчика (300) изображений;
- прием второго изображения (202) от ориентируемой камеры (310), причем упомянутое второе изображение имеет лучшее разрешение в поле обзора, которое меньше, чем поле обзора первого изображения, и которое содержится в последнем поле обзора;
- синтезирование из первого и второго изображений составного изображения (210), в котором по меньшей мере один участок второго изображения вставлен в участок (2011) первого изображения, причем упомянутое составное изображение (210) соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора; и
- отображение упомянутого составного изображения.
10. Способ по п. 9, в котором упомянутое составное изображение (210) соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора.
11. Способ по любому из пп. 9 и 10, также включающий в себя следующий этап:
- изменение размера поля обзора упомянутого составного изображения (210) в ответ на команду, исходящую от пользователя.
12. Способ по одному из пп. 9-11, в котором синтезируют поток упомянутых составных изображений в реальном времени из потока упомянутых первых изображений и потока упомянутых вторых изображений.
13. Способ по одному из пп. 9-12, в котором упомянутое составное изображение отображают на портативном устройстве (430) отображения, снабженном датчиками ориентации, причем способ также включает в себя следующие этапы:
- определение ориентации упомянутого портативного устройства отображения по сигналам, генерируемым упомянутыми датчиками; и
- автоматическое регулирование ориентации камеры (210) в соответствии с ориентацией портативного устройства отображения.
RU2018146526A 2016-06-07 2017-06-01 Оптико-электронное устройство наблюдения для наземного транспортного средства RU2722771C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1600910A FR3052252B1 (fr) 2016-06-07 2016-06-07 Equipement optronique de vision pour un vehicule terrestre
FR1600910 2016-06-07
PCT/EP2017/063283 WO2017211672A1 (fr) 2016-06-07 2017-06-01 Equipement optronique de vision pour un vehicule terrestre

Publications (1)

Publication Number Publication Date
RU2722771C1 true RU2722771C1 (ru) 2020-06-03

Family

ID=57348724

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018146526A RU2722771C1 (ru) 2016-06-07 2017-06-01 Оптико-электронное устройство наблюдения для наземного транспортного средства

Country Status (9)

Country Link
US (1) US20190126826A1 (ru)
EP (1) EP3465086B1 (ru)
JP (1) JP2019526182A (ru)
CN (1) CN109313025A (ru)
CA (1) CA3026899A1 (ru)
FR (1) FR3052252B1 (ru)
IL (1) IL263345B (ru)
RU (1) RU2722771C1 (ru)
WO (1) WO2017211672A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2769043C2 (ru) * 2017-04-19 2022-03-28 Талес Оптико-электронная система для платформы и соответствующая платформа

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7203512B2 (ja) 2018-05-17 2023-01-13 株式会社小糸製作所 センサデータ生成装置
DE102018125790A1 (de) * 2018-10-17 2020-04-23 Rheinmetall Electronics Gmbh Vorrichtung zur validierbaren Ausgabe von Bildern
FR3100358B1 (fr) 2019-08-27 2021-09-03 Thales Sa Procédé d'aide à la detection d'éléments, dispositif et plateforme associés
FR3100357B1 (fr) 2019-08-27 2021-09-17 Thales Sa Procédé d'aide à la détection d'éléments, dispositif et plateforme associés
JP6965398B1 (ja) * 2020-05-14 2021-11-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
CN112519679A (zh) * 2020-11-26 2021-03-19 哈尔滨北方防务装备股份有限公司 一种基于4g传输的双节履带车环境辅助观察系统
FR3124608A1 (fr) * 2021-06-28 2022-12-30 Safran Electronics & Defense Dispositif d'observation a voies optronique et optique independantes et vehicule equipe d'un tel dispositif

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335754B1 (en) * 1997-12-03 2002-01-01 Mixed Reality Systems Laboratory, Inc. Synchronization between image data and location information for panoramic image synthesis
US6950120B1 (en) * 1997-12-03 2005-09-27 Canon Kabushiki Kaisha Camera layout for acquiring images used in panoramic synthesis
US20080106593A1 (en) * 2006-11-07 2008-05-08 The Board Of Trustees Of The Leland Stanford Jr. University System and process for synthesizing location-referenced panoramic images and video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
US6853809B2 (en) * 2001-01-30 2005-02-08 Koninklijke Philips Electronics N.V. Camera system for providing instant switching between wide angle and full resolution views of a subject
JP2003134375A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
US7995090B2 (en) * 2003-07-28 2011-08-09 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
IL189251A0 (en) * 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
US8687111B2 (en) * 2008-05-12 2014-04-01 Flir Systems, Inc. Optical payload with folded telescope and cryocooler
US20130335520A1 (en) * 2012-06-19 2013-12-19 Patrick Campbell Robotic Camera System with Context Display
WO2012090398A1 (ja) * 2010-12-28 2012-07-05 公立大学法人公立はこだて未来大学 画像撮像装置および画像提示システム
JP2012186591A (ja) * 2011-03-04 2012-09-27 Jvc Kenwood Corp カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
JP5935432B2 (ja) * 2012-03-22 2016-06-15 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
JP2015012550A (ja) * 2013-07-01 2015-01-19 キヤノン株式会社 撮像装置および撮像システム
US9646384B2 (en) * 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
JP2015115848A (ja) * 2013-12-13 2015-06-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9762815B2 (en) * 2014-03-27 2017-09-12 Intel Corporation Camera to capture multiple sub-images for generation of an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335754B1 (en) * 1997-12-03 2002-01-01 Mixed Reality Systems Laboratory, Inc. Synchronization between image data and location information for panoramic image synthesis
US6950120B1 (en) * 1997-12-03 2005-09-27 Canon Kabushiki Kaisha Camera layout for acquiring images used in panoramic synthesis
US20080106593A1 (en) * 2006-11-07 2008-05-08 The Board Of Trustees Of The Leland Stanford Jr. University System and process for synthesizing location-referenced panoramic images and video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2769043C2 (ru) * 2017-04-19 2022-03-28 Талес Оптико-электронная система для платформы и соответствующая платформа

Also Published As

Publication number Publication date
WO2017211672A1 (fr) 2017-12-14
IL263345A (en) 2018-12-31
US20190126826A1 (en) 2019-05-02
JP2019526182A (ja) 2019-09-12
CA3026899A1 (en) 2017-12-14
EP3465086A1 (fr) 2019-04-10
FR3052252A1 (fr) 2017-12-08
IL263345B (en) 2021-06-30
CN109313025A (zh) 2019-02-05
FR3052252B1 (fr) 2019-05-10
EP3465086B1 (fr) 2020-07-22

Similar Documents

Publication Publication Date Title
RU2722771C1 (ru) Оптико-электронное устройство наблюдения для наземного транспортного средства
KR102502404B1 (ko) 정보 처리 장치 및 방법, 그리고 프로그램
US9270976B2 (en) Multi-user stereoscopic 3-D panoramic vision system and method
JP5213880B2 (ja) パノラマ画像処理システム
US20040100443A1 (en) Method and system to allow panoramic visualization using multiple cameras
US9762864B2 (en) System and method for monitoring at least one observation area
JP2007108744A (ja) パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置
JP2002531862A (ja) シースルー表示装置を備えた手持ち型コンピュータ
JP2017517232A (ja) 少なくとも１つの観測エリアをリモートモニタリングするシステム及び方法
WO2018225804A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
GB2615041A (en) Variable focal length multi-camera aerial imaging system and method
JP2010181826A (ja) 立体画像形成装置
KR20110028624A (ko) 다중 동작 모드 광학 기구
WO2016157923A1 (ja) 情報処理装置及び情報処理方法
US20230384600A1 (en) System and method for removing obstructing objects in a head mounted display
KR102485302B1 (ko) 영상 표시장치 및 영상 표시방법
CN111684784B (zh) 图像处理方法和装置
US9992413B2 (en) Method and system for creating a display with a distributed aperture system
US11780368B2 (en) Electronic mirror system, image display method, and moving vehicle
Armstrong Dual-waveband MWIR/visible three-axis stabilized sensor suite for submarine optronics masts
CN116805984A (zh) 显示装置、显示装置的控制方法和计算机可读存储介质
Fortin et al. Improving land vehicle situational awareness using a distributed aperture system
JP2010166116A (ja) ビューファインダーシステム及びそれを備えた撮像装置
JPH10308953A (ja) 立体映像装置