RU2016135936A - Способ для детектирования и классифицирования событий сцены - Google Patents

Способ для детектирования и классифицирования событий сцены Download PDF

Info

Publication number
RU2016135936A
RU2016135936A RU2016135936A RU2016135936A RU2016135936A RU 2016135936 A RU2016135936 A RU 2016135936A RU 2016135936 A RU2016135936 A RU 2016135936A RU 2016135936 A RU2016135936 A RU 2016135936A RU 2016135936 A RU2016135936 A RU 2016135936A
Authority
RU
Russia
Prior art keywords
visnir
swir
event
images
scene
Prior art date
Application number
RU2016135936A
Other languages
English (en)
Other versions
RU2016135936A3 (ru
RU2686566C2 (ru
Inventor
Тьерри МИДАВЭН
Оливье ГАРЭН
Original Assignee
Таль
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Таль filed Critical Таль
Publication of RU2016135936A publication Critical patent/RU2016135936A/ru
Publication of RU2016135936A3 publication Critical patent/RU2016135936A3/ru
Application granted granted Critical
Publication of RU2686566C2 publication Critical patent/RU2686566C2/ru

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G3/00Aiming or laying means
    • F41G3/14Indirect aiming means
    • F41G3/147Indirect aiming means based on detection of a firing weapon
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0219Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0242Control or determination of height or angle information of sensors or receivers; Goniophotometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0488Optical or mechanical part supplementary adjustable parts with spectral filtering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0066Radiation pyrometry, e.g. infrared or optical thermometry for hot spots detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0275Control or determination of height or distance or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J5/602Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using selective, monochromatic or bandpass filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30212Military
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radiation Pyrometers (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Processing (AREA)

Claims (30)

1. Способ для детектирования и классифицирования событий типа угроз стрельбы в сцене, посредством однозрачковой системы формирования изображения, установленной на мобильной платформе и снабженной несколькими детекторами, включающими в себя детектор в диапазоне длин волн 0,6 мкм – 1,1 мкм, называемый VisNIR-детектором (22), и детектор в диапазоне длин волн 0,9 мкм – 1,7 мкм, называемый SWIR-детектором (21), связанными с блоком (50) обработки, который содержит этап получения последовательных двумерных изображений сцены, которые поступают от VisNIR-детектора и называются VisNIR-изображениями (42), и последовательных двумерных изображений сцены, которые поступают от SWIR-детектора и синхронизированы с VisNIR-изображениями и называются SWIR-изображениями (41), этап отображения VisNIR-изображений, и этап обработки VisNIR-изображений и SWIR-изображений посредством блока обработки, отличающийся тем, что этот этап обработки изображений содержит следующие подэтапы:
- сравнение последовательных SWIR-изображений для определения, для каждого пиксела (x1,y1) и смежных пикселов, изменения в освещенности от одного SWIR-изображения к другому, и пикового значения e1(t) этих так называемых SWIR-освещенностей,
если это изменение в SWIR-освещенности является большим, чем заданный порог освещенности, то тогда изменение в SWIR-освещенности, во время которого превышен упомянутый порог, назначают в качестве признака события i, и событие связывают с упомянутым пикселом (x1,y1) или с барицентром рассматриваемых пикселов, и этап обработки изображений дополнительно содержит подэтапы:
- определение даты ti события i,
- определение (этап А) временной формы и длительности δti признака события,
- определение координат пиксела (x2,y2) и смежных пикселов, соответствующих пикселу (x1,y1) или барицентру в VisNIR-изображениях, синхронизированных с SWIR-изображениями, и для этого пиксела (x2,y2) и этих смежных пикселов:
○ вычисляют изменение в освещенности от одного VisNIR-изображения к другому VisNIR-изображению и пиковое значение e2(t) этих так называемых VisNIR-освещенностей, и сравнивают эти изменения в SWIR- и VisNIR-освещенностях и их пиковые значения e1(t) и e2(t), для оценки температуры события на основе заданной справочной таблицы (этап В),
▪ если сцена является дневной сценой, и температура является большей, чем температурный порог, то тогда событие является ложным предупредительным сигналом (этап С), и предыдущие этапы повторяют с другим пикселом,
▪ в противном случае:
○ оценивают расстояние Ri соответствующей точки сцены в режиме реального времени на основе измерений угловых скоростей элементов сцены, скорости платформы, и VisNIR-изображений,
○ вычисляют интенсивность Ii события i на основе SWIR- и VisNIR-освещенностей этого пиксела и на основе этого расстояния Ri (этап D),
○ оценивают общую энергию Ei события на основе временной формы признака и интенсивности Ii (этап F),
- классифицируют событие i в зависимости от его длительности δti, его температуры Ti, его интенсивности Ii и его энергии Ei,
- оценка диапазона Pi эффективности события на основе его классификации,
- сравнение диапазона Pi эффективности с расстоянием Ri,
○ если расстояние Ri является меньшим, чем диапазон Pi эффективности, то тогда, по возможности, запуск подходящих ответных действий в режиме реального времени,
- предыдущие этапы повторяют для другого пиксела SWIR-изображений.

2. Способ для классифицирования событий сцены по предшествующему пункту, отличающийся тем, что, если событие связано со смежными пикселами, то тогда определяют (этап Е) яркость набора этих событий, и этот набор событий также классифицируют в зависимости от его яркости.

3. Способ для классифицирования событий сцены по одному из предшествующих пунктов, отличающийся тем, что событие вставляют в отображаемое VisNIR-изображение (42).

4. Способ для классифицирования событий сцены по предшествующему пункту, отличающийся тем, что расстояние, связанное с событием, отображают на отображаемом VisNIR-изображении (42).

5. Способ для классифицирования событий сцены по одному из предшествующих пунктов, отличающийся тем, что ответные действия запускают автоматически или вручную оператором.

6. Компьютерный программный продукт, причем упомянутая компьютерная программа содержит кодовые команды, обеспечивающие возможность выполнения этапов способа по любому из пп. 1-5, когда упомянутая программа исполняется на компьютере.

7. Система для детектирования и классифицирования событий сцены, которая содержит:
- систему для однозрачкового формирования изображения сцены, установленную на мобильной платформе и снабженную несколькими детекторами, включающими в себя VisNIR-детектор (22) и SWIR-детектор (21),
- блок (50) обработки, связанный с детекторами,
- средство для оценки расстояния между точками сцены и системой формирования изображения,
- систему управления событиями, связанную с блоком обработки и выполненную с возможностью запуска, на основе классифицированного события и расстояния до него,
- устройство (40) отображения, связанное с блоком обработки,
отличающаяся тем, что блок обработки содержит средство для реализации способа детектирования и классифицирования по одному из пп. 1-5.

8. Система для детектирования и классифицирования по предшествующему пункту, отличающаяся тем, что средство для реализации способа детектирования и классифицирования является компьютерной программой по п. 6.
RU2016135936A 2014-02-07 2015-02-05 Способ для детектирования и классифицирования событий сцены RU2686566C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1400350 2014-02-07
FR1400350A FR3017480B1 (fr) 2014-02-07 2014-02-07 Procede de detection et de classification d'evenements d'une scene
PCT/EP2015/052430 WO2015118075A1 (fr) 2014-02-07 2015-02-05 Procede de detection et de classification d'evenements d'une scene

Publications (3)

Publication Number Publication Date
RU2016135936A true RU2016135936A (ru) 2018-03-13
RU2016135936A3 RU2016135936A3 (ru) 2018-09-17
RU2686566C2 RU2686566C2 (ru) 2019-04-29

Family

ID=51518802

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016135936A RU2686566C2 (ru) 2014-02-07 2015-02-05 Способ для детектирования и классифицирования событий сцены

Country Status (10)

Country Link
US (1) US9953226B2 (ru)
EP (1) EP3103062B1 (ru)
JP (1) JP6449894B2 (ru)
CA (1) CA2938227C (ru)
DK (1) DK3103062T3 (ru)
FI (1) FI3103062T3 (ru)
FR (1) FR3017480B1 (ru)
IL (1) IL246633B (ru)
RU (1) RU2686566C2 (ru)
WO (1) WO2015118075A1 (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3017480B1 (fr) * 2014-02-07 2017-09-08 Thales Sa Procede de detection et de classification d'evenements d'une scene
US9626569B2 (en) * 2014-11-06 2017-04-18 Bae Systems Information And Electronics Systems Integration Inc. Filtered image data recovery using lookback
FR3033649B1 (fr) * 2015-03-12 2018-06-15 Sagem Defense Securite Equipement aeroporte de detection de tirs et d'aide au pilotage
FR3042041B1 (fr) * 2015-10-02 2020-03-20 Mbda France Procede et dispositif pour determiner la distance entre un recepteur aerien et un emetteur terrestre
KR102630227B1 (ko) * 2016-07-21 2024-01-29 한화비전 주식회사 감시 데이터 제공 시스템 및 방법
JP6774603B2 (ja) 2017-03-06 2020-10-28 株式会社Jvcケンウッド レーザ光照射検出装置、レーザ光照射検出方法、レーザ光照射検出システム
CN110782481B (zh) * 2019-10-18 2023-09-05 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 无人艇智能决策方法及系统
CN112712702B (zh) * 2019-10-24 2022-08-26 杭州海康威视系统技术有限公司 违法事件去重方法、装置、电子设备及机器可读存储介质
US12026204B2 (en) 2022-05-31 2024-07-02 Acronis International Gmbh Automatic incident dispatcher

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233541A (en) * 1990-08-10 1993-08-03 Kaman Aerospace Corporation Automatic target detection process
US6178141B1 (en) * 1996-11-20 2001-01-23 Gte Internetworking Incorporated Acoustic counter-sniper system
US5930202A (en) * 1996-11-20 1999-07-27 Gte Internetworking Incorporated Acoustic counter-sniper system
US5970024A (en) * 1997-04-30 1999-10-19 Smith; Thomas Acousto-optic weapon location system and method
GB2340222B (en) * 1998-07-14 2000-07-26 Infrared Integrated Syst Ltd Multi-array sensor and method of identifying events using same
JP2001194092A (ja) * 2000-01-05 2001-07-17 Mitsubishi Electric Corp 射場安全監視装置
WO2004001667A2 (en) * 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
WO2007056753A2 (en) * 2005-11-08 2007-05-18 General Atomics Apparatus and methods for use in flash detection
CA2645206C (en) * 2006-04-28 2014-09-16 Orica Explosives Technology Pty Ltd Wireless electronic booster, and methods of blasting
ES2522589T3 (es) * 2007-02-08 2014-11-17 Behavioral Recognition Systems, Inc. Sistema de reconocimiento conductual
US20100222774A1 (en) * 2007-12-11 2010-09-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems, devices, and methods for inducing ultraviolet energy generation via hemozoin nanoparticles in a biological tissue
US8385997B2 (en) * 2007-12-11 2013-02-26 Tokitae Llc Spectroscopic detection of malaria via the eye
US8457469B2 (en) * 2009-04-30 2013-06-04 Sony Corporation Display control device, display control method, and program
US9044141B2 (en) * 2010-02-10 2015-06-02 Tokitae Llc Systems, devices, and methods including a dark-field reflected-illumination apparatus
FR2964818B1 (fr) * 2010-09-14 2012-09-28 Thales Sa Systeme optronique a vision supra hemispherique
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US9117277B2 (en) * 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
FR3017480B1 (fr) * 2014-02-07 2017-09-08 Thales Sa Procede de detection et de classification d'evenements d'une scene
IL231111A (en) * 2014-02-24 2016-06-30 Ori Afek Flash detection

Also Published As

Publication number Publication date
EP3103062A1 (fr) 2016-12-14
CA2938227A1 (en) 2015-08-13
FR3017480A1 (fr) 2015-08-14
WO2015118075A1 (fr) 2015-08-13
US9953226B2 (en) 2018-04-24
CA2938227C (en) 2022-11-08
JP2017516049A (ja) 2017-06-15
FR3017480B1 (fr) 2017-09-08
EP3103062B1 (fr) 2023-11-29
RU2016135936A3 (ru) 2018-09-17
DK3103062T3 (da) 2024-02-26
RU2686566C2 (ru) 2019-04-29
FI3103062T3 (fi) 2024-02-08
IL246633B (en) 2019-03-31
US20160335504A1 (en) 2016-11-17
JP6449894B2 (ja) 2019-01-09

Similar Documents

Publication Publication Date Title
RU2016135936A (ru) Способ для детектирования и классифицирования событий сцены
JP7092177B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4705090B2 (ja) 煙感知装置及びその方法
Fernández-Caballero et al. Real-time human segmentation in infrared videos
WO2018148628A8 (en) Detection of risky objects in image frames
RU2015129086A (ru) Система защитного наблюдения и соответствующий способ инициирования тревожной сигнализации
MX2018004891A (es) Metodo de control de presentacion visual y dispositivo de control de presentacion visual.
WO2016106383A3 (en) First-person camera based visual context aware system
EP2669845A3 (en) Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
JP2016509293A5 (ru)
CN104603838B (zh) 从采集的图像监测对象的设备和方法
KR101204259B1 (ko) 화재 검출 방법
KR20150078049A (ko) 화재 감지 장치
JP2013214878A5 (ru)
JP2011234237A5 (ru)
JP2020513569A5 (ru)
US9007459B2 (en) Method to monitor an area
CN107316318A (zh) 基于多子区域背景拟合的空中目标自动检测方法
JP5864230B2 (ja) 物体検出装置
JP2016103246A (ja) 画像監視装置
Jiayun Real-time visual detection of early manmade fire
KR101702577B1 (ko) 저 시정 환경에서도 활용 가능한 공간 분할을 이용한 물체의 영상 획득 장치
JP6239334B2 (ja) 対象物画像抽出装置及び対象物画像抽出方法
JP2015097089A (ja) 対象物検出装置、対象物検出方法
JP5968752B2 (ja) 飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラム