WO2020171281A1 - 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 - Google Patents

가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 Download PDF

Info

Publication number
WO2020171281A1
WO2020171281A1 PCT/KR2019/004122 KR2019004122W WO2020171281A1 WO 2020171281 A1 WO2020171281 A1 WO 2020171281A1 KR 2019004122 W KR2019004122 W KR 2019004122W WO 2020171281 A1 WO2020171281 A1 WO 2020171281A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared
object detection
visible light
image
data
Prior art date
Application number
PCT/KR2019/004122
Other languages
English (en)
French (fr)
Inventor
이선호
조성민
최보원
권준석
김도휘
Original Assignee
써모아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 써모아이 주식회사 filed Critical 써모아이 주식회사
Publication of WO2020171281A1 publication Critical patent/WO2020171281A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present invention relates to a method and apparatus for detecting an object based on a fused visible and infrared image, and more particularly, to a method and apparatus for recognizing an object around a vehicle using an image acquired through a visible light camera and an infrared camera. .
  • a vehicle In general, a vehicle is equipped with various convenience means to provide a stable and comfortable driving condition. In addition to the demand for convenience means, the demand for devices for vehicle safety is also increasing.
  • Vehicle safety devices include active safety devices such as ABS (Antilock Breaking System) devices, ECS (Electronic Controlled Suspension) devices, and Autonomous Emergency Braking (AEB) devices, and vehicle black boxes to identify the cause of post-accidents.
  • Active safety devices such as ABS (Antilock Breaking System) devices, ECS (Electronic Controlled Suspension) devices, and Autonomous Emergency Braking (AEB) devices, and vehicle black boxes to identify the cause of post-accidents.
  • ABS Antilock Breaking System
  • ECS Electronic Controlled Suspension
  • AEB Autonomous Emergency Braking
  • the autonomous emergency braking system measures the distance to a vehicle (or object) running in front through a radar mounted on the vehicle, and recognizes a risk of collision when the distance between the host vehicle and the vehicle in front is closer than a predetermined distance. When the danger of a collision is recognized, the vehicle speed is reduced by automatically braking.
  • the autonomous emergency braking system notifies the driver of the risk of collision with a warning sound and operates the braking device in a standby mode so as to quickly respond to the driver's pedal operation.
  • it is necessary to quickly and accurately determine whether an object in front of the vehicle is a pedestrian, a vehicle, or other object.
  • Korean Patent No. 10-1671993 (2016.10.27) relates to a vehicle safety system, photodiode, collision prevention distance calculation module, speed setting module, vehicle control module, traffic light detection module, color display module, surrounding monitoring module Including, the color detection module sets the color of the traffic light as a range, the color of a certain range detected by the color detection module is determined as one color, and the color display module is image information obtained from the traffic light detection camera module Displays the color area of the traffic light, and the vehicle speed control module stops the user's vehicle and flashes the emergency light when the color of the traffic light detected by the color detection module is red, and the distance between the traffic light and the user's vehicle is within a certain distance.
  • the peripheral distance calculation module uses blocks on the image acquired from the surrounding surveillance camera module. After searching the whole by size, dividing it by the difference in brightness of areas, and learning, weighting is applied using the AdaBoost algorithm, and a strong classifier is created by combining weak classifiers to detect pedestrian faces in the image, and pedestrian faces are detected. In this case, a warning message is sent when the distance between the pedestrian and the user's vehicle is within a certain range.
  • Korean Patent Registration No. 10-1611273 (2016.04.05) relates to a system and method for detecting a subject using sequential infrared images, an infrared lamp that is disposed on a vehicle and emits infrared rays according to a preset period, and is reflected from the subject.
  • the image data including the infrared component of the coming infrared component and the infrared component of other vehicle headlights is acquired, but when the infrared lamp emits infrared rays, the on image including the infrared component reflected from the subject and the infrared component of other vehicle headlights, and infrared
  • an infrared camera that acquires an off-image including an infrared component of a headlamp of another vehicle
  • a subject recognition unit that analyzes the image data and detects an area of a subject.
  • the conventional method of detecting surrounding objects has a problem in that it is difficult to discriminate objects in the case of light reflection, backlighting, and nighttime situations in an acquired image.
  • the present invention is to propose a method and apparatus for detecting objects based on visible and infrared fused images that can further improve object detection performance in various environments.
  • an apparatus for detecting objects around a vehicle based on a fusion image of visible light and infrared light comprising: a processor; And a memory connected to the processor, wherein the memory determines whether there is an object detection reduction region due to the surrounding environment in the visible light image around the vehicle input through the visible light camera, and the object detection reduction region exists.
  • visible light and infrared fusion storing program instructions executable by the processor to classify an object using RGB data of the visible light image and infrared image data acquired through an infrared camera as an input value of a pre-learned object detection network
  • An image-based object detection device is provided.
  • the infrared image data is at least one of raw data defined as a count value, gray scale data obtained from raw data (infrared data), temperature data, and infrared signal data calculated from the temperature data. It may contain more than one.
  • the program commands may be input to the object detection network by changing weights of each of the RGB data and the infrared image data according to the object detection deterioration region.
  • the program instructions count pixels having a brightness value higher than a preset first threshold value or a brightness value lower than a second threshold value in the frame of the visible light image to determine whether an object detection deterioration region exists in the visible light image frame. I can judge.
  • the weight is the loss ( Optimal parameters to minimize ( ) Can be determined.
  • the object detection network may include a plurality of blocks including convolution layers, attention modules, batch normalization, and leaky RELU.
  • the visible light camera and the infrared camera may be disposed adjacent to each other in the same direction.
  • a method of detecting an object around a vehicle based on a fused image of visible light and infrared light comprising: receiving a visible light image around the vehicle through a visible light camera; Receiving an infrared image around the vehicle through an infrared camera; Determining whether an object detection deterioration area due to a surrounding environment exists in the visible light image; And classifying an object by using RGB data of the visible light image and infrared image data acquired through an infrared camera as input values of a pre-learned object detection network when an object detection deterioration region exists.
  • An image-based object detection method is provided.
  • the present invention it is possible to further improve object detection performance by determining whether an object recognition deterioration region exists in a visible light image and complementarily using an infrared image for the corresponding region.
  • FIG. 1 is a diagram showing a configuration of an image analysis system for object detection according to an exemplary embodiment of the present invention.
  • FIG. 2 is a diagram illustrating visible light image data and infrared image data used for object detection in the image analysis apparatus according to the present embodiment.
  • FIG. 3 shows input images from a visible light camera and an infrared camera in light reflection, backlight, and night situations, respectively.
  • FIG. 4 is a diagram showing the architecture of an object detection network according to the present embodiment.
  • 5 is a diagram showing the architecture of the attention module in this embodiment.
  • FIG. 7 is a flowchart illustrating a process of detecting an object based on a fused visible and infrared image according to the present embodiment.
  • the present invention recognizes objects around a vehicle using images acquired through a visible light camera and an infrared camera.
  • a visible light camera can obtain a clear image, but object detection performance deteriorates in snow, rain, bad weather, and night situations.
  • the infrared camera detects infrared rays emitted by the surface temperature of an object, and has good object detection performance in night situations, but is sensitive to surrounding environments such as season and time, and has a low object recognition rate.
  • the present invention proposes a method capable of improving object detection performance irrespective of surrounding environments by fusing images obtained from each of a visible light camera and an infrared camera.
  • FIG. 1 is a diagram showing a configuration of an image analysis system for object detection according to an exemplary embodiment of the present invention.
  • the image analysis system 100 may include a visible light camera 110, an infrared camera 120, an image analysis device 130, and an alarm unit 150.
  • the image analysis device 130 recognizes objects around the vehicle by analyzing visible light image data and infrared image data acquired through the visible light camera 110 and the infrared camera 120.
  • the visible light camera 110 and the infrared camera 120 are installed adjacent to each other in the same direction and more preferably installed in one module with a viewing angle in the same direction, so that a visible light image and an infrared image of the same object ( Thermal image).
  • the image analysis apparatus 130 may include a processor and a memory.
  • the processor may include a central processing unit (CPU) capable of executing a computer program or a virtual machine.
  • CPU central processing unit
  • the memory may include a nonvolatile storage device such as a fixed hard drive or a removable storage device.
  • the removable storage device may include a compact flash unit, a USB memory stick, or the like.
  • the memory may also include volatile memories such as various random access memories.
  • Program instructions executable by the processor are stored in such a memory, and objects around the vehicle are detected using a fusion image of visible light and infrared light, as described below.
  • FIG. 2 is a diagram illustrating visible light image data and infrared image data used for object detection in the image analysis apparatus according to the present embodiment.
  • visible light image data is RGB data of each pixel included in a single frame
  • infrared image data is raw data and row defined by counts. It may be gray scale data (infrared data), temperature data, and infrared signal data (radiation) obtained from the data.
  • the RGB data is an R/G/B value displayed by a light source and is a value that is not affected by the surrounding environment.
  • gray scale data is a value obtained by converting raw data and expressing it in gray scale.
  • the infrared signal and temperature have a correlation, and infrared signal data of each pixel can be calculated from the temperature data through the correlation equation.
  • infrared image data used together with RGB data for object detection may be at least one of raw data, gray scale data, temperature data, and infrared signal data.
  • the image analysis apparatus 130 recognizes an object using RGB data, raw data, and gray scale data, but is not limited thereto.
  • the image analysis device 130 uses a pre-learned algorithm to detect an object difficult to detect in a visible light image due to light reflection, backlighting, or a nighttime environment (a region that is more than or less than a preset pixel value, hereinafter, ‘object. It is determined whether or not there is a detection reduction region').
  • FIG 3 shows input images from the visible light camera 110 and the infrared camera 120 in light reflection, backlight, and night situations, respectively.
  • a region in which object detection is difficult exists in a predetermined region 300 of visible light image data in light reflection, backlight, and night situations.
  • the image analysis apparatus 130 determines an object detection deterioration area by counting pixels having a brightness value higher than a predetermined first threshold value or lower than a second threshold value using each pixel value (brightness value) in the frame of the visible light image.
  • the image analysis apparatus 130 may determine that an object detection deterioration region exists in a visible light image frame in which pixels having a brightness value higher or lower than a predetermined threshold value exist in a larger number than a predetermined threshold value.
  • the image analysis apparatus 130 may perform machine learning on the object detection deterioration region in advance, and determine the object detection deterioration region from the currently input visible light image based on the machine learning.
  • the image analysis apparatus 130 classifies the object by referring to infrared image data for the region.
  • the image analysis device 130 dynamically allocates weights of RGB data acquired through the visible light camera 110 and raw data and gray scale data acquired through the infrared camera 120 to provide an object in the visible light image.
  • the accuracy of object detection is improved even when the detection deterioration region is included.
  • the image analysis apparatus 130 performs object detection using a multi-domain attentive detection network (MDADN) as a pre-learned object detection network.
  • MDADN multi-domain attentive detection network
  • RGB data is input to the object detection network.
  • the present invention performs object detection through fusion of visible and infrared images
  • a total of five data such as RGB data, raw data, and gray scale data are input to the object detection network.
  • a weight is dynamically assigned to each input value according to whether or not a detection deterioration region exists.
  • the present invention is the loss ( Optimal parameter to minimize ( ).
  • the optimum parameter means an optimum value of weights of the object recognition network.
  • x is RGB data, raw data, and gray scale data which are inputs of the object detection network, Is the result obtained from the above input, silver Calculate the distance between y and the ground truth result y.
  • Visible light image data and infrared image data which are data sources according to the present embodiment, are complementary to each other, and an object may be recognized by at least one data source.
  • FIG. 4 is a diagram showing the architecture of an object detection network according to the present embodiment.
  • the object detection network has 7 blocks consisting of convolution layers, attention modules, batch normalization, and leaky RELU.
  • the first five blocks have a max-pooling layer with stride 2, and a skip connection is added from the third to the sixth blocks.
  • the attention module is inserted into the convolution layers 1-1, 2-1, 3-3, 4-3, 5-5, and 6-7.
  • n-k n is a block
  • k is a layer.
  • 5 is a diagram showing the architecture of the attention module in this embodiment.
  • Each attention module has four fully connected layers (FC).
  • FC fully connected layers
  • average-pooling (pool avg ) and max-pooling (pool max ) are vertical/horizontal features Applies to
  • W is the width
  • H is the height
  • C is the number of channels.
  • the sigmoid function The two outputs from the pooling layer are correlated by using, and element-wise products are obtained through broadcasting.
  • Attention module features dependent on environment as follows Attention maps for each channel are created.
  • the attention module is a feature dependent on the environment. Create a spatial attention map of.
  • the present invention derives a feature map as described above by using information on visible light image data and infrared image data as input values to an object detection network, and classifies objects from the feature map.
  • the image analysis device 130 performs machine learning in advance through the object learning population and classifies objects based on the machine learning result.
  • the object learning population may include a number of objects required for machine learning, for example, people, cars, signs, traffic lights, and the like.
  • the alarm unit 150 generates an alarm when an object exists around the vehicle based on fusion of visible light and infrared light in the image analysis device 130 and is located within a preset distance in the traveling direction.
  • the object detection result (MDADN) shows an improvement of at least two or more recognition rates as shown in FIG. 6D compared to FIGS. 6B and 6C using existing artificial intelligence algorithms (SSD and RCNN). Can be confirmed.
  • FIG. 7 is a flowchart illustrating a process of detecting an object based on a fused visible and infrared image according to the present embodiment.
  • FIG. 7 shows a process of performing an image analysis device.
  • the image analysis device 130 on which machine learning has been completed receives visible light image data and infrared image data captured through the visible light camera 110 and the infrared camera 120 (step 700).
  • the visible light image data is RGB data of each pixel
  • the infrared image data may include at least one of raw data, gray scale data, temperature, and infrared signals of each pixel.
  • the image analysis apparatus 130 determines whether an object detection reduction region exists in the input visible light image frame (step 702).
  • Operation 702 may be a process of determining whether a predetermined number or more of pixels having a brightness value higher or lower than a predetermined threshold value exist in a visible light image in the object detection network learned in advance.
  • Operation 702 may include a process of identifying an object detection deterioration region as well as whether an object detection deterioration region exists in the visible light image frame.
  • the image analysis apparatus 130 classifies the object by allocating weights of visible light image data and infrared image data, which are input values of the object detection network (step 704).
  • a high weight may be given to RGB data for an area other than the object detection deterioration region, and a high weight for at least one of raw data, gray scale data, temperature data, and infrared signal data for the object detection deterioration region Can be given.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치를 개시한다. 본 발명에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고, 객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치가 제공된다.

Description

가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
본 발명은 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치에 관한 것으로서, 보다 상세하게는 가시광 카메라 및 적외선 카메라를 통해 획득된 영상을 이용하여 차량 주변의 객체를 인식할 수 있는 방법 및 장치에 관한 것이다.
일반적으로 차량에는 안정적이고 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단이 설치된다. 편의 수단에 대한 수요와 더불어 차량의 안전을 위한 장치들에 대한 수요도 증가하고 있다.
차량 안전 장치로는 ABS(Antilock Breaking System) 장치, ECS(Electronic Controlled Suspension) 장치 및 자율 긴급 제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 능동 안전 장치와 사후 사고의 원인 규명을 위한 차량용 블랙박스와 같은 수동 안전 장치를 포함할 수 있다.
자율 긴급 제동 시스템은 차량에 탑재된 레이더를 통해 전방에 주행 중인 차량(또는 물체)와의 거리를 측정하며, 자차와 전방 차량과의 거리가 일정 거리보다 가까운 경우에 충돌 위험을 인식한다. 충돌 위험이 인식되면 자동으로 제동이 이루어지도록 함으로써 차량 속도를 감속시킨다.
또한, 자율 긴급 제동 시스템은 충돌 위험이 인식되면 운전자에게 경고음으로 충돌 위험을 알리고 운전자의 페달 조작에 신속히 반응할 수 있도록 제동 장치를 대기 모드로 동작 시킨다. 이러한 자율 긴급 제동의 성능을 높이기 위해서는 차량 전방의 물체가 보행자인지, 차량인지 또는 이외의 물체인지를 빠르고 정확하게 판별할 필요가 있다.
한국등록특허 제10-1671993(2016.10.27)호는 차량 안전 시스템에 관한 것으로, 포토 다이오드, 추돌 방지 거리 연산 모듈, 속도 설정 모듈, 차량 제어 모듈, 교통신호등 감지 모듈, 색상 표시 모듈, 주변 감시 모듈을 포함하고, 색상 감지 모듈은 교통신호등의 색상을 범위로 설정하고, 색상 감지 모듈에서 감지되는 일정 범위의 색상은 하나의 색상으로 결정하며, 색상 표시 모듈은 교통신호등 감지 카메라 모듈에서 획득된 영상 정보에서 교통 신호등 색상 영역을 디스플레이 하고, 차량 속도 제어 모듈은 색상 감지 모듈이 감지한 교통신호등의 색상이 적색이며, 해당 교통 신호등과 사용자 차량 간의 거리가 일정 거리 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하고, 주변 거리 연산 모듈이 감지한 물체와 사용자 차량 간의 거리가 일정 범위 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하며, 주변 거리 연산 모듈은 주변 감시 카메라 모듈에서 획득된 영상에 블록들을 이용하여 화면 전체를 크기별로 탐색하여 영역들의 밝기 차이로 구분하여 학습한 후, AdaBoost 알고리즘을 이용하여 가중치를 부여하고, 약분류기들을 결합해 강한 분류기를 생성하여 영상에서 보행자 얼굴을 검출하고, 보행자 얼굴이 검출된 경우 해당 보행자와 사용자 차량 간의 거리가 일정 범위 이내일 경우 경고 메시지를 보내는 것을 특징으로 한다.
한국등록특허 제10-1611273(2016.04.05)호는 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법에 관한 것으로, 차량에 배치되어 기설정 주기에 따라 적외선을 방출하는 적외선 램프와, 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 영상 데이터를 획득하되, 적외선 램프가 적외선을 방출하는 경우 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 온 영상과, 적외선 램프가 적외선을 방출하지 않는 경우 타 차량 전조등의 적외선 성분을 포함하는 오프 영상을 획득하는 적외선 카메라, 및 영상 데이터를 분석하여 피사체의 영역을 검출하는 피사체 인식부를 포함한다.
그러나 종래의 주변 객체 검출 방법은 획득된 영상에서 빛반사, 역광 및 야간 상황의 경우 객체 판별이 어려운 문제점이 있다.
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 다양한 환경에서 객체 검출 성능을 한층 향상시킬 수 있는 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치를 제안한고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고,객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치가 제공된다.
상기 적외선 영상 데이터는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 상기 온도 데이터로부터 계산되는 적외선 신호 데이터(Radiation) 중 적어도 하나 이상을 포함할 수 있다.
상기 프로그램 명령어들은, 상기 객체 검출 저하 영역에 따라 상기 RGB 데이터 각각 및 상기 적외선 영상 데이터의 가중치를 변경하여 상기 객체 검출 네트워크로 입력할 수 있다.
상기 프로그램 명령어들은, 상기 가시광 영상의 프레임에서 미리 설정된 제1 임계치보다 높은 밝기값을 가지거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하여 상기 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는지 여부를 판단할 수 있다.
상기 가중치는 아래의 수식에서 손실(
Figure PCTKR2019004122-appb-I000001
)을 최소화하는 최적 파라미터(
Figure PCTKR2019004122-appb-I000002
)에 따라 결정될 수 있다.
[수학식 1]
Figure PCTKR2019004122-appb-I000003
여기서, x는 상기 객체 검출 네트워크의 입력값이고,
Figure PCTKR2019004122-appb-I000004
는 상기한 입력으로부터 얻어지는 결과값이고,
Figure PCTKR2019004122-appb-I000005
은
Figure PCTKR2019004122-appb-I000006
와 ground truth 결과 y 사이의 거리를 계산함.
상기 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU를 포함하는 복수의 블록으로 구성될 수 있다.
상기 가시광 카메라 및 적외선 카메라는 인접한 위치에 동일 방향으로 배치될 수 있다.
본 발명의 다른 측면에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 방법으로서, 가시광 카메라를 통해 차량 주변의 가시광 영상을 입력 받는 단계; 적외선 카메라를 통해 상기 차량 주변의 적외선 영상을 입력 받는 단계; 상기 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하는 단계; 및 객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하는 단계를 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 방법이 제공된다.
본 발명에 따르면, 가시광 영상에서 객체 인지 저하 영역이 존재하는지를 판단하고, 해당 영역에 대해 적외선 영상을 상호 보완적으로 이용함으로써 객체 검출 성능을 한층 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출을 위한 영상 분석 시스템의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 영상 분석 장치에서 객체 검출을 위해 사용하는 가시광 영상 데이터 및 적외선 영상 데이터를 도시한 도면이다.
도 3은 빛 반사, 역광 및 야간 상황 각각에서의 가시광 카메라와 적외선 카메라에서의 입력 영상을 나타낸 것이다.
도 4는 본 실시예에 따른 객체 검출 네트워크의 아키텍쳐를 도시한 도면이다.
도 5는 본 실시예에서의 어텐션 모듈의 아키텍쳐를 도시한 도면이다.
도 6은 본 실시예에 따른 객체 검출 성능을 나타낸 것이다.
도 7은 본 실시예에 따른 가시광 및 적외선 융합 영상 기반 객체 검출 과정을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 가시광 카메라 및 적외선 카메라를 통해 획득된 영상을 이용하여 차량 주변의 객체를 인식한다.
일반적으로 가시광 카메라는 선명한 영상을 얻을 수 있으나, 눈, 비, 악천후 및 야간 상황에서 객체 검출 성능이 저하된다.
또한, 적외선 카메라는 객체의 표면 온도에 의해 방사되는 적외선을 검출하는 것으로서, 야간 상황에서 객체 검출 성능이 좋으나 계절, 시간 등 주변 환경에 민감하고 객체의 인식률이 낮은 문제점이 있다.
본 발명은 가시광 카메라 및 적외선 카메라 각각으로부터 획득된 영상을 융합하여 주변 환경에 관계 없이 객체 검출 성능을 향상시킬 수 있는 방법을 제안한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출을 위한 영상 분석 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 영상 분석 시스템(100)은 가시광 카메라(110), 적외선 카메라(120) 및 영상 분석 장치(130) 및 알람부(150)를 포함할 수 있다.
영상 분석 장치(130)는 가시광 카메라(110) 및 적외선 카메라(120)를 통해 획득된 가시광 영상 데이터 및 적외선 영상 데이터를 분석하여 차량 주변의 객체를 인식한다.
바람직하게, 가시광 카메라(110) 및 적외선 카메라(120)는 인접한 위치 동일한 방향을 향하게 설치되고 보다 바람직하게는 하나의 모듈에 동일한 방향으로 시야각을 가지면서 설치되어 동일한 객체에 대한 가시광 영상 및 적외선 영상(열 영상)을 획득한다.
영상 분석 장치(130)는 프로세서 및 메모리를 포함할 수 있다.
프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리에는 프로세서에 의해 실행 가능한 프로그램 명령어들이 저장되며, 아래에서 설명하는 바와 같이 가시광과 적외선 융합 영상을 이용하여 차량 주변의 객체를 검출한다.
도 2는 본 실시예에 따른 영상 분석 장치에서 객체 검출을 위해 사용하는 가시광 영상 데이터 및 적외선 영상 데이터를 도시한 도면이다.
도 2를 참조하면, 가시광 영상 데이터(Visual image)는 단일 프레임에 포함된 각 픽셀들의 RGB 데이터이며, 적외선 영상 데이터(Thermal image)는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 적외선 신호 데이터(Radiation)일 수 있다.
여기서, RGB 데이터는 광원에 의해 나타나는 R/G/B 값으로 주변 환경의 영향을 받지 않는 값이다.
또한, 그레이 스케일 데이터는 로우 데이터를 변환하여 그레이 스케일로 표현한 값이다.
적외선 신호와 온도는 상관관계를 가지며, 상관관계식을 통해 온도 데이터에서 각 픽셀의 적외선 신호 데이터를 계산할 수 있다.
본 실시예에 따르면, 객체 검출을 위해 RGB 데이터와 함께 이용되는 적외선 영상 데이터는 로우 데이터, 그레이 스케일 데이터, 온도 데이터 및 적외선 신호 데이터 중 적어도 하나 이상일 수 있다.
이하에서는 본 실시예에 따른 영상 분석 장치(130)가 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터를 이용하여 객체를 인식하는 것으로 설명할 것이나, 반드시 이에 한정되지 않는다.
본 실시예에 따른 영상 분석 장치(130)는 미리 학습된 알고리즘을 이용하여 가시광 영상에서 빛반사, 역광 또는 야간 환경에 의해 객체 검출이 어려운 영역(미리 설정된 픽셀값 이상 또는 이하인 영역, 이하, '객체 검출 저하 영역'이라 함)이 존재하는지 여부를 판단한다.
도 3은 빛 반사, 역광 및 야간 상황 각각에서의 가시광 카메라(110)와 적외선 카메라(120)에서의 입력 영상을 나타낸 것이다.
도 3을 참조하면, 빛 반사, 역광 및 야간 상황에서 가시광 영상 데이터의 소정 영역(300)에서는 객체 검출이 어려운 영역이 존재하는 것을 확인할 수 있다.
영상 분석 장치(130)는 가시광 영상의 프레임 내에 각 픽셀 값(밝기 값)을 이용하여 소정 제1 임계치보다 높거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하여 객체 검출 저하 영역을 판단한다.
여기서, 영상 분석 장치(130)는 소정 임계치보다 높거나 낮은 밝기 값을 갖는 픽셀이 소정 임계치보다 많은 수로 존재하는 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는 것으로 판단할 수 있다.
이때, 영상 분석 장치(130)는 객체 검출 저하 영역에 대해 기계학습을 미리 수행할 수 있고, 기계학습에 기초하여 현재 입력된 가시광 영상에서 객체 검출 저하 영역을 판단한다.
객체 검출 저하 영역이 존재하는 경우, 영상 분석 장치(130)는 해당 영역에 대해 적외선 영상 데이터를 참조하여 객체를 분류한다.
보다 상세하게, 영상 분석 장치(130)는 가시광 카메라(110)를 통해 획득된 RGB 데이터 및 적외선 카메라(120)를 통해 획득된 로우 데이터 및 그레이 스케일 데이터 각각의 가중치를 동적으로 할당하여 가시광 영상에서 객체 검출 저하 영역이 포함된 경우에도 객체 검출의 정확도를 높인다.
본 발명의 바람직한 일 실시예에 따르면, 영상 분석 장치(130)는 미리 학습된 객체 검출 네트워크로 멀티 도메인 어텐티브 검출 네트워크(multi domain attentive detection network: MDADN)를 이용하여 객체 검출을 수행한다.
일반적으로 가시광 영상을 기반으로 객체 검출을 수행하는 경우 객체 검출 네트워크에 RGB 데이터만이 입력된다.
그러나, 본 발명은 가시광 영상 및 적외선 영상을 융합을 통해 객체 검출을 수행하기 때문에 객체 검출 네트워크의 입력 값은 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터와 같이 총 5개의 데이터가 입력되며, 가시광 영상에 객체 검출 저하 영역이 존재하는지 여부에 따라 각 입력값에 대해 가중치가 동적으로 할당된다.
본 발명은 다음의 수식에서 손실(
Figure PCTKR2019004122-appb-I000007
)를 최소화하는 최적 파라미터(
Figure PCTKR2019004122-appb-I000008
)를 탐색한다. 여기서, 최적 파라미터는 객체 인식 네트워크의 가중치들의 최적값을 의미한다.
Figure PCTKR2019004122-appb-M000001
여기서, x는 객체 검출 네트워크의 입력인 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터이고,
Figure PCTKR2019004122-appb-I000009
는 상기한 입력으로부터 얻어지는 결과값이고,
Figure PCTKR2019004122-appb-I000010
은
Figure PCTKR2019004122-appb-I000011
와 ground truth 결과 y 사이의 거리를 계산한다.
본 실시예에 따른 데이터 소스인 가시광 영상 데이터와 적외선 영상 데이터를 상호 보완적이며 적어도 하나의 데이터 소스에서 객체가 인식될 수 있다.
도 4는 본 실시예에 따른 객체 검출 네트워크의 아키텍쳐를 도시한 도면이다.
도 4를 참조하면, 본 실시예에 따른 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU으로 구성된 7개의 블록을 가진다. 첫 번째 5개의 블록들은 스트라이드(stride) 2를 갖는 맥스-풀링 레이어를 가지며, 세 번째부터 여섯 번째 블록까지 스킵 연결(skip connection)이 추가된다.
본 실시예에 따른 객체 검출 네트워크에서, 어텐션 모듈이 합성곱 레이어1-1, 2-1, 3-3, 4-3, 5-5 및 6-7에 삽입된다. n-k에서 n은 블록이고, k는 레이어를 의미한다.
도 5는 본 실시예에서의 어텐션 모듈의 아키텍쳐를 도시한 도면이다.
각 어텐션 모듈은 4개의 풀리 커넥티드 레이어(fully connected layer: FC)를 가진다. 본 실시예에서 평균-풀링(poolavg) 및 맥스-풀링(poolmax)가 수직/수평 특징들
Figure PCTKR2019004122-appb-I000012
에 적용된다.
풀링은
Figure PCTKR2019004122-appb-I000013
를
Figure PCTKR2019004122-appb-I000014
로 변환한다.
여기서, W는 폭, H는 높이, C는 채널 수를 나타낸다.
마지막 레이어에서, 시그모이드 함수
Figure PCTKR2019004122-appb-I000015
를 이용하여 풀링 레이어로부터의 2개의 출력을 연관시키고, 브로드캐스팅을 통해 원소별 계산(element-wise products)을 획득한다.
어텐션 모듈은 아래와 같이 환경에 종속되는 특징
Figure PCTKR2019004122-appb-I000016
의 채널별 어텐션 맵을 생성한다.
Figure PCTKR2019004122-appb-M000002
또한 어텐션 모듈은 환경에 종속되는 특징
Figure PCTKR2019004122-appb-I000017
의 공간 어텐션 맵을 생성한다.
Figure PCTKR2019004122-appb-M000003
여기서,
Figure PCTKR2019004122-appb-I000018
는 1×1 커널과의 2회 합성곱 연산을 나타낸다.
이후 특징 맵
Figure PCTKR2019004122-appb-I000019
를 생성하는 잔여 블록에 대해 스킵 연결이 추가된다.
Figure PCTKR2019004122-appb-M000004
본 발명은 객체 검출 네트워크에 가시광 영상 데이터 및 적외선 영상 데이터에 대한 정보들을 입력값으로 하여 상기한 바와 같이 특징맵을 도출하고, 특징맵에서 객체를 분류한다.
영상 분석 장치(130)는 객체 학습 모집단을 통해 기계학습을 미리 수행하고, 기계학습 결과를 기초로 객체를 분류한다.
여기에서, 객체 학습 모집단은 기계학습에 필요한 다수의 객체, 예를 들어, 사람, 자동차, 표지판, 신호등 등을 포함할 수 있다.
알람부(150)는 영상 분석 장치(130)에서 가시광 및 적외선 융합 기반으로 차량 주변에 객체가 존재하며 진행 방향으로 미리 설정된 거리 이하로 위치하는 경우 알람을 생성한다.
도 6은 본 실시예에 따른 객체 검출 성능을 나타낸 것이다.
도 6a의 원본과 비교할 때, 기존 인공지능 알고리즘(SSD 및 RCNN)을 이용하는 도 6b 및 도 6c에 비해 도 6d와 같이 본 실시예에 따른 객체 검출 결과(MDADN)가 최소 2개 이상의 인식률 향상을 나타내는 것을 확인할 수 있다.
도 7은 본 실시예에 따른 가시광 및 적외선 융합 영상 기반 객체 검출 과정을 도시한 순서도이다.
도 7은 영상 분석 장치의 수행 과정을 도시한 것이다.
도 7을 참조하면, 기계학습이 완료된 영상 분석 장치(130)는 가시광 카메라(110) 및 적외선 카메라(120)를 통해 촬영된 가시광 영상 데이터 및 적외선 영상 데이터를 입력 받는다(단계 700).
여기서, 가시광 영상 데이터는 각 픽셀의 RGB 데이터이고, 적외선 영상 데이터는 각 픽셀의 로우 데이터, 그레이 스케일 데이터, 온도 및 적외선 신호 중 적어도 하나를 포함할 수 있다.
영상 분석 장치(130)는 입력된 가시광 영상 프레임에 객체 검출 저하 영역이 존재하는지를 판단한다(단계 702).
단계 702는 미리 학습된 객체 검출 네트워크에서 가시광 영상에 소정 임계치보다 높거나 낮은 밝기값을 갖는 픽셀이 소정 개수 이상 존재하는지 여부를 판단하는 과정일 수 있다.
단계 702는 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는지 여부뿐만 아니라 객체 검출 저하 영역을 식별하는 과정을 포함할 수 있다.
객체 검출 저하 영역이 존재하는 경우, 영상 분석 장치(130)는 객체 검출 네트워크의 입력값인 가시광 영상 데이터 및 적외선 영상 데이터의 가중치를 할당하여 객체를 분류한다(단계 704).
바람직하게, 객체 검출 저하 영역을 제외한 영역에 대해서는 RGB 데이터에 높은 가중치가 부여될 수 있고, 객체 검출 저하 영역에 대해서는 로우 데이터, 그레이 스케일 데이터, 온도 데이터 및 적외선 신호 데이터 중 적어도 하나 이상에 대해 높은 가중치가 부여될 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고,
    객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  2. 제1항에 있어서,
    상기 적외선 영상 데이터는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 상기 온도 데이터로부터 계산되는 적외선 신호 데이터(Radiation) 중 적어도 하나 이상을 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  3. 제2항에 있어서,
    상기 프로그램 명령어들은,
    상기 객체 검출 저하 영역에 따라 상기 RGB 데이터 각각 및 상기 적외선 영상 데이터의 가중치를 변경하여 상기 객체 검출 네트워크로 입력하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  4. 제1항에 있어서,
    상기 프로그램 명령어들은, 상기 가시광 영상의 프레임에서 미리 설정된 제1 임계치보다 높은 밝기값을 가지거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하여 상기 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는지 여부를 판단하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  5. 제3항에 있어서,
    상기 가중치는 아래의 수식에서 손실(
    Figure PCTKR2019004122-appb-I000020
    )을 최소화하는 최적 파라미터(
    Figure PCTKR2019004122-appb-I000021
    )에 따라 결정되는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
    [수학식 1]
    Figure PCTKR2019004122-appb-I000022
    여기서, x는 상기 객체 검출 네트워크의 입력값이고,
    Figure PCTKR2019004122-appb-I000023
    는 상기한 입력으로부터 얻어지는 결과값이고,
    Figure PCTKR2019004122-appb-I000024
    은
    Figure PCTKR2019004122-appb-I000025
    와 ground truth 결과 y 사이의 거리를 계산함.
  6. 제1항에 있어서,
    상기 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU를 포함하는 복수의 블록으로 구성되는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  7. 제1항에 있어서,
    상기 가시광 카메라 및 적외선 카메라는 인접한 위치에 동일 방향으로 배치되는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  8. 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 방법으로서,
    가시광 카메라를 통해 차량 주변의 가시광 영상을 입력 받는 단계;
    적외선 카메라를 통해 상기 차량 주변의 적외선 영상을 입력 받는 단계;
    상기 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하는 단계; 및
    객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하는 단계를 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 방법.
  9. 제8항에 있어서,
    상기 적외선 영상 데이터는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 상기 온도 데이터로부터 계산되는 적외선 신호 데이터(Radiation) 중 적어도 하나 이상을 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 방법.
  10. 제9항에 있어서,
    상기 객체 분류 단계는, 상기 객체 검출 저하 영역에 따라 상기 RGB 데이터 각각 및 상기 적외선 영상 데이터의 가중치를 변경하여 상기 객체 검출 네트워크로 입력하는 가시광 및 적외선 융합 영상 기반 객체 검출 방법.
PCT/KR2019/004122 2019-02-22 2019-04-08 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 WO2020171281A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190020931A KR102061445B1 (ko) 2019-02-22 2019-02-22 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
KR10-2019-0020931 2019-02-22

Publications (1)

Publication Number Publication Date
WO2020171281A1 true WO2020171281A1 (ko) 2020-08-27

Family

ID=69051466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004122 WO2020171281A1 (ko) 2019-02-22 2019-04-08 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102061445B1 (ko)
WO (1) WO2020171281A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651276A (zh) * 2020-09-04 2021-04-13 江苏濠汉信息技术有限公司 一种基于双光融合的输电通道预警系统及其预警方法
CN112907571A (zh) * 2021-03-24 2021-06-04 南京鼓楼医院 基于多光谱图像融合识别的目标判定方法
CN113029951A (zh) * 2021-03-16 2021-06-25 太原理工大学 一种输送带损伤多谱视听调频融合检测方法及装置
CN113034915A (zh) * 2021-03-29 2021-06-25 北京卓视智通科技有限责任公司 一种双光谱交通事件检测方法及装置
CN113077533A (zh) * 2021-03-19 2021-07-06 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN114298987A (zh) * 2021-12-17 2022-04-08 杭州海康威视数字技术股份有限公司 一种反光条检测方法及装置
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device
CN115050016A (zh) * 2022-08-15 2022-09-13 深圳市爱深盈通信息技术有限公司 车牌检测方法、装置、设备终端和可读存储介质
CN116778227A (zh) * 2023-05-12 2023-09-19 昆明理工大学 基于红外图像与可见光图像的目标检测方法、系统及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102449724B1 (ko) * 2020-03-18 2022-09-30 주식회사 아이엔지시스템 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN113255797B (zh) * 2021-06-02 2024-04-05 通号智慧城市研究设计院有限公司 一种基于深度学习模型的危险品检测方法和系统
CN113792592B (zh) * 2021-08-09 2024-05-07 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置
KR20230003953A (ko) * 2021-06-30 2023-01-06 한국전자기술연구원 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법
CN113869157A (zh) * 2021-09-16 2021-12-31 中国科学院合肥物质科学研究院 一种基于可见光和红外云图的云分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160058531A (ko) * 2014-11-17 2016-05-25 포항공과대학교 산학협력단 딥 러닝을 이용하는 구문 분석 모델 구축 방법 및 이를 수행하는 장치
KR20160066926A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 데이터 분류 방법 및 장치와 관심영역 세그멘테이션 방법 및 장치
KR20180008247A (ko) * 2016-07-14 2018-01-24 김경호 딥러닝 인공신경망 기반의 타스크 제공 플랫폼
KR20180093418A (ko) * 2017-02-13 2018-08-22 영남대학교 산학협력단 보행자 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160058531A (ko) * 2014-11-17 2016-05-25 포항공과대학교 산학협력단 딥 러닝을 이용하는 구문 분석 모델 구축 방법 및 이를 수행하는 장치
KR20160066926A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 데이터 분류 방법 및 장치와 관심영역 세그멘테이션 방법 및 장치
KR20180008247A (ko) * 2016-07-14 2018-01-24 김경호 딥러닝 인공신경망 기반의 타스크 제공 플랫폼
KR20180093418A (ko) * 2017-02-13 2018-08-22 영남대학교 산학협력단 보행자 검출 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, SEONG-HO: "Technology of Nighttime Pedestrian Detection for Intelligent Vehicles", THE MAGAZINE OF T HE IEIE, vol. 44, no. 8, 30 August 2017 (2017-08-30), pages 23 - 30 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651276A (zh) * 2020-09-04 2021-04-13 江苏濠汉信息技术有限公司 一种基于双光融合的输电通道预警系统及其预警方法
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device
CN113029951A (zh) * 2021-03-16 2021-06-25 太原理工大学 一种输送带损伤多谱视听调频融合检测方法及装置
CN113029951B (zh) * 2021-03-16 2024-03-29 太原理工大学 一种输送带损伤多谱视听调频融合检测方法及装置
CN113077533A (zh) * 2021-03-19 2021-07-06 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN112907571A (zh) * 2021-03-24 2021-06-04 南京鼓楼医院 基于多光谱图像融合识别的目标判定方法
CN113034915A (zh) * 2021-03-29 2021-06-25 北京卓视智通科技有限责任公司 一种双光谱交通事件检测方法及装置
CN113034915B (zh) * 2021-03-29 2023-06-20 北京卓视智通科技有限责任公司 一种双光谱交通事件检测方法及装置
CN114298987A (zh) * 2021-12-17 2022-04-08 杭州海康威视数字技术股份有限公司 一种反光条检测方法及装置
CN115050016A (zh) * 2022-08-15 2022-09-13 深圳市爱深盈通信息技术有限公司 车牌检测方法、装置、设备终端和可读存储介质
CN115050016B (zh) * 2022-08-15 2023-01-17 深圳市爱深盈通信息技术有限公司 车牌检测方法、装置、设备终端和可读存储介质
CN116778227A (zh) * 2023-05-12 2023-09-19 昆明理工大学 基于红外图像与可见光图像的目标检测方法、系统及设备
CN116778227B (zh) * 2023-05-12 2024-05-10 昆明理工大学 基于红外图像与可见光图像的目标检测方法、系统及设备

Also Published As

Publication number Publication date
KR102061445B1 (ko) 2019-12-31

Similar Documents

Publication Publication Date Title
WO2020171281A1 (ko) 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
CN110097109B (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
KR20200102907A (ko) 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN205992300U (zh) 用于提供利用人行横道识别结果的引导信息的电子装置
WO2020122301A1 (ko) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
WO2015016461A2 (ko) 교통표지판 인식을 위한 차량용 영상인식시스템
WO2015088190A1 (en) Vehicle control system for providing warning message and method thereof
WO2015056890A1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
WO2021107171A1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2018101603A1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
JP2012138077A (ja) 車両識別装置
JP6420650B2 (ja) 車外環境認識装置
WO2023005091A1 (en) Systems and methods for object detection
CA2613922A1 (en) Monolithic image perception device and method
WO2018097595A1 (ko) 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
KR20200141834A (ko) 영상기반 교통신호제어 장치 및 방법
WO2012011715A2 (ko) 차량 충돌 경보 시스템 및 방법
WO2019172500A1 (ko) 인공지능을 이용한 영상분석 시정계
KR102656881B1 (ko) AIoT 기반 교통안전 통합 관리시스템
WO2013100624A1 (ko) 템플릿을 이용한 영상 기반 상황 인식 방법 및 이를 위한 장치
Barshooi et al. Nighttime Driver Behavior Prediction Using Taillight Signal Recognition via CNN-SVM Classifier
JP3779229B2 (ja) 識別方法、識別装置、及び交通制御システム
JP2001216597A (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916424

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19916424

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26.04.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19916424

Country of ref document: EP

Kind code of ref document: A1