KR20230003953A - Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator - Google Patents

Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator Download PDF

Info

Publication number
KR20230003953A
KR20230003953A KR1020210085641A KR20210085641A KR20230003953A KR 20230003953 A KR20230003953 A KR 20230003953A KR 1020210085641 A KR1020210085641 A KR 1020210085641A KR 20210085641 A KR20210085641 A KR 20210085641A KR 20230003953 A KR20230003953 A KR 20230003953A
Authority
KR
South Korea
Prior art keywords
image
feature map
deep learning
illuminance
generated
Prior art date
Application number
KR1020210085641A
Other languages
Korean (ko)
Inventor
이상설
장성준
박종희
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to PCT/KR2021/008285 priority Critical patent/WO2023277219A1/en
Priority to KR1020210085641A priority patent/KR20230003953A/en
Publication of KR20230003953A publication Critical patent/KR20230003953A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

A lightweight deep learning processing device and method for vehicles applying an environmental change adaptive feature generator are provided. In an object detection method according to an embodiment of the present invention, a first image of a first type, a second image of a second type, and a third image of a third type are input, one feature map is generated by fusing the first image, the second image, and the third image, an object is detected by analyzing the generated feature map, and the generating process of the first image, the second image, and the third image is controlled based on the distribution of feature points generated in the process of generating one feature map. Accordingly, a lightweight, embedded deep learning network can go beyond detecting and classifying the object from the images generated from multiple sensors installed in a vehicle to cover control of lighting, and the like, which is handled with an existing rule-base. In addition, according to embodiments of the present invention, it is possible to flexibly respond to the flexible deep learning device, new sensor input, and environmental change through a structure applicable to heterogeneous systems as well as heterogeneous sensors.

Description

환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법{Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator}Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator}

본 발명은 인공지능 기술을 활용한 영상 처리 및 SoC(System on Chip) 기술에 관한 것으로, 더욱 상세하게는 차량 내부에서 다중 센서로부터 영상들을 입력받아 딥러닝으로 처리하는 장치 및 방법에 관한 것이다.The present invention relates to image processing and SoC (System on Chip) technology using artificial intelligence technology, and more particularly, to an apparatus and method for receiving images from multiple sensors inside a vehicle and processing them by deep learning.

카메라 등을 통해 생성한 영상 데이터를 이용하여 딥러닝 연산을 수행하여 사용자 인식, 객체 검출, 차선 검출, 도로 검출 등 수 많은 연구가 진행 중에 있다.Numerous studies are in progress, such as user recognition, object detection, lane detection, road detection, etc., by performing deep learning calculations using image data generated through cameras, etc.

특히, 차량 내부에 적용하기 위하여 RGB 카메라, 스테레오 카메라, ToF 센서, Lidar, 조명 등을 연동하여 딥러닝 엔진을 동작시켜 높은 정확도를 유지하기 위하여 고성능의 하드웨어 플랫폼을 요구한다.In particular, a high-performance hardware platform is required to maintain high accuracy by operating a deep learning engine in conjunction with an RGB camera, a stereo camera, a ToF sensor, Lidar, and lighting for application to the inside of a vehicle.

현재까지 차량 내부 카메라 시스템은 운전자 상태 검출, 전방 주시 태만 경고 등 영상 기반의 다양한 센서 활용을 연구 중인 상태이다. 하지만, RGB 영상 센서와 함께 RGB/IR 및 외부 환경의 변화에 능동적 변화가 가능한 다기능 센서 신호 처리 전용 딥러닝 엔진에 대한 개발이 미흡한 상태이다.Until now, in-vehicle camera systems are currently researching the use of various image-based sensors, such as driver condition detection and forward-looking negligence warning. However, development of a deep learning engine dedicated to multi-function sensor signal processing capable of actively changing RGB/IR and changes in the external environment along with an RGB image sensor is insufficient.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존의 Rule-base로 처리되고 있는 조명 등의 컨트롤까지 포함하는 퓨전 딥러닝 네트워크 구조를 적용한 다중 센서 기반 차량 내부 객체 인지를 위한 경량 임베디드 하드웨어를 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is a multi-sensor-based vehicle interior object to which a fusion deep learning network structure is applied including control of lighting, etc. To provide lightweight embedded hardware for cognition.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 검출 방법은, 제1 타입의 제1 영상을 입력받는 제1 입력단계; 제2 타입의 제2 영상을 입력받는 제2 입력단계; 제3 타입의 제3 영상을 입력받는 제3 입력단계; 제1 영상, 제2 영상 및 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 단계; 생성한 Feature Map을 분석하여, 객체를 검출하는 단계; 하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들의 분포를 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, an object detection method includes a first input step of receiving a first image of a first type; a second input step of receiving a second image of a second type; a third input step of receiving a third image of a third type; fusing the first image, the second image, and the third image to generate one Feature Map; Analyzing the generated feature map and detecting an object; and controlling a process of generating a first image, a second image, and a third image based on the distribution of feature points generated in the process of generating one Feature Map.

본 발명의 일 실시예에 따른, 객체 검출 방법은, 조도를 추정하는 단계;를 더 포함하고, 생성 단계는, 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성할 수 있다.According to an embodiment of the present invention, the method for detecting an object further includes estimating illuminance, and in the generating step, the first image, the second image, and the third image are fused differently based on the estimated illuminance. Thus, one feature map can be created.

생성 단계는, 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상 중 하나를 선택하고, 선택된 영상의 Feature Map을 생성할 수 있다.In the generating step, one of the first image, the second image, and the third image may be selected based on the estimated illuminance, and a Feature Map of the selected image may be generated.

추정 단계는, 픽셀 별로 조도를 추정하고, 생성 단계는, 픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 하나의 Feature Map을 생성할 수 있다.In the estimating step, the illuminance is estimated for each pixel, and in the generating step, one feature map is generated by selecting one of the first image, the second image, and the third image for each pixel based on the illuminance for each pixel. can

추정 단계는, 제1 영상을 이용하여, 조도를 추정할 수 있다.In the estimating step, illuminance may be estimated using the first image.

제1 영상은, RGB 영상이고, 제2 영상은, IR 영상이며, 제3 영상은, RGB 영상과 IR 영상을 융합한 영상일 수 있다.The first image may be an RGB image, the second image may be an IR image, and the third image may be a fusion image of an RGB image and an IR image.

제3 영상은, 조도 정보를 기초로, RGB 영상과 IR 영상이 융합된 것일 수 있다.The third image may be a fusion of an RGB image and an IR image based on illuminance information.

한편, 본 발명의 다른 실시예에 따른, 객체 검출 장치는, 제1 타입의 제1 영상, 제2 타입의 제2 영상 및 제3 타입의 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 융합기; 생성한 Feature Map을 분석하여, 객체를 검출하는 검출기; 융합기에 마련되며, 하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들을 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 제어기;를 포함한다.On the other hand, according to another embodiment of the present invention, an object detection apparatus generates one feature map by fusing a first image of a first type, a second image of a second type, and a third image of a third type. fuser; a detector that analyzes the generated feature map and detects an object; It is provided in the fuser and controls the process of generating the first image, the second image, and the third image based on the feature points generated in the process of generating one feature map; includes.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 경량의 임베디드향 딥러닝 네트워크로 차량에 설치된 다중 센서들로부터 생성되는 영상들로부터 객체를 검출/분류하는 것에서 나아가, 기존의 Rule-base로 처리되고 있는 조명 등의 제어까지 커버할 수 있게 된다.As described above, according to the embodiments of the present invention, a light-weight embedded deep learning network goes beyond detecting/classifying objects from images generated from multiple sensors installed in a vehicle, and processes them using an existing rule-base. It is possible to cover even the control of the lighting being performed.

또한, 본 발명의 실시예들에 따르면, 이종의 센서와 더불어 이종의 시스템에 적용가능한 구조를 통해 유연한 딥러닝 장치, 신종 센서 입력, 환경 변화에 유연하게 대응할 수 있는 장점이 있다.In addition, according to the embodiments of the present invention, there is an advantage in that it can flexibly respond to a flexible deep learning device, new sensor input, and environmental change through a structure applicable to heterogeneous sensors and heterogeneous systems.

도 1은 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도,
도 2는 차량용 경량 딥러닝 처리 장치의 설치 상태를 도시한 도면,
도 3은, 도 1에 도시된 영상 융합기의 상세 블럭도,
도 4는 RGB 영상 생성 과정의 설명에 제공되는 도면,
도 5는 IR 영상 생성 과정의 설명에 제공되는 도면,
도 6은 RGB/IR 영상 생성 과정의 설명에 제공되는 도면,
도 7은 환경/카메라 위치/인원에 따른 차량 내부 데이터셋의 구분,
도 8은 4채널 데이터 셋 객체 검출 결과 예시,
도 9는 3채널 데이터 셋 객체 검출 결과 예시, 그리고,
도 10은 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도이다.1 is a block diagram of a lightweight deep learning processing device for a vehicle according to an embodiment of the present invention;
2 is a diagram showing an installation state of a lightweight deep learning processing device for a vehicle;
Figure 3 is a detailed block diagram of the image fuser shown in Figure 1;
4 is a diagram provided for explanation of an RGB image generation process;
5 is a diagram provided for explanation of an IR image generation process;
6 is a diagram provided to explain a process of generating an RGB/IR image;
7 is a classification of vehicle interior data sets according to environment / camera location / number of people;
8 is an example of a 4-channel data set object detection result;
9 is an example of a 3-channel data set object detection result, and
10 is a flowchart provided to explain a method for detecting/classifying objects inside a vehicle according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

본 발명의 실시예에서는 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치를 제시한다.In an embodiment of the present invention, a lightweight deep learning processing device for a vehicle to which an environment change adaptive feature generator is applied is proposed.

본 발명의 실시예를 통해 제시하는 딥러닝 네트워크는 다중 센서로 생성한 영상들인 RGB 영상과 IR 영상을 입력으로 하여 차량 내부의 객체를 검출/분류하는데, 이 과정에서 딥러닝 네트워크의 중간 연산 결과를 이용하여 외부 환경 적응형 제어까지 수행할 수 있다.The deep learning network presented through the embodiment of the present invention detects/classifies objects inside the vehicle by using RGB images and IR images, which are images generated by multiple sensors, as inputs. In this process, the intermediate operation result of the deep learning network It can be used to perform external environment adaptive control.

도 1은 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다. 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는, 이종 센서들로부터 생성된 영상들에 대해 다중 특징 추출 기법을 적용한 후에, 차량 내부의 객체 검출/분류를 수행한다. 이를 위해, 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는, 도 2에 도시된 바와 같이, 차량 내부에 설치된다.1 is a block diagram of a lightweight deep learning processing device for a vehicle according to an embodiment of the present invention. The lightweight deep learning processing apparatus 100 for a vehicle according to an embodiment of the present invention performs detection/classification of an object inside the vehicle after applying a multiple feature extraction technique to images generated from heterogeneous sensors. To this end, the lightweight deep learning processing apparatus 100 for a vehicle according to an embodiment of the present invention, as shown in FIG. 2, is installed inside the vehicle.

이와 같은 기능을 수행하는 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치는, 도 2에 도시된 바와 같이, 조도 추정기(110), 영상 융합기(120) 및 객체 검출/분류기(130)를 포함하여 구성된다.As shown in FIG. 2, the lightweight deep learning processing device for a vehicle according to an embodiment of the present invention performing such a function includes an illuminance estimator 110, an image fusion machine 120, and an object detection/classifier 130. consists of including

조도 추정기(110)는 차량 내부의 RGB 영상으로부터 차량 내부의 조도를 추정한다. 조도 추정기(110)는 RGB 영상의 픽셀 별로 조도 정보를 추정하고, 추정된 조도 정보의 평균을 차량 내부의 조도로 추정할 수 있다. 조도 추정기(110)에 의해 추정된 조도 정보는 영상 융합기(120)로 전달된다.The illuminance estimator 110 estimates the illuminance inside the vehicle from the RGB image of the inside of the vehicle. The illuminance estimator 110 may estimate illuminance information for each pixel of the RGB image and estimate the illuminance inside the vehicle as an average of the estimated illuminance information. The illuminance information estimated by the illuminance estimator 110 is transmitted to the image convergence unit 120 .

영상 융합기(120)는 RGB 영상, IR 영상, RGB/IR 영상을 융합(Selection 및 Concatenation)하여, 하나의 Feature Map을 생성한다. 영상 융합은 조도 정보에 따라 각기 다른 방식으로 이루어진다.The image convergence unit 120 fuses (selection and concatenation) RGB images, IR images, and RGB/IR images to generate one feature map. Image fusion is performed in different ways according to illuminance information.

도 3은 영상 융합기(120)의 상세 블럭도이다. 영상 융합기(120)는 도시된 바와 같이, 다중 스펙트럼 특징 생성기(121), 형상 기반 특징 생성기(122), 융합 코스트 계산기(123) 및 제어 신호 생성기(124)를 포함하여 구성된다.3 is a detailed block diagram of the image fuser 120. As shown, the image fuser 120 includes a multispectral feature generator 121, a shape-based feature generator 122, a fusion cost calculator 123, and a control signal generator 124.

다중 스펙트럼 특징 생성기(121)는 조도를 기초로 RGB 영상, IR 영상, RGB/IR 영상 중 하나를 선택하고 선택한 영상으로부터 특징점들을 추출한다. 조도가 높은 경우에는 RGB 영상을 선택하고, 조도가 낮은 경우에는 IR 영상을 선택하며, 조도가 중간인 경우에는 RGB/IR 영상을 선택하는 것으로 구현가능하지만, 다른 선택 방식을 적용할 수도 있음은 물론이다.The multispectral feature generator 121 selects one of an RGB image, an IR image, and an RGB/IR image based on illuminance and extracts feature points from the selected image. It can be implemented by selecting an RGB image when the illuminance is high, selecting an IR image when the illuminance is low, and selecting an RGB/IR image when the illuminance is medium, but other selection methods can be applied as well. to be.

RGB/IR 영상은 RGB 영상과 IR 영상을 융합하여 생성한 영상이다. 조도 정보를 참조하여 융합하는데, RGB/IR 영상 생성 방법에 대해서는 상세히 후술한다.An RGB/IR image is an image generated by fusing an RGB image and an IR image. The convergence is performed with reference to illuminance information, and a method for generating an RGB/IR image will be described in detail later.

위 선택 방식에서는 영상 단위로 선택이 이루어졌다. 하지만, 다른 방식으로 대체 가능한데, 이를 테면, 픽셀 단위로 선택이 이루어지도록 구현할 수 있다.In the above selection method, selection was made in units of images. However, it can be substituted in another way, for example, it can be implemented so that selection is made in units of pixels.

구체적으로, 다중 스펙트럼 특징 생성기(121)는 픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 특징점들을 추출할 수도 있다.Specifically, the multispectral feature generator 121 may extract feature points by selecting one of the first image, the second image, and the third image for each pixel based on the illuminance of each pixel.

이를 테면, 조도가 높은 픽셀에 대해서는 RGB 영상의 픽셀을 선택하고, 조도가 낮은 픽셀에 대해서는 IR 영상의 픽셀을 선택하며, 조도가 중간인 픽셀에 대해서는 RGB/IR 영상의 픽셀을 선택하는 것이다. 물론, 다른 선택 방식을 적용할 수도 있다.For example, RGB image pixels are selected for pixels with high luminance, IR image pixels are selected for pixels with low luminance, and pixels of RGB/IR images are selected for pixels with medium luminance. Of course, other selection methods may be applied.

이와 같이, 다중 스펙트럼 특징 생성기(121)는 다중 영상들로부터 특징점들을 융합하는 다중 특징 생성기로 기능하는 딥러닝 네트워크이다.As such, the multispectral feature generator 121 is a deep learning network that functions as a multispectral feature generator that fuses feature points from multiple images.

형상 기반 특징 생성기(122)는 다중 스펙트럼 특징 생성기(121)에서 생성된 특징점들을 기초로 상관 관계를 고려하여 형상 기반 특징점들을 생성하여 하나의 Feature Map로 출력하는 딥러닝 네트워크이다.The shape-based feature generator 122 is a deep learning network that generates feature-based feature points based on the feature points generated by the multispectral feature generator 121 by considering the correlation and outputs them as one feature map.

융합 코스트 계산기(123)는 융합을 위한 연산 수행 과정에 따라 코스트를 계산하여 피드백하여 줌으로써, 보다 보다 정확한 결과를 얻을 수 있도록 하기 위한 구성이다.The convergence cost calculator 123 is a configuration for obtaining a more accurate result by calculating a cost according to a process of performing an operation for convergence and giving feedback thereof.

제어 신호 생성기(124)는 다중 스펙트럼 특징 생성기(121)에서 생성한 특징점들의 분포가 GT 데이터와 큰 차이가 발생하는 경우에 RGB 영상에 대한 Noise filter, Exposure, ISO, WDR을 제어하기 위한 제어 신호를 생성하고, IR 조명의 강도를 제어하기 위한 제어 신호를 생성한다.The control signal generator 124 generates a control signal for controlling the noise filter, exposure, ISO, and WDR of the RGB image when the distribution of feature points generated by the multispectral feature generator 121 has a large difference from the GT data. and generate a control signal for controlling the intensity of IR illumination.

또한, 제어 신호 생성기(124)는 조도 추정기(110)에 의해 추정된 차량의 내부 조도를 기초로 차량 내부가 역광 상황 또는 저조도 상황으로 판단한 경우에 강인한 영상을 획득하기 위해 제어 신호를 생성할 수도 있다.In addition, the control signal generator 124 may generate a control signal to obtain a robust image when it is determined that the inside of the vehicle is in a backlight situation or a low illumination situation based on the internal illuminance of the vehicle estimated by the illuminance estimator 110. .

다시, 도 1을 참조하여 설명한다.Again, description is made with reference to FIG. 1 .

객체 검출/분류기(130)는 영상 융합기(120)에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출하고 검출된 객체를 분류한다. 객체 검출/분류기(130)는 Feature Map을 입력받아 객체 검출/분류 결과를 출력하는 딥러닝 네트워크로 구현할 수 있다.The object detector/classifier 130 analyzes the feature map generated by the image fuser 120 to detect objects inside the vehicle and classify the detected objects. The object detection/classifier 130 may be implemented as a deep learning network that receives a feature map and outputs an object detection/classification result.

이하에서는, RGB 영상, IR 영상, RGB/IR 영상이 생성되는 과정에 대해 상세히 설명한다. 영상들을 생성함에 있어서는 조도 추정기(110)에 의해 추정된 조도 정보가 참조되며, 제어 신호 생성기(124)에 의한 제어가 수행될 수도 있다.Hereinafter, a process of generating an RGB image, an IR image, and an RGB/IR image will be described in detail. In generating images, illuminance information estimated by the illuminance estimator 110 is referred to, and control may be performed by the control signal generator 124 .

도 4는 RGB 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, RGB 센서(11)에 의해 생성된 RGB 영상은 RGB 영상 처리기(12)에 의해 신호처리되는데, 제어 신호 생성기(124)는 조도 정보를 기초로 RGB 영상 처리기(12)의 잡읍 제거 필터(Noise filter)와 WDR(Wide Dynamic Range), ISO, Exposure를 제어한다. 이에 의해, 역광 상황에 대한 능동적인 대처가 가능하다. 또한, 제어 신호 생성기(124)는 다중 스펙트럼 특징 생성기(121)에서 생성한 특징점들의 분포를 기초로 RGB 영상 처리기(12)의 잡읍 제거 필터(Noise filter)와 WDR(Wide Dynamic Range), ISO, Exposure를 제어할 수도 있다.4 is a diagram provided to explain a process of generating an RGB image. As shown, the RGB image generated by the RGB sensor 11 is signal-processed by the RGB image processor 12, and the control signal generator 124 removes noise from the RGB image processor 12 based on illuminance information. It controls the noise filter, WDR (Wide Dynamic Range), ISO, and Exposure. As a result, it is possible to actively cope with a backlight situation. In addition, the control signal generator 124 uses the noise filter of the RGB image processor 12 and the wide dynamic range (WDR), ISO, exposure based on the distribution of feature points generated by the multispectral feature generator 121. can also control.

도 5는 IR 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, IR 센서(21)에 의해 생성된 IR 영상은 IR 영상 처리기(22)에 의해 신호처리되는데, 제어 신호 생성기(124)는 조도 정보를 기초로 IR 조명(24)의 강도를 제어한다. 이에 의해, 저조도 상황에서 능동적인 대처가 가능하다. 또한, 제어 신호 생성기(124)는 다중 스펙트럼 특징 생성기(121)에서 생성한 특징점들의 분포를 기초로 IR 조명(24)의 강도를 제어할 수도 있다.5 is a diagram provided to explain a process of generating an IR image. As shown, the IR image generated by the IR sensor 21 is signal-processed by the IR image processor 22, and the control signal generator 124 controls the intensity of the IR illumination 24 based on illuminance information. do. As a result, it is possible to actively cope with low light conditions. Also, the control signal generator 124 may control the intensity of the IR illumination 24 based on the distribution of feature points generated by the multispectral feature generator 121 .

도 6은 RGB/IR 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, RGB/IR 영상 생성기(41)는 RGB 센서(11)에 의해 생성된 RGB 영상과 IR 센서(21)에 의해 생성된 IR 영상을 융합하여 RGB/IR 영상을 생성하는데, 이 과정에서 조도 정보가 참조된다.6 is a diagram provided to explain a process of generating an RGB/IR image. As shown, the RGB/IR image generator 41 fuses the RGB image generated by the RGB sensor 11 and the IR image generated by the IR sensor 21 to generate an RGB/IR image. Illumination information is referenced in

구체적으로, 조도가 기준 이상인 픽셀에 대해서는 RGB 영상의 픽셀을 선택하고, 조도가 기준 미만인 픽셀에 대해서는 IR 영상의 픽셀을 선택하여, 융합함으로써 RGB/IR 영상을 생성할 수 있다.Specifically, an RGB/IR image may be generated by selecting pixels of an RGB image for pixels whose illuminance is greater than a standard and selecting pixels of an IR image for pixels whose illuminance is less than a standard, and merging them.

본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치의 성능을 확인하기 위해, 차량 내부 환경을 도 7에 나타낸 바와 같이 다양한 환경으로 모사하여 실영상을 생성하여 학습 및 성능 측정을 수행하였다.In order to check the performance of the lightweight deep learning processing device for a vehicle according to an embodiment of the present invention, learning and performance measurement were performed by generating a real image by simulating the environment inside the vehicle in various environments as shown in FIG. 7 .

측정 결과 도 8과 도 9에 나타낸 바와 같이 Saturation 되었거나, 특정 스펙트럼에서 데이터가 손실되었을 경우에도 다수의 객체가 높은 정확도로 인식됨을 확인할 수 있었으며, 조명 제어 신호를 통하여 보다 높은 정확도를 얻을 수 있었다. As a result of the measurement, as shown in FIGS. 8 and 9, it was confirmed that a large number of objects were recognized with high accuracy even when saturation was performed or data was lost in a specific spectrum, and higher accuracy was obtained through the lighting control signal.

도 8은 2종의 4채널 데이터 셋과 3채널 데이터 셋에서 검출 정확도가 향상됨을 확인한 결과이고, 도 9는 4채널 데이터 셋에서 RGB/IR 영상을 이용한 융합 방식이 단일 스펙트럽 방식에 비해 성능이 개선되었음을 확인할 결과이다.8 is the result of confirming that the detection accuracy is improved in two types of 4-channel data sets and 3-channel data sets, and FIG. This is the result to confirm the improvement.

도 10은 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도이다.10 is a flowchart provided to explain a method for detecting/classifying objects inside a vehicle according to another embodiment of the present invention.

도시된 바와 같이, 먼저, 차량 내부의 RGB 영상을 생성하고(S210), 차량 내부의 IR 영상을 생성하며(S220), RGB 영상과 IR 영상을 융합하여 RGB/IR 영상을 생성한다(S230),As shown, first, an RGB image inside the vehicle is generated (S210), an IR image inside the vehicle is generated (S220), and an RGB / IR image is generated by fusing the RGB image and the IR image (S230),

다음, 조도 추정기(110)는 S210단계에서 생성된 RGB 영상을 이용하여, 차량 내부의 조도를 추정한다(S240).Next, the illuminance estimator 110 estimates the illuminance inside the vehicle using the RGB image generated in step S210 (S240).

그러면, 영상 융합기(120)는 S240단계에서 추정된 조도 정보를 참조하여, RGB 영상, IR 영상, RGB/IR 영상을 융합하여, 하나의 Feature Map을 생성한다(S250).Then, the image convergence unit 120 refers to the illuminance information estimated in step S240 and fuses the RGB image, the IR image, and the RGB/IR image to generate one Feature Map (S250).

이후, 객체 검출/분류기(130)는 S250단계에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출하고 검출된 객체를 분류한다(S260).Then, the object detector/classifier 130 analyzes the feature map generated in step S250, detects objects inside the vehicle, and classifies the detected objects (S260).

지금까지, 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.So far, a lightweight deep learning processing apparatus and method for a vehicle to which an environment change adaptive feature generator is applied have been described in detail by citing preferred embodiments.

본 발명의 실시예에서는, 기존의 Rule-base로 처리되고 있는 조명 등의 컨트롤까지 포함하는 퓨전 딥러닝 네트워크 구조를 적용하여 경량 임베디드 하드웨어를 설계하였다. 이종의 센서와 더불어 이종의 시스템에 적용가능한 구조로, 유연한 딥러닝 장치, 신종 센서 입력, 환경변화에도 유지보수가 가능한 모델이다.In the embodiment of the present invention, lightweight embedded hardware was designed by applying a fusion deep learning network structure that includes control of lighting, etc., which is processed with the existing rule-base. With a structure that can be applied to heterogeneous systems as well as heterogeneous sensors, it is a flexible deep learning device, a new type of sensor input, and a model that can be maintained despite environmental changes.

본 발명의 실시예에 의해, 단일 센서 기반의 처리와 더불어 이종의 센서 간의 딥러닝 처리를 위한 융합 기술의 적용으로 다양한 외부 센서 인터페이스에 적용이 가능하며, 다양한 센서 및 환경의 변화에도 적용 가능한 수준의 딥러닝 구현이 가능하다.According to an embodiment of the present invention, it can be applied to various external sensor interfaces by applying convergence technology for deep learning processing between heterogeneous sensors as well as processing based on a single sensor, and can be applied to various sensors and changes in the environment. Deep learning can be implemented.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium may be any data storage device that can be read by a computer and store data. For example, the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those skilled in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

110 : 조도 추정기
120 : 영상 융합기
121 : 다중 스펙트럼 특징 생성기
122 : 형상 기반 특징 생성기
123 : 융합 코스트 계산기
124 : 제어 신호 생성기
130 : 객체 검출/분류기110: illuminance estimator
120: image fusion machine
121: multispectral feature generator
122: shape based feature generator
123 : Fusion Cost Calculator
124: control signal generator
130: object detection/classifier

Claims (8)

제1 타입의 제1 영상을 입력받는 제1 입력단계;
제2 타입의 제2 영상을 입력받는 제2 입력단계;
제3 타입의 제3 영상을 입력받는 제3 입력단계;
제1 영상, 제2 영상 및 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 단계;
생성한 Feature Map을 분석하여, 객체를 검출하는 단계;
하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들의 분포를 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
a first input step of receiving a first image of a first type;
a second input step of receiving a second image of a second type;
a third input step of receiving a third image of a third type;
fusing the first image, the second image, and the third image to generate one Feature Map;
Analyzing the generated feature map and detecting an object;
An object detection method comprising: controlling a process of generating a first image, a second image, and a third image based on the distribution of feature points generated in the process of generating one Feature Map.
 청구항 1에 있어서,
조도를 추정하는 단계;를 더 포함하고,
생성 단계는,
추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
The method of claim 1,
Estimating the illuminance; further comprising,
The creation step is
An object detection method characterized in that a single feature map is created by fusing the first image, the second image, and the third image differently based on the estimated illuminance.
 청구항 1에 있어서,
생성 단계는,
추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상 중 하나를 선택하고, 선택된 영상의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
The method of claim 1,
The creation step is
An object detection method characterized by selecting one of the first image, the second image, and the third image based on the estimated illuminance, and generating a feature map of the selected image.
 청구항 1에 있어서,
추정 단계는,
픽셀 별로 조도를 추정하고,
생성 단계는,
픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 하나의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
The method of claim 1,
The estimation step is
Estimate the illuminance for each pixel,
The creation step is
An object detection method characterized by generating one feature map by selecting one of the first image, the second image, and the third image for each pixel based on the illuminance of each pixel.
 청구항 1에 있어서,
추정 단계는,
제1 영상을 이용하여, 조도를 추정하는 것을 특징으로 하는 객체 검출 방법.
The method of claim 1,
The estimation step is
An object detection method characterized by estimating illuminance using a first image.
 청구항 1에 있어서,
제1 영상은,
RGB 영상이고,
제2 영상은,
IR 영상이며,
제3 영상은,
RGB 영상과 IR 영상을 융합한 영상인 것을 특징으로 하는 객체 검출 방법.
The method of claim 1,
The first video,
It is an RGB image,
The second video,
It is an IR image,
The third video,
An object detection method characterized in that the image is a fusion of an RGB image and an IR image.
 청구항 6에 있어서,
제3 영상은,
조도 정보를 기초로, RGB 영상과 IR 영상이 융합된 것을 특징으로 하는 객체 검출 방법.
The method of claim 6,
The third video,
An object detection method characterized in that an RGB image and an IR image are fused based on illuminance information.
 제1 타입의 제1 영상, 제2 타입의 제2 영상 및 제3 타입의 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 융합기;
생성한 Feature Map을 분석하여, 객체를 검출하는 검출기;
융합기에 마련되며, 하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들을 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 제어기;를 포함하는 것을 특징으로 하는 객체 검출 장치.
a fuser that fuses a first image of a first type, a second image of a second type, and a third image of a third type to generate one feature map;
a detector that analyzes the generated feature map and detects an object;
A controller provided in the fuser and controlling the process of generating the first image, the second image, and the third image based on feature points generated in the process of generating one Feature Map; object detection device comprising a .
KR1020210085641A 2021-06-30 2021-06-30 Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator KR20230003953A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2021/008285 WO2023277219A1 (en) 2021-06-30 2021-06-30 Lightweight deep learning processing device and method for vehicle to which environmental change adaptive feature generator is applied
KR1020210085641A KR20230003953A (en) 2021-06-30 2021-06-30 Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210085641A KR20230003953A (en) 2021-06-30 2021-06-30 Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator

Publications (1)

Publication Number Publication Date
KR20230003953A true KR20230003953A (en) 2023-01-06

Family

ID=84692793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210085641A KR20230003953A (en) 2021-06-30 2021-06-30 Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator

Country Status (2)

Country Link
KR (1) KR20230003953A (en)
WO (1) WO2023277219A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407200B1 (en) * 2017-09-19 2022-06-10 삼성전자주식회사 Electronic device for providing function using RGB image and IR image acquired through one image sensor
KR102061445B1 (en) * 2019-02-22 2019-12-31 써모아이 주식회사 Method and apparatus for object recognition based on visible light and infrared fusion image
US11113532B2 (en) * 2019-04-16 2021-09-07 Lg Electronics Inc. Artificial intelligence apparatus for recognizing object and method therefor
KR20190122606A (en) * 2019-10-11 2019-10-30 엘지전자 주식회사 Apparatus and method for monitoring object in vehicle
KR102333107B1 (en) * 2019-11-26 2021-11-30 한국전자기술연구원 Deep Learning Processing Apparatus and Method for Multi-Sensor on Vehicle

Also Published As

Publication number Publication date
WO2023277219A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
CN110163904B (en) Object labeling method, movement control method, device, equipment and storage medium
US11263751B2 (en) Method and apparatus for image segmentation using an event sensor
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
KR101848019B1 (en) Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
JP5782088B2 (en) System and method for correcting distorted camera images
KR20180056685A (en) System and method for non-obstacle area detection
WO2023016271A1 (en) Attitude determining method, electronic device, and readable storage medium
US11436839B2 (en) Systems and methods of detecting moving obstacles
KR102333107B1 (en) Deep Learning Processing Apparatus and Method for Multi-Sensor on Vehicle
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
CN111598065B (en) Depth image acquisition method, living body identification method, apparatus, circuit, and medium
CN113396423A (en) Method of processing information from event-based sensors
CN112926461B (en) Neural network training and driving control method and device
JP2018073275A (en) Image recognition device
US11100702B2 (en) 3D image labeling method based on labeling information of 2D image and 3D image labeling device
CN112241963A (en) Lane line identification method and system based on vehicle-mounted video and electronic equipment
Itu et al. An efficient obstacle awareness application for android mobile devices
Satzoda et al. Vision-based front and rear surround understanding using embedded processors
KR20230003953A (en) Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator
EP3168779A1 (en) Method for identifying an incoming vehicle and corresponding system
CN112364693A (en) Barrier identification method, device and equipment based on binocular vision and storage medium
KR20220067733A (en) Vehicle lightweight deep learning processing device and method applying multiple feature extractor