WO2023277219A1 - 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법 - Google Patents

환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법 Download PDF

Info

Publication number
WO2023277219A1
WO2023277219A1 PCT/KR2021/008285 KR2021008285W WO2023277219A1 WO 2023277219 A1 WO2023277219 A1 WO 2023277219A1 KR 2021008285 W KR2021008285 W KR 2021008285W WO 2023277219 A1 WO2023277219 A1 WO 2023277219A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature map
illuminance
generating
vehicle
Prior art date
Application number
PCT/KR2021/008285
Other languages
English (en)
French (fr)
Inventor
이상설
장성준
박종희
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2023277219A1 publication Critical patent/WO2023277219A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Definitions

  • the present invention relates to image processing and SoC (System on Chip) technology using artificial intelligence technology, and more particularly, to an apparatus and method for receiving images from multiple sensors inside a vehicle and processing them by deep learning.
  • SoC System on Chip
  • a high-performance hardware platform is required to maintain high accuracy by operating a deep learning engine in conjunction with an RGB camera, a stereo camera, a ToF sensor, Lidar, and lighting for application to the inside of a vehicle.
  • the present invention has been devised to solve the above problems, and an object of the present invention is a multi-sensor-based vehicle interior object to which a fusion deep learning network structure is applied including control of lighting, etc. To provide lightweight embedded hardware for cognition.
  • an object detection method includes a first input step of receiving a first image of a first type; a second input step of receiving a second image of a second type; a third input step of receiving a third image of a third type; fusing the first image, the second image, and the third image to generate one Feature Map; Analyzing the generated feature map and detecting an object; and controlling a process of generating a first image, a second image, and a third image based on the distribution of feature points generated in the process of generating one Feature Map.
  • the method for detecting an object further includes estimating illuminance, and in the generating step, the first image, the second image, and the third image are fused differently based on the estimated illuminance.
  • one feature map can be created.
  • one of the first image, the second image, and the third image may be selected based on the estimated illuminance, and a Feature Map of the selected image may be generated.
  • the illuminance is estimated for each pixel
  • one feature map is generated by selecting one of the first image, the second image, and the third image for each pixel based on the illuminance for each pixel.
  • illuminance may be estimated using the first image.
  • the first image may be an RGB image
  • the second image may be an IR image
  • the third image may be a fusion image of an RGB image and an IR image.
  • the third image may be a fusion of an RGB image and an IR image based on illuminance information.
  • an object detection apparatus generates one feature map by fusing a first image of a first type, a second image of a second type, and a third image of a third type.
  • fuser a detector that analyzes the generated feature map and detects an object; It is provided in the fuser and controls the process of generating the first image, the second image, and the third image based on the feature points generated in the process of generating one feature map; includes.
  • a light-weight embedded deep learning network goes beyond detecting/classifying objects from images generated from multiple sensors installed in a vehicle, and processes them using an existing rule-base. It is possible to cover even the control of the lighting being performed.
  • FIG. 1 is a block diagram of a lightweight deep learning processing device for a vehicle according to an embodiment of the present invention
  • FIG. 2 is a diagram showing an installation state of a lightweight deep learning processing device for a vehicle
  • FIG. 3 is a detailed block diagram of the image fuser shown in Figure 1;
  • FIG. 6 is a diagram provided to explain a process of generating an RGB/IR image
  • FIG. 10 is a flowchart provided to explain a method for detecting/classifying objects inside a vehicle according to another embodiment of the present invention.
  • a lightweight deep learning processing device for a vehicle to which an environment change adaptive feature generator is applied is proposed.
  • the deep learning network presented through the embodiment of the present invention detects/classifies objects inside the vehicle by using RGB images and IR images, which are images generated by multiple sensors, as inputs.
  • RGB images and IR images which are images generated by multiple sensors, as inputs.
  • the intermediate operation result of the deep learning network It can be used to perform external environment adaptive control.
  • the lightweight deep learning processing apparatus 100 for a vehicle according to an embodiment of the present invention performs detection/classification of an object inside the vehicle after applying a multiple feature extraction technique to images generated from heterogeneous sensors.
  • the lightweight deep learning processing apparatus 100 for a vehicle according to an embodiment of the present invention as shown in FIG. 2, is installed inside the vehicle.
  • the lightweight deep learning processing device for a vehicle includes an illuminance estimator 110, an image fusion machine 120, and an object detection/classifier 130. consists of including
  • the illuminance estimator 110 estimates the illuminance inside the vehicle from the RGB image of the inside of the vehicle.
  • the illuminance estimator 110 may estimate illuminance information for each pixel of the RGB image and estimate the illuminance inside the vehicle as an average of the estimated illuminance information.
  • the illuminance information estimated by the illuminance estimator 110 is transmitted to the image convergence unit 120 .
  • the image convergence unit 120 fuses (selection and concatenation) RGB images, IR images, and RGB/IR images to generate one feature map. Image fusion is performed in different ways according to illuminance information.
  • the image fuser 120 includes a multispectral feature generator 121, a shape-based feature generator 122, a fusion cost calculator 123, and a control signal generator 124.
  • the multispectral feature generator 121 selects one of an RGB image, an IR image, and an RGB/IR image based on illuminance and extracts feature points from the selected image. It can be implemented by selecting an RGB image when the illuminance is high, selecting an IR image when the illuminance is low, and selecting an RGB/IR image when the illuminance is medium, but other selection methods can be applied as well. to be.
  • An RGB/IR image is an image generated by fusing an RGB image and an IR image. The convergence is performed with reference to illuminance information, and a method for generating an RGB/IR image will be described in detail later.
  • selection was made in units of images. However, it can be substituted in another way, for example, it can be implemented so that selection is made in units of pixels.
  • the multispectral feature generator 121 may extract feature points by selecting one of the first image, the second image, and the third image for each pixel based on the illuminance of each pixel.
  • RGB image pixels are selected for pixels with high luminance
  • IR image pixels are selected for pixels with low luminance
  • pixels of RGB/IR images are selected for pixels with medium luminance.
  • other selection methods may be applied.
  • the multispectral feature generator 121 is a deep learning network that functions as a multispectral feature generator that fuses feature points from multiple images.
  • the shape-based feature generator 122 is a deep learning network that generates feature-based feature points based on the feature points generated by the multispectral feature generator 121 by considering the correlation and outputs them as one feature map.
  • the convergence cost calculator 123 is a configuration for obtaining a more accurate result by calculating a cost according to a process of performing an operation for convergence and giving feedback thereof.
  • the control signal generator 124 generates a control signal for controlling the noise filter, exposure, ISO, and WDR of the RGB image when the distribution of feature points generated by the multispectral feature generator 121 has a large difference from the GT data. and generate a control signal for controlling the intensity of IR illumination.
  • control signal generator 124 may generate a control signal to obtain a robust image when it is determined that the inside of the vehicle is in a backlight situation or a low illumination situation based on the internal illuminance of the vehicle estimated by the illuminance estimator 110. .
  • the object detector/classifier 130 analyzes the feature map generated by the image fuser 120 to detect objects inside the vehicle and classify the detected objects.
  • the object detection/classifier 130 may be implemented as a deep learning network that receives a feature map and outputs an object detection/classification result.
  • illuminance information estimated by the illuminance estimator 110 is referred to, and control may be performed by the control signal generator 124 .
  • the RGB image generated by the RGB sensor 11 is signal-processed by the RGB image processor 12, and the control signal generator 124 removes noise from the RGB image processor 12 based on illuminance information. It controls the noise filter, WDR (Wide Dynamic Range), ISO, and Exposure. As a result, it is possible to actively cope with a backlight situation.
  • the control signal generator 124 uses the noise filter of the RGB image processor 12 and the wide dynamic range (WDR), ISO, exposure based on the distribution of feature points generated by the multispectral feature generator 121. can also control.
  • the IR image generated by the IR sensor 21 is signal-processed by the IR image processor 22, and the control signal generator 124 controls the intensity of the IR illumination 24 based on illuminance information. do. As a result, it is possible to actively cope with low light conditions. Also, the control signal generator 124 may control the intensity of the IR illumination 24 based on the distribution of feature points generated by the multispectral feature generator 121 .
  • RGB/IR image generator 41 fuses the RGB image generated by the RGB sensor 11 and the IR image generated by the IR sensor 21 to generate an RGB/IR image. Illumination information is referenced in
  • an RGB/IR image may be generated by selecting pixels of an RGB image for pixels whose illuminance is greater than a standard and selecting pixels of an IR image for pixels whose illuminance is less than a standard, and merging them.
  • learning and performance measurement were performed by generating a real image by simulating the environment inside the vehicle in various environments as shown in FIG. 7 .
  • FIG. 8 is the result of confirming that the detection accuracy is improved in two types of 4-channel data sets and 3-channel data sets, and FIG. This is the result to confirm the improvement.
  • FIG. 10 is a flowchart provided to explain a method for detecting/classifying objects inside a vehicle according to another embodiment of the present invention.
  • an RGB image inside the vehicle is generated (S210)
  • an IR image inside the vehicle is generated (S220)
  • an RGB / IR image is generated by fusing the RGB image and the IR image (S230)
  • the illuminance estimator 110 estimates the illuminance inside the vehicle using the RGB image generated in step S210 (S240).
  • the image convergence unit 120 refers to the illuminance information estimated in step S240 and fuses the RGB image, the IR image, and the RGB/IR image to generate one Feature Map (S250).
  • the object detector/classifier 130 analyzes the feature map generated in step S250, detects objects inside the vehicle, and classifies the detected objects (S260).
  • lightweight embedded hardware was designed by applying a fusion deep learning network structure that includes control of lighting, etc., which is processed with the existing rule-base.
  • a structure that can be applied to heterogeneous systems as well as heterogeneous sensors it is a flexible deep learning device, a new type of sensor input, and a model that can be maintained despite environmental changes.
  • the present invention can be applied to various external sensor interfaces by applying convergence technology for deep learning processing between heterogeneous sensors as well as processing based on a single sensor, and can be applied to various sensors and changes in the environment. Deep learning can be implemented.
  • the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment.
  • technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium.
  • the computer-readable recording medium may be any data storage device that can be read by a computer and store data.
  • the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like.
  • computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 객체 검출 방법은, 제1 타입의 제1 영상, 제2 타입의 제2 영상, 제3 타입의 제3 영상을 입력받고, 제1 영상, 제2 영상 및 제3 영상을 융합하여 하나의 Feature Map을 생성하며, 생성한 Feature Map을 분석하여 객체를 검출하고, 하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들의 분포를 기초로 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어한다. 이에 의해, 경량의 임베디드향 딥러닝 네트워크로 차량에 설치된 다중 센서들로부터 생성되는 영상들로부터 객체를 검출/분류하는 것에서 나아가, 기존의 Rule-base로 처리되고 있는 조명 등의 제어까지 커버할 수 있게 된다.

Description

환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법
본 발명은 인공지능 기술을 활용한 영상 처리 및 SoC(System on Chip) 기술에 관한 것으로, 더욱 상세하게는 차량 내부에서 다중 센서로부터 영상들을 입력받아 딥러닝으로 처리하는 장치 및 방법에 관한 것이다.
카메라 등을 통해 생성한 영상 데이터를 이용하여 딥러닝 연산을 수행하여 사용자 인식, 객체 검출, 차선 검출, 도로 검출 등 수 많은 연구가 진행 중에 있다.
특히, 차량 내부에 적용하기 위하여 RGB 카메라, 스테레오 카메라, ToF 센서, Lidar, 조명 등을 연동하여 딥러닝 엔진을 동작시켜 높은 정확도를 유지하기 위하여 고성능의 하드웨어 플랫폼을 요구한다.
현재까지 차량 내부 카메라 시스템은 운전자 상태 검출, 전방 주시 태만 경고 등 영상 기반의 다양한 센서 활용을 연구 중인 상태이다. 하지만, RGB 영상 센서와 함께 RGB/IR 및 외부 환경의 변화에 능동적 변화가 가능한 다기능 센서 신호 처리 전용 딥러닝 엔진에 대한 개발이 미흡한 상태이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존의 Rule-base로 처리되고 있는 조명 등의 컨트롤까지 포함하는 퓨전 딥러닝 네트워크 구조를 적용한 다중 센서 기반 차량 내부 객체 인지를 위한 경량 임베디드 하드웨어를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 검출 방법은, 제1 타입의 제1 영상을 입력받는 제1 입력단계; 제2 타입의 제2 영상을 입력받는 제2 입력단계; 제3 타입의 제3 영상을 입력받는 제3 입력단계; 제1 영상, 제2 영상 및 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 단계; 생성한 Feature Map을 분석하여, 객체를 검출하는 단계; 하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들의 분포를 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 단계;를 포함한다.
본 발명의 일 실시예에 따른, 객체 검출 방법은, 조도를 추정하는 단계;를 더 포함하고, 생성 단계는, 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성할 수 있다.
생성 단계는, 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상 중 하나를 선택하고, 선택된 영상의 Feature Map을 생성할 수 있다.
추정 단계는, 픽셀 별로 조도를 추정하고, 생성 단계는, 픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 하나의 Feature Map을 생성할 수 있다.
추정 단계는, 제1 영상을 이용하여, 조도를 추정할 수 있다.
제1 영상은, RGB 영상이고, 제2 영상은, IR 영상이며, 제3 영상은, RGB 영상과 IR 영상을 융합한 영상일 수 있다.
제3 영상은, 조도 정보를 기초로, RGB 영상과 IR 영상이 융합된 것일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 객체 검출 장치는, 제1 타입의 제1 영상, 제2 타입의 제2 영상 및 제3 타입의 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 융합기; 생성한 Feature Map을 분석하여, 객체를 검출하는 검출기; 융합기에 마련되며, 하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들을 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 제어기;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 경량의 임베디드향 딥러닝 네트워크로 차량에 설치된 다중 센서들로부터 생성되는 영상들로부터 객체를 검출/분류하는 것에서 나아가, 기존의 Rule-base로 처리되고 있는 조명 등의 제어까지 커버할 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 이종의 센서와 더불어 이종의 시스템에 적용가능한 구조를 통해 유연한 딥러닝 장치, 신종 센서 입력, 환경 변화에 유연하게 대응할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도,
도 2는 차량용 경량 딥러닝 처리 장치의 설치 상태를 도시한 도면,
도 3은, 도 1에 도시된 영상 융합기의 상세 블럭도,
도 4는 RGB 영상 생성 과정의 설명에 제공되는 도면,
도 5는 IR 영상 생성 과정의 설명에 제공되는 도면,
도 6은 RGB/IR 영상 생성 과정의 설명에 제공되는 도면,
도 7은 환경/카메라 위치/인원에 따른 차량 내부 데이터셋의 구분,
도 8은 4채널 데이터 셋 객체 검출 결과 예시,
도 9는 3채널 데이터 셋 객체 검출 결과 예시, 그리고,
도 10은 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치를 제시한다.
본 발명의 실시예를 통해 제시하는 딥러닝 네트워크는 다중 센서로 생성한 영상들인 RGB 영상과 IR 영상을 입력으로 하여 차량 내부의 객체를 검출/분류하는데, 이 과정에서 딥러닝 네트워크의 중간 연산 결과를 이용하여 외부 환경 적응형 제어까지 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다. 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는, 이종 센서들로부터 생성된 영상들에 대해 다중 특징 추출 기법을 적용한 후에, 차량 내부의 객체 검출/분류를 수행한다. 이를 위해, 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는, 도 2에 도시된 바와 같이, 차량 내부에 설치된다.
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치는, 도 2에 도시된 바와 같이, 조도 추정기(110), 영상 융합기(120) 및 객체 검출/분류기(130)를 포함하여 구성된다.
조도 추정기(110)는 차량 내부의 RGB 영상으로부터 차량 내부의 조도를 추정한다. 조도 추정기(110)는 RGB 영상의 픽셀 별로 조도 정보를 추정하고, 추정된 조도 정보의 평균을 차량 내부의 조도로 추정할 수 있다. 조도 추정기(110)에 의해 추정된 조도 정보는 영상 융합기(120)로 전달된다.
영상 융합기(120)는 RGB 영상, IR 영상, RGB/IR 영상을 융합(Selection 및 Concatenation)하여, 하나의 Feature Map을 생성한다. 영상 융합은 조도 정보에 따라 각기 다른 방식으로 이루어진다.
도 3은 영상 융합기(120)의 상세 블럭도이다. 영상 융합기(120)는 도시된 바와 같이, 다중 스펙트럼 특징 생성기(121), 형상 기반 특징 생성기(122), 융합 코스트 계산기(123) 및 제어 신호 생성기(124)를 포함하여 구성된다.
다중 스펙트럼 특징 생성기(121)는 조도를 기초로 RGB 영상, IR 영상, RGB/IR 영상 중 하나를 선택하고 선택한 영상으로부터 특징점들을 추출한다. 조도가 높은 경우에는 RGB 영상을 선택하고, 조도가 낮은 경우에는 IR 영상을 선택하며, 조도가 중간인 경우에는 RGB/IR 영상을 선택하는 것으로 구현가능하지만, 다른 선택 방식을 적용할 수도 있음은 물론이다.
RGB/IR 영상은 RGB 영상과 IR 영상을 융합하여 생성한 영상이다. 조도 정보를 참조하여 융합하는데, RGB/IR 영상 생성 방법에 대해서는 상세히 후술한다.
위 선택 방식에서는 영상 단위로 선택이 이루어졌다. 하지만, 다른 방식으로 대체 가능한데, 이를 테면, 픽셀 단위로 선택이 이루어지도록 구현할 수 있다.
구체적으로, 다중 스펙트럼 특징 생성기(121)는 픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 특징점들을 추출할 수도 있다.
이를 테면, 조도가 높은 픽셀에 대해서는 RGB 영상의 픽셀을 선택하고, 조도가 낮은 픽셀에 대해서는 IR 영상의 픽셀을 선택하며, 조도가 중간인 픽셀에 대해서는 RGB/IR 영상의 픽셀을 선택하는 것이다. 물론, 다른 선택 방식을 적용할 수도 있다.
이와 같이, 다중 스펙트럼 특징 생성기(121)는 다중 영상들로부터 특징점들을 융합하는 다중 특징 생성기로 기능하는 딥러닝 네트워크이다.
형상 기반 특징 생성기(122)는 다중 스펙트럼 특징 생성기(121)에서 생성된 특징점들을 기초로 상관 관계를 고려하여 형상 기반 특징점들을 생성하여 하나의 Feature Map로 출력하는 딥러닝 네트워크이다.
융합 코스트 계산기(123)는 융합을 위한 연산 수행 과정에 따라 코스트를 계산하여 피드백하여 줌으로써, 보다 보다 정확한 결과를 얻을 수 있도록 하기 위한 구성이다.
제어 신호 생성기(124)는 다중 스펙트럼 특징 생성기(121)에서 생성한 특징점들의 분포가 GT 데이터와 큰 차이가 발생하는 경우에 RGB 영상에 대한 Noise filter, Exposure, ISO, WDR을 제어하기 위한 제어 신호를 생성하고, IR 조명의 강도를 제어하기 위한 제어 신호를 생성한다.
또한, 제어 신호 생성기(124)는 조도 추정기(110)에 의해 추정된 차량의 내부 조도를 기초로 차량 내부가 역광 상황 또는 저조도 상황으로 판단한 경우에 강인한 영상을 획득하기 위해 제어 신호를 생성할 수도 있다.
다시, 도 1을 참조하여 설명한다.
객체 검출/분류기(130)는 영상 융합기(120)에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출하고 검출된 객체를 분류한다. 객체 검출/분류기(130)는 Feature Map을 입력받아 객체 검출/분류 결과를 출력하는 딥러닝 네트워크로 구현할 수 있다.
이하에서는, RGB 영상, IR 영상, RGB/IR 영상이 생성되는 과정에 대해 상세히 설명한다. 영상들을 생성함에 있어서는 조도 추정기(110)에 의해 추정된 조도 정보가 참조되며, 제어 신호 생성기(124)에 의한 제어가 수행될 수도 있다.
도 4는 RGB 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, RGB 센서(11)에 의해 생성된 RGB 영상은 RGB 영상 처리기(12)에 의해 신호처리되는데, 제어 신호 생성기(124)는 조도 정보를 기초로 RGB 영상 처리기(12)의 잡읍 제거 필터(Noise filter)와 WDR(Wide Dynamic Range), ISO, Exposure를 제어한다. 이에 의해, 역광 상황에 대한 능동적인 대처가 가능하다. 또한, 제어 신호 생성기(124)는 다중 스펙트럼 특징 생성기(121)에서 생성한 특징점들의 분포를 기초로 RGB 영상 처리기(12)의 잡읍 제거 필터(Noise filter)와 WDR(Wide Dynamic Range), ISO, Exposure를 제어할 수도 있다.
도 5는 IR 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, IR 센서(21)에 의해 생성된 IR 영상은 IR 영상 처리기(22)에 의해 신호처리되는데, 제어 신호 생성기(124)는 조도 정보를 기초로 IR 조명(24)의 강도를 제어한다. 이에 의해, 저조도 상황에서 능동적인 대처가 가능하다. 또한, 제어 신호 생성기(124)는 다중 스펙트럼 특징 생성기(121)에서 생성한 특징점들의 분포를 기초로 IR 조명(24)의 강도를 제어할 수도 있다.
도 6은 RGB/IR 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, RGB/IR 영상 생성기(41)는 RGB 센서(11)에 의해 생성된 RGB 영상과 IR 센서(21)에 의해 생성된 IR 영상을 융합하여 RGB/IR 영상을 생성하는데, 이 과정에서 조도 정보가 참조된다.
구체적으로, 조도가 기준 이상인 픽셀에 대해서는 RGB 영상의 픽셀을 선택하고, 조도가 기준 미만인 픽셀에 대해서는 IR 영상의 픽셀을 선택하여, 융합함으로써 RGB/IR 영상을 생성할 수 있다.
본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치의 성능을 확인하기 위해, 차량 내부 환경을 도 7에 나타낸 바와 같이 다양한 환경으로 모사하여 실영상을 생성하여 학습 및 성능 측정을 수행하였다.
측정 결과 도 8과 도 9에 나타낸 바와 같이 Saturation 되었거나, 특정 스펙트럼에서 데이터가 손실되었을 경우에도 다수의 객체가 높은 정확도로 인식됨을 확인할 수 있었으며, 조명 제어 신호를 통하여 보다 높은 정확도를 얻을 수 있었다.
도 8은 2종의 4채널 데이터 셋과 3채널 데이터 셋에서 검출 정확도가 향상됨을 확인한 결과이고, 도 9는 4채널 데이터 셋에서 RGB/IR 영상을 이용한 융합 방식이 단일 스펙트럽 방식에 비해 성능이 개선되었음을 확인할 결과이다.
도 10은 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도이다.
도시된 바와 같이, 먼저, 차량 내부의 RGB 영상을 생성하고(S210), 차량 내부의 IR 영상을 생성하며(S220), RGB 영상과 IR 영상을 융합하여 RGB/IR 영상을 생성한다(S230),
다음, 조도 추정기(110)는 S210단계에서 생성된 RGB 영상을 이용하여, 차량 내부의 조도를 추정한다(S240).
그러면, 영상 융합기(120)는 S240단계에서 추정된 조도 정보를 참조하여, RGB 영상, IR 영상, RGB/IR 영상을 융합하여, 하나의 Feature Map을 생성한다(S250).
이후, 객체 검출/분류기(130)는 S250단계에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출하고 검출된 객체를 분류한다(S260).
지금까지, 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
본 발명의 실시예에서는, 기존의 Rule-base로 처리되고 있는 조명 등의 컨트롤까지 포함하는 퓨전 딥러닝 네트워크 구조를 적용하여 경량 임베디드 하드웨어를 설계하였다. 이종의 센서와 더불어 이종의 시스템에 적용가능한 구조로, 유연한 딥러닝 장치, 신종 센서 입력, 환경변화에도 유지보수가 가능한 모델이다.
본 발명의 실시예에 의해, 단일 센서 기반의 처리와 더불어 이종의 센서 간의 딥러닝 처리를 위한 융합 기술의 적용으로 다양한 외부 센서 인터페이스에 적용이 가능하며, 다양한 센서 및 환경의 변화에도 적용 가능한 수준의 딥러닝 구현이 가능하다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 제1 타입의 제1 영상을 입력받는 제1 입력단계;
    제2 타입의 제2 영상을 입력받는 제2 입력단계;
    제3 타입의 제3 영상을 입력받는 제3 입력단계;
    제1 영상, 제2 영상 및 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 단계;
    생성한 Feature Map을 분석하여, 객체를 검출하는 단계;
    하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들의 분포를 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
  2. 청구항 1에 있어서,
    조도를 추정하는 단계;를 더 포함하고,
    생성 단계는,
    추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
  3. 청구항 1에 있어서,
    생성 단계는,
    추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상 중 하나를 선택하고, 선택된 영상의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
  4. 청구항 1에 있어서,
    추정 단계는,
    픽셀 별로 조도를 추정하고,
    생성 단계는,
    픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 하나의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
  5. 청구항 1에 있어서,
    추정 단계는,
    제1 영상을 이용하여, 조도를 추정하는 것을 특징으로 하는 객체 검출 방법.
  6. 청구항 1에 있어서,
    제1 영상은,
    RGB 영상이고,
    제2 영상은,
    IR 영상이며,
    제3 영상은,
    RGB 영상과 IR 영상을 융합한 영상인 것을 특징으로 하는 객체 검출 방법.
  7. 청구항 6에 있어서,
    제3 영상은,
    조도 정보를 기초로, RGB 영상과 IR 영상이 융합된 것을 특징으로 하는 객체 검출 방법.
  8. 제1 타입의 제1 영상, 제2 타입의 제2 영상 및 제3 타입의 제3 영상을 융합하여, 하나의 Feature Map을 생성하는 융합기;
    생성한 Feature Map을 분석하여, 객체를 검출하는 검출기;
    융합기에 마련되며, 하나의 Feature Map을 생성하는 과정에서 생성되는 특징점들을 기초로, 제1 영상, 제2 영상 및 제3 영상의 생성 과정을 제어하는 제어기;를 포함하는 것을 특징으로 하는 객체 검출 장치.
PCT/KR2021/008285 2021-06-30 2021-06-30 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법 WO2023277219A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210085641A KR20230003953A (ko) 2021-06-30 2021-06-30 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법
KR10-2021-0085641 2021-06-30

Publications (1)

Publication Number Publication Date
WO2023277219A1 true WO2023277219A1 (ko) 2023-01-05

Family

ID=84692793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008285 WO2023277219A1 (ko) 2021-06-30 2021-06-30 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230003953A (ko)
WO (1) WO2023277219A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190032101A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
KR20190094133A (ko) * 2019-04-16 2019-08-12 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법
KR20190122606A (ko) * 2019-10-11 2019-10-30 엘지전자 주식회사 차량 내 객체 모니터링 장치 및 방법
KR102061445B1 (ko) * 2019-02-22 2019-12-31 써모아이 주식회사 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
KR20210064591A (ko) * 2019-11-26 2021-06-03 한국전자기술연구원 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190032101A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
KR102061445B1 (ko) * 2019-02-22 2019-12-31 써모아이 주식회사 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
KR20190094133A (ko) * 2019-04-16 2019-08-12 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법
KR20190122606A (ko) * 2019-10-11 2019-10-30 엘지전자 주식회사 차량 내 객체 모니터링 장치 및 방법
KR20210064591A (ko) * 2019-11-26 2021-06-03 한국전자기술연구원 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20230003953A (ko) 2023-01-06

Similar Documents

Publication Publication Date Title
WO2015105239A1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
WO2021107171A1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
WO2016122069A1 (ko) 타이어 마모도 측정 방법 및 그 장치
WO2021187793A1 (ko) 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법
WO2019147024A1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
CN110674672B (zh) 一种基于tof相机的多场景人数统计方法
WO2018101603A1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
WO2022039319A1 (ko) 개인정보 비식별화 처리 방법, 검증 방법 및 시스템
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
CN114626450A (zh) 摄像头异常状况检测方法、系统和计算机可读存储介质
WO2012011715A2 (ko) 차량 충돌 경보 시스템 및 방법
WO2011078596A2 (ko) 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2021167189A1 (ko) 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
US11847837B2 (en) Image-based lane detection and ego-lane recognition method and apparatus
WO2023277219A1 (ko) 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
WO2022107911A1 (ko) 다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2018131729A1 (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
WO2020204350A2 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
WO2021201474A1 (ko) 객체를 분류하는 레이더 장치 및 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE