KR20230069334A - 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치 - Google Patents
다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치 Download PDFInfo
- Publication number
- KR20230069334A KR20230069334A KR1020210155273A KR20210155273A KR20230069334A KR 20230069334 A KR20230069334 A KR 20230069334A KR 1020210155273 A KR1020210155273 A KR 1020210155273A KR 20210155273 A KR20210155273 A KR 20210155273A KR 20230069334 A KR20230069334 A KR 20230069334A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- object detection
- images
- signal processing
- deep learning
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000003672 processing method Methods 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/002—
-
- G06T5/009—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치가 제공된다. 본 발명의 실시예에 따른 객체 검출 방법은, 제1 타입의 제1 영상과 제2 타입의 제2 영상을 생성하고, 생성된 제1 영상과 제2 영상을 신호처리하며, 신호처리된 제1 영상과 제2 영상을 융합하여 하나의 Feature Map을 생성하고, 생성한 Feature Map을 분석하여 객체를 검출하되, 제1 영상과 제2 영상의 융합 정보를 기초로 제1 영상과 제2 영상의 신호처리 방식을 제어한다. 이에 의해, 경량의 임베디드향 딥러닝 네트워크로 차량에 설치된 다중 센서로부터 생성되는 영상들로부터 객체를 검출/분류하는 것에서 나아가, 기존의 Rule-base로 처리되고 있는 다중 센서의 신호처리와 조명 등의 제어까지 커버할 수 있게 된다.
Description
본 발명은 딥러닝 처리 기술에 관한 것으로, 더욱 상세하게는 차량 내부에서 다중 센서로부터 영상들을 입력받아 딥러닝 네트워크로 처리하는 장치 및 방법에 관한 것이다.
영상 데이터를 이용하여 딥러닝 처리를 거친 후에 객체 검출, 차선 검출, 도로 검출 등을 수행하기 위한 수많은 연구가 진행중에 있다.
자율 주행 차량에 적용하기 위하여 외부에 RGB 카메라, 스테레오 카메라, ToF 센서, Lidar 등을 연동하여 딥러닝 네트워크를 동작시켜 높은 정확도를 유지하기 위하여 고성능의 하드웨어 플랫폼을 요구한다.
현재까지 차량 내부 카메라 시스템은 운전자 상태 검출 정도로 아직 영상 기반의 다양한 센서 활용을 연구 중인 상태이다. 그러나, RGB 영상 센서와 함께 신종 RCCC, RGBIR 등 다기능 센서 신호 전처리를 포함하는 전용 딥러닝 네트워크에 대한 개발이 미흡한 상태이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 차량 내부의 다중 영상에서 객체 검출/분류를 수행하는 딥러닝 네트워크를 활용하여 다중 센서 영상에 대한 신호처리를 제어하는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 검출 방법은, 제1 타입의 제1 영상과 제2 타입의 제2 영상을 생성하는 단계; 생성된 제1 영상과 제2 영상을 신호처리하는 단계; 신호처리된 제1 영상과 제2 영상을 융합하여, 하나의 Feature Map을 생성하는 단계; 생성한 Feature Map을 분석하여, 객체를 검출하는 단계; 및 제1 영상과 제2 영상의 융합 정보를 기초로, 제1 영상과 제2 영상의 신호처리 방식을 제어하는 단계;를 포함한다.
제어 단계는, 제1 영상과 제2 영상의 융합 분포 정보를 기초로, 제1 영상과 제2 영상의 신호처리 방식을 제어할 수 있다. 융합 분포 정보는, 영상 단위 또는 픽셀 단위로 결정될 수 있다.
그리고 제어 단계는, 융합 분포 정보로부터 추정한 조도를 기초로 수행될 수 있다.
신호처리 단계는, 잡음 제거 필터링, WB(White Balance) 조절, WDR(Wide Dynamic Range) 조절, ISO 조절 및 Exposure 조절 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따른 객체 검출 방법은, 제1 영상과 제2 영상의 융합 정보를 기초로, 조명을 제어하는 단계;를 더 포함할 수 있다.
그리고 제1 영상은 RGB 영상이고,제2 영상은 IR 영상일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 객체 검출 장치는, 제1 타입의 제1 영상과 제2 타입의 제2 영상을 생성하는 다중 센서; 생성된 제1 영상과 제2 영상을 신호처리하는 신호 처리기; 신호처리된 제1 영상과 제2 영상을 융합하여, 하나의 Feature Map을 생성하는 융합기; 생성한 Feature Map을 분석하여, 객체를 검출하는 검출기; 및 제1 영상과 제2 영상의 융합 정보를 기초로, 제1 영상과 제2 영상의 신호처리 방식을 제어하는 제어기;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 경량의 임베디드향 딥러닝 네트워크로 차량에 설치된 다중 센서로부터 생성되는 영상들로부터 객체를 검출/분류하는 것에서 나아가, 기존의 Rule-base로 처리되고 있는 다중 센서의 신호처리와 조명 등의 제어까지 커버할 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 이종의 센서와 더불어 이종의 시스템에 적용가능한 구조를 통해 유연한 딥러닝 장치, 신종 센서 입력, 환경 변화에 유연하게 대응할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도,
도 2는 차량용 경량 딥러닝 처리 장치의 설치 상태를 도시한 도면,
도 3과 도 4는, 다중 센서의 설명에 제공되는 도면들,
도 5와 도 6은, 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치의 성능 측정 결과,
도 7은 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도,
도 8은 본 발명의 또 다른 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도, 그리고,
도 9는 본 발명의 또 다른 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다.
도 2는 차량용 경량 딥러닝 처리 장치의 설치 상태를 도시한 도면,
도 3과 도 4는, 다중 센서의 설명에 제공되는 도면들,
도 5와 도 6은, 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치의 성능 측정 결과,
도 7은 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도,
도 8은 본 발명의 또 다른 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도, 그리고,
도 9는 본 발명의 또 다른 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 다중 채널 정보 추출기를 포함하는 차량용 경량 딥러닝 처리 장치를 제시한다.
본 발명의 실시예를 통해 제시하는 딥러닝 네트워크는 다중 센서로 생성한 영상들인 RGB 영상과 IR 영상을 입력으로 하여 차량 내부의 객체를 검출/분류하는데, 이 과정에서 딥러닝 네트워크의 중간 연산 결과를 이용하여 외부 환경 적응형 제어까지 수행할 수 있다.
구체적으로, 본 발명의 실시예에서는 차량 내부의 이종 영상들을 융합하여 하나의 Feature Map을 생성하고 차량 내부의 객체 검출/분류를 수행하는데, 이 과정에서 결정되는 이종 영상들의 융합 정보를 기초로 이종 영상들에 대한 신호처리 방식을 제어하는 것이다.
도 1은 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다. 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는, 다중 센서(110), 다중 ISP(Image Signal Processor)(120), ISP 제어기(130), 영상 융합기(140) 및 객체 검출/분류기(150)를 포함하여 구성된다.
본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는 도 2에 도시된 바와 같이 차량 내부, 구체적으로 차량 내부 천정에 설치된다.
다중 센서(110)는 차량 내부의 RGB 영상을 생성하기 위한 RGB 센서와 IR 영상을 생성하는 IR 센서가 통합된 영상 센서이다. 도 3에는 다중 센서(110)와 그 동작을 나타내었다.
한편, 도 4에 나타낸 바와 같이, 센서를 제작하는 공정/재료/방법 등에 따라 spectral sensitivities가 변화하기 때문에, 다중 센서(110)의 센서 마다 매번 튜닝하여야 하며, 이로 인해 센서 마다 최종 결과는 모두 다르게 된다.
다중 ISP(120)는 다중 센서(110)에서 생성된 RGB 영상과 IR 영상을 신호처리한다. 다중 ISP(120)의 신호처리 방식은 ISP 제어기(130)에 의해 제어되는데, 구체적인 방법은 후술한다.
영상 융합기(140)는 다중 ISP(120)에서 신호처리된 RGB 영상과 IR 영상이 입력되면 이들을 융합(Selection 및 Concatenation)하여 하나의 Feature Map을 생성하도록 학습된 딥러닝 네트워크로, 다중 채널 정보 추출기에 해당한다.
영상 융합기(140)에 의한 영상 융합은 영상 단위로 수행될 수 있다. 이를 테면, RGB 영상의 비중을 0.6으로 IR 영상의 비중을 0.4로 하여 RGB/IR 영상이 생성될 수 있다. 극단적으로 RGB 영상의 비중이 0이 되거나 IR 영상의 비중이 0이 될 수도 있다.
RGB 영상의 비중과 IR 영상의 비중은 딥러닝 네트워크인 영상 융합기(140)에 의해 적정하게, 구체적으로 객체 검출/분류가 정확히 수행 되도록 결정되는 것이다.
한편, 영상 융합기(140)에 의한 영상 융합은 픽셀 단위로 수행될 수도 있다. 즉, 픽셀 단위로 RGB 영상의 비중과 IR 영상의 비중이 결정되는 것이다. 동일 영상이라 할지라도 픽셀에 따라 비중이 달라지는 것이다.
영상 융합기(140)는 RGB 영상과 IR 영상의 융합 분포 정보도 출력한다. 출력되는 영상 융합 분포는 ISP 제어기(130)로 전달되어, RGB 영상과 IR 영상의 신호처리 제어에 활용된다.
객체 검출/분류기(150)는 영상 융합기(140)에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출하고 검출된 객체를 분류하도록 학습된 딥러닝 네트워크이다.
영상 융합기(140)와 객체 검출/분류기(150)는 End to End 방식으로 학습될 수 있다. 즉, 생성 및 신호처리된 RGB 영상과 IR 영상이 영상 융합기(140)에 입력되는 경우에 객체 검출/분류기(150)에서 출력되는 객체 검출/분류 결과를 GT(Ground Truth)와 비교하여 Loss를 줄이는 방식으로 영상 융합기(140)와 객체 검출/분류기(150)가 학습될 수 있다.
ISP 제어기(130)는 영상 융합기(140)에서 출력되는 RGB 영상과 IR 영상의 융합 분포 정보를 기초로, 다중 ISP(120)에 의한 RGB 영상과 IR 영상의 신호처리 방식을 제어한다.
융합 분포 정보로부터 차량 내부의 조도 정보를 추정할 수 있기 때문이다. 구체적으로 RGB 영상의 비중이 높고 IR 영상의 비중이 낮은 경우는 차량 내부의 조도가 높은 경우이고, 반대로 RGB 영상의 비중이 낮고 IR 영상의 비중이 높은 경우는 차량 내부의 노도가 낮거나 역광이 있는 경우로 볼 수 있기 때문이다.
이에 따라, ISP 제어기(130)는 융합 분포 정보로부터 조도를 추정하고, 추정된 조도를 기초로, 다중 ISP(120)에 의한 RGB 영상과 IR 영상의 잡음 제거 필터(Noise filter), WB(White Balance) 조절, WDR(Wide Dynamic Range) 조절, ISO 조절, Exposure 조절을 제어한다. 이에 의해, 저조도 상황이나 역광 상황에 대한 능동적인 대처가 가능하다.
본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치의 성능 측정 결과를 도 5와 도 6에 나타내었다.
도 5의 상부 좌측 영상은 IR 영상만을 이용한 객체 검출/분류 결과이고, 상부 우측 영상은 RGB 영상만을 이용한 객체 검출/분류 결과이며, 하부 영상은 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치를 이용한 객체 검출/분류 결과이다.
그리고, 도 6의 상부 영상은 RGB 영상과 IR 영상을 이용한 기존의 객체 검출/분류 결과이고, 하부 영상은 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치를 이용한 객체 검출/분류 결과이다.
도 5와 도 6에 나타난 바와 같이, Saturation 되었거나, 특정 스펙트럼에서 데이터가 손실되었을 경우에도 다수의 객체가 높은 정확도로 인식됨을 확인할 수 있었다.
도 7은 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도이다.
도시된 바와 같이, 먼저 다중 센서(110)가 차량 내부의 RGB 영상과 IR 영상을 생성하면(S210), 다중 ISP(120)는 S210단계에서 생성된 RGB 영상과 IR 영상 각각에 대해 신호처리를 수행한다(S220).
이후, 영상 융합기(140)는 S220단계에서 신호처리된 RGB 영상과 IR 영상을 융합하여 하나의 Feature Map을 생성하고(S230), 객체 검출/분류기(150)는 S230단계에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출/분류한다(S240).
한편, ISP 제어기(130)는 영상 융합기(140)가 S230단계에서 결정한 RGB 영상과 IR 영상의 융합 분포 정보를 기초로, 다중 ISP(120)에 의한 RGB 영상과 IR 영상의 신호처리 방식을 제어한다(S250).
도 8은 본 발명의 또 다른 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다. 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치에서 ISP 제어기(130)는 영상 융합기(140)에서 출력되는 RGB 영상과 IR 영상의 융합 분포 정보 외에 다중 센서(110)에서 출력되는 센서 데이터를 더 참조하여 다중 ISP(120)에 의한 RGB 영상과 IR 영상의 신호처리 방식을 제어한다는 점에서, 도 1에 도시된 실시예와 차이가 있다. 다중 센서(110)에서 출력되는 센서 데이터는 다중 ISP(120)가 조도와 역광을 추정하는데 이용될 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다. 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치에서 ISP 제어기(130)는 다중 ISP(120)를 제어하는 것에서 나아가 조명(105)의 밝기를 제어한다는 점에서, 도 1에 도시된 실시예와 차이가 있다. 조명(105)의 밝기는 추정된 조도와 외부 환경 등에 기반할 수 있다.
지금까지, 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 차량용 경량 딥러닝 처리 장치
110 : 다중 센서
120 : 다중 ISP(Image Signal Processor)
130 : ISP 제어기
140 : 영상 융합기
150 : 객체 검출/분류기
110 : 다중 센서
120 : 다중 ISP(Image Signal Processor)
130 : ISP 제어기
140 : 영상 융합기
150 : 객체 검출/분류기
Claims (8)
- 제1 타입의 제1 영상과 제2 타입의 제2 영상을 생성하는 단계;
생성된 제1 영상과 제2 영상을 신호처리하는 단계;
신호처리된 제1 영상과 제2 영상을 융합하여, 하나의 Feature Map을 생성하는 단계;
생성한 Feature Map을 분석하여, 객체를 검출하는 단계; 및
제1 영상과 제2 영상의 융합 정보를 기초로, 제1 영상과 제2 영상의 신호처리 방식을 제어하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
- 청구항 1에 있어서,
제어 단계는,
제1 영상과 제2 영상의 융합 분포 정보를 기초로, 제1 영상과 제2 영상의 신호처리 방식을 제어하는 것을 특징으로 하는 객체 검출 방법.
- 청구항 2에 있어서,
융합 분포 정보는,
영상 단위 또는 픽셀 단위로 결정되는 것을 특징으로 하는 객체 검출 방법.
- 청구항 3에 있어서,
제어 단계는,
융합 분포 정보로부터 추정한 조도를 기초로 수행되는 것을 특징으로 하는 객체 검출 방법.
- 청구항 4에 있어서,
신호처리 단계는,
잡음 제거 필터링, WB(White Balance) 조절, WDR(Wide Dynamic Range) 조절, ISO 조절 및 Exposure 조절 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 검출 방법.
- 청구항 1에 있어서,
제1 영상과 제2 영상의 융합 정보를 기초로, 조명을 제어하는 단계;를 더 포함하는 것을 특징으로 하는 객체 검출 방법.
- 제1 영상은,
RGB 영상이고,
제2 영상은,
IR 영상인 것을 특징으로 하는 객체 검출 방법.
- 제1 타입의 제1 영상과 제2 타입의 제2 영상을 생성하는 다중 센서;
생성된 제1 영상과 제2 영상을 신호처리하는 신호 처리기;
신호처리된 제1 영상과 제2 영상을 융합하여, 하나의 Feature Map을 생성하는 융합기;
생성한 Feature Map을 분석하여, 객체를 검출하는 검출기; 및
제1 영상과 제2 영상의 융합 정보를 기초로, 제1 영상과 제2 영상의 신호처리 방식을 제어하는 제어기;를 포함하는 것을 특징으로 하는 객체 검출 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210155273A KR102633340B1 (ko) | 2021-11-12 | 2021-11-12 | 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치 |
PCT/KR2021/016483 WO2023085464A1 (ko) | 2021-11-12 | 2021-11-12 | 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210155273A KR102633340B1 (ko) | 2021-11-12 | 2021-11-12 | 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230069334A true KR20230069334A (ko) | 2023-05-19 |
KR102633340B1 KR102633340B1 (ko) | 2024-02-05 |
Family
ID=86335960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210155273A KR102633340B1 (ko) | 2021-11-12 | 2021-11-12 | 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102633340B1 (ko) |
WO (1) | WO2023085464A1 (ko) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150024169A (ko) * | 2013-08-26 | 2015-03-06 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
KR102047977B1 (ko) * | 2019-08-21 | 2019-11-22 | 주식회사 인포웍스 | 심층 신경망 알고리즘 기반 eo/ir 영상 융합 시스템 및 방법 |
KR20190134920A (ko) * | 2018-05-15 | 2019-12-05 | 연세대학교 산학협력단 | 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법 |
KR20210064591A (ko) * | 2019-11-26 | 2021-06-03 | 한국전자기술연구원 | 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190122606A (ko) * | 2019-10-11 | 2019-10-30 | 엘지전자 주식회사 | 차량 내 객체 모니터링 장치 및 방법 |
CN112669249A (zh) * | 2021-01-15 | 2021-04-16 | 西安中科立德红外科技有限公司 | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 |
-
2021
- 2021-11-12 KR KR1020210155273A patent/KR102633340B1/ko active IP Right Grant
- 2021-11-12 WO PCT/KR2021/016483 patent/WO2023085464A1/ko unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150024169A (ko) * | 2013-08-26 | 2015-03-06 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
KR20190134920A (ko) * | 2018-05-15 | 2019-12-05 | 연세대학교 산학협력단 | 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법 |
KR102047977B1 (ko) * | 2019-08-21 | 2019-11-22 | 주식회사 인포웍스 | 심층 신경망 알고리즘 기반 eo/ir 영상 융합 시스템 및 방법 |
KR20210064591A (ko) * | 2019-11-26 | 2021-06-03 | 한국전자기술연구원 | 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2023085464A1 (ko) | 2023-05-19 |
KR102633340B1 (ko) | 2024-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11409303B2 (en) | Image processing method for autonomous driving and apparatus thereof | |
US11263751B2 (en) | Method and apparatus for image segmentation using an event sensor | |
US10614327B2 (en) | Traffic-light detection and classification using computer vision and deep learning | |
KR102333107B1 (ko) | 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법 | |
KR20210006276A (ko) | 플리커를 약화시키기 위한 이미지 처리 방법 | |
KR20130104286A (ko) | 영상 처리 방법 | |
US20220198801A1 (en) | Method and system for detecting fire and smoke | |
US10009598B2 (en) | Dynamic mode switching of 2D/3D multi-modal camera for efficient gesture detection | |
KR101735874B1 (ko) | 차량 번호판 검출 장치 및 방법 | |
US20190045100A1 (en) | Image processing device, method, and program | |
CN111435457B (zh) | 对传感器获取的采集进行分类的方法 | |
JPWO2018168182A1 (ja) | 移動体検出装置、移動体検出方法および移動体検出プログラム | |
US11917335B2 (en) | Image processing device, movable device, method, and program | |
KR20230069334A (ko) | 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치 | |
US20220383146A1 (en) | Method and Device for Training a Machine Learning Algorithm | |
JP2001216597A (ja) | 画像処理方法及び画像処理装置 | |
US20220308157A1 (en) | Image processing apparatus, system, image processing method, and image processing program | |
KR20160040335A (ko) | 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법 | |
KR20230003953A (ko) | 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법 | |
WO2021084915A1 (ja) | 画像認識装置 | |
KR20220067733A (ko) | 다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법 | |
WO2022130780A1 (ja) | 画像処理装置 | |
JP7277666B2 (ja) | 処理装置 | |
WO2020035524A1 (en) | Object detection based on analysis of a sequence of images | |
KR20140147904A (ko) | 차량 제어 방법 및 이를 위한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |