KR20200102907A - 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 - Google Patents

가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR20200102907A
KR20200102907A KR1020190144374A KR20190144374A KR20200102907A KR 20200102907 A KR20200102907 A KR 20200102907A KR 1020190144374 A KR1020190144374 A KR 1020190144374A KR 20190144374 A KR20190144374 A KR 20190144374A KR 20200102907 A KR20200102907 A KR 20200102907A
Authority
KR
South Korea
Prior art keywords
visible light
infrared
object detection
image
present
Prior art date
Application number
KR1020190144374A
Other languages
English (en)
Inventor
김도휘
이선호
조성민
최보원
권준석
Original Assignee
써모아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 써모아이 주식회사 filed Critical 써모아이 주식회사
Priority to KR1020190144374A priority Critical patent/KR20200102907A/ko
Publication of KR20200102907A publication Critical patent/KR20200102907A/ko

Links

Images

Classifications

    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/4652—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치를 개시한다. 본 발명에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고, 객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치가 제공된다.

Description

가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치{Method and apparatus for object recognition based on visible light and infrared fusion image}
본 발명은 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치에 관한 것으로서, 보다 상세하게는 가시광 카메라 및 적외선 카메라를 통해 획득된 영상을 이용하여 차량 주변의 객체를 인식할 수 있는 방법 및 장치에 관한 것이다.
일반적으로 차량에는 안정적이고 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단이 설치된다. 편의 수단에 대한 수요와 더불어 차량의 안전을 위한 장치들에 대한 수요도 증가하고 있다.
차량 안전 장치로는 ABS(Antilock Breaking System) 장치, ECS(Electronic Controlled Suspension) 장치 및 자율 긴급 제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 능동 안전 장치와 사후 사고의 원인 규명을 위한 차량용 블랙박스와 같은 수동 안전 장치를 포함할 수 있다.
자율 긴급 제동 시스템은 차량에 탑재된 레이더를 통해 전방에 주행 중인 차량(또는 물체)와의 거리를 측정하며, 자차와 전방 차량과의 거리가 일정 거리보다 가까운 경우에 충돌 위험을 인식한다. 충돌 위험이 인식되면 자동으로 제동이 이루어지도록 함으로써 차량 속도를 감속시킨다.
또한, 자율 긴급 제동 시스템은 충돌 위험이 인식되면 운전자에게 경고음으로 충돌 위험을 알리고 운전자의 페달 조작에 신속히 반응할 수 있도록 제동 장치를 대기 모드로 동작 시킨다. 이러한 자율 긴급 제동의 성능을 높이기 위해서는 차량 전방의 물체가 보행자인지, 차량인지 또는 이외의 물체인지를 빠르고 정확하게 판별할 필요가 있다.
한국등록특허 제10-1671993(2016.10.27)호는 차량 안전 시스템에 관한 것으로, 포토 다이오드, 추돌 방지 거리 연산 모듈, 속도 설정 모듈, 차량 제어 모듈, 교통신호등 감지 모듈, 색상 표시 모듈, 주변 감시 모듈을 포함하고, 색상 감지 모듈은 교통신호등의 색상을 범위로 설정하고, 색상 감지 모듈에서 감지되는 일정 범위의 색상은 하나의 색상으로 결정하며, 색상 표시 모듈은 교통신호등 감지 카메라 모듈에서 획득된 영상 정보에서 교통 신호등 색상 영역을 디스플레이 하고, 차량 속도 제어 모듈은 색상 감지 모듈이 감지한 교통신호등의 색상이 적색이며, 해당 교통 신호등과 사용자 차량 간의 거리가 일정 거리 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하고, 주변 거리 연산 모듈이 감지한 물체와 사용자 차량 간의 거리가 일정 범위 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하며, 주변 거리 연산 모듈은 주변 감시 카메라 모듈에서 획득된 영상에 블록들을 이용하여 화면 전체를 크기별로 탐색하여 영역들의 밝기 차이로 구분하여 학습한 후, AdaBoost 알고리즘을 이용하여 가중치를 부여하고, 약분류기들을 결합해 강한 분류기를 생성하여 영상에서 보행자 얼굴을 검출하고, 보행자 얼굴이 검출된 경우 해당 보행자와 사용자 차량 간의 거리가 일정 범위 이내일 경우 경고 메시지를 보내는 것을 특징으로 한다.
한국등록특허 제10-1611273(2016.04.05)호는 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법에 관한 것으로, 차량에 배치되어 기설정 주기에 따라 적외선을 방출하는 적외선 램프와, 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 영상 데이터를 획득하되, 적외선 램프가 적외선을 방출하는 경우 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 온 영상과, 적외선 램프가 적외선을 방출하지 않는 경우 타 차량 전조등의 적외선 성분을 포함하는 오프 영상을 획득하는 적외선 카메라, 및 영상 데이터를 분석하여 피사체의 영역을 검출하는 피사체 인식부를 포함한다.
그러나 종래의 주변 객체 검출 방법은 획득된 영상에서 빛반사, 역광 및 야간 상황의 경우 객체 판별이 어려운 문제점이 있다.
한국등록특허 제10-1671993(2016.10.27)호 한국등록특허 제10-1611273(2016.04.05)호
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 다양한 환경에서 객체 검출 성능을 한층 향상시킬 수 있는 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치를 제안한고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고,객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치가 제공된다.
상기 적외선 영상 데이터는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 상기 온도 데이터로부터 계산되는 적외선 신호 데이터(Radiation) 중 적어도 하나 이상을 포함할 수 있다.
상기 프로그램 명령어들은, 상기 객체 검출 저하 영역에 따라 상기 RGB 데이터 각각 및 상기 적외선 영상 데이터의 가중치를 변경하여 상기 객체 검출 네트워크로 입력할 수 있다.
상기 프로그램 명령어들은, 상기 가시광 영상의 프레임에서 미리 설정된 제1 임계치보다 높은 밝기값을 가지거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하여 상기 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는지 여부를 판단할 수 있다.
상기 가중치는 아래의 수식에서 손실(
Figure pat00001
)을 최소화하는 최적 파라미터(
Figure pat00002
)에 따라 결정될 수 있다.
[수학식 1]
Figure pat00003
여기서, x는 상기 객체 검출 네트워크의 입력값이고,
Figure pat00004
는 상기한 입력으로부터 얻어지는 결과값이고,
Figure pat00005
은
Figure pat00006
와 ground truth 결과 y 사이의 거리를 계산함.
상기 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU를 포함하는 복수의 블록으로 구성될 수 있다.
상기 가시광 카메라 및 적외선 카메라는 인접한 위치에 동일 방향으로 배치될 수 있다.
본 발명의 다른 측면에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 방법으로서, 가시광 카메라를 통해 차량 주변의 가시광 영상을 입력 받는 단계; 적외선 카메라를 통해 상기 차량 주변의 적외선 영상을 입력 받는 단계; 상기 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하는 단계; 및 객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하는 단계를 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 방법이 제공된다.
본 발명에 따르면, 가시광 영상에서 객체 인지 저하 영역이 존재하는지를 판단하고, 해당 영역에 대해 적외선 영상을 상호 보완적으로 이용함으로써 객체 검출 성능을 한층 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출을 위한 영상 분석 시스템의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 영상 분석 장치에서 객체 검출을 위해 사용하는 가시광 영상 데이터 및 적외선 영상 데이터를 도시한 도면이다.
도 3은 빛 반사, 역광 및 야간 상황 각각에서의 가시광 카메라와 적외선 카메라에서의 입력 영상을 나타낸 것이다.
도 4는 본 실시예에 따른 객체 검출 네트워크의 아키텍쳐를 도시한 도면이다.
도 5는 본 실시예에서의 어텐션 모듈의 아키텍쳐를 도시한 도면이다.
도 6은 본 실시예에 따른 객체 검출 성능을 나타낸 것이다.
도 7은 본 실시예에 따른 가시광 및 적외선 융합 영상 기반 객체 검출 과정을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 가시광 카메라 및 적외선 카메라를 통해 획득된 영상을 이용하여 차량 주변의 객체를 인식한다.
일반적으로 가시광 카메라는 선명한 영상을 얻을 수 있으나, 눈, 비, 악천후 및 야간 상황에서 객체 검출 성능이 저하된다.
또한, 적외선 카메라는 객체의 표면 온도에 의해 방사되는 적외선을 검출하는 것으로서, 야간 상황에서 객체 검출 성능이 좋으나 계절, 시간 등 주변 환경에 민감하고 객체의 인식률이 낮은 문제점이 있다.
본 발명은 가시광 카메라 및 적외선 카메라 각각으로부터 획득된 영상을 융합하여 주변 환경에 관계 없이 객체 검출 성능을 향상시킬 수 있는 방법을 제안한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출을 위한 영상 분석 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 영상 분석 시스템(100)은 가시광 카메라(110), 적외선 카메라(120) 및 영상 분석 장치(130) 및 알람부(150)를 포함할 수 있다.
영상 분석 장치(130)는 가시광 카메라(110) 및 적외선 카메라(120)를 통해 획득된 가시광 영상 데이터 및 적외선 영상 데이터를 분석하여 차량 주변의 객체를 인식한다.
바람직하게, 가시광 카메라(110) 및 적외선 카메라(120)는 인접한 위치 동일한 방향을 향하게 설치되고 보다 바람직하게는 하나의 모듈에 동일한 방향으로 시야각을 가지면서 설치되어 동일한 객체에 대한 가시광 영상 및 적외선 영상(열 영상)을 획득한다.
영상 분석 장치(130)는 프로세서 및 메모리를 포함할 수 있다.
프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리에는 프로세서에 의해 실행 가능한 프로그램 명령어들이 저장되며, 아래에서 설명하는 바와 같이 가시광과 적외선 융합 영상을 이용하여 차량 주변의 객체를 검출한다.
도 2는 본 실시예에 따른 영상 분석 장치에서 객체 검출을 위해 사용하는 가시광 영상 데이터 및 적외선 영상 데이터를 도시한 도면이다.
도 2를 참조하면, 가시광 영상 데이터(Visual image)는 단일 프레임에 포함된 각 픽셀들의 RGB 데이터이며, 적외선 영상 데이터(Thermal image)는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 적외선 신호 데이터(Radiation)일 수 있다.
여기서, RGB 데이터는 광원에 의해 나타나는 R/G/B 값으로 주변 환경의 영향을 받지 않는 값이다.
또한, 그레이 스케일 데이터는 로우 데이터를 변환하여 그레이 스케일로 표현한 값이다.
적외선 신호와 온도는 상관관계를 가지며, 상관관계식을 통해 온도 데이터에서 각 픽셀의 적외선 신호 데이터를 계산할 수 있다.
본 실시예에 따르면, 객체 검출을 위해 RGB 데이터와 함께 이용되는 적외선 영상 데이터는 로우 데이터, 그레이 스케일 데이터, 온도 데이터 및 적외선 신호 데이터 중 적어도 하나 이상일 수 있다.
이하에서는 본 실시예에 따른 영상 분석 장치(130)가 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터를 이용하여 객체를 인식하는 것으로 설명할 것이나, 반드시 이에 한정되지 않는다.
본 실시예에 따른 영상 분석 장치(130)는 미리 학습된 알고리즘을 이용하여 가시광 영상에서 빛반사, 역광 또는 야간 환경에 의해 객체 검출이 어려운 영역(미리 설정된 픽셀값 이상 또는 이하인 영역, 이하, '객체 검출 저하 영역'이라 함)이 존재하는지 여부를 판단한다.
도 3은 빛 반사, 역광 및 야간 상황 각각에서의 가시광 카메라(110)와 적외선 카메라(120)에서의 입력 영상을 나타낸 것이다.
도 3을 참조하면, 빛 반사, 역광 및 야간 상황에서 가시광 영상 데이터의 소정 영역(300)에서는 객체 검출이 어려운 영역이 존재하는 것을 확인할 수 있다.
영상 분석 장치(130)는 가시광 영상의 프레임 내에 각 픽셀 값(밝기 값)을 이용하여 소정 제1 임계치보다 높거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하여 객체 검출 저하 영역을 판단한다.
여기서, 영상 분석 장치(130)는 소정 임계치보다 높거나 낮은 밝기 값을 갖는 픽셀이 소정 임계치보다 많은 수로 존재하는 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는 것으로 판단할 수 있다.
이때, 영상 분석 장치(130)는 객체 검출 저하 영역에 대해 기계학습을 미리 수행할 수 있고, 기계학습에 기초하여 현재 입력된 가시광 영상에서 객체 검출 저하 영역을 판단한다.
객체 검출 저하 영역이 존재하는 경우, 영상 분석 장치(130)는 해당 영역에 대해 적외선 영상 데이터를 참조하여 객체를 분류한다.
보다 상세하게, 영상 분석 장치(130)는 가시광 카메라(110)를 통해 획득된 RGB 데이터 및 적외선 카메라(120)를 통해 획득된 로우 데이터 및 그레이 스케일 데이터 각각의 가중치를 동적으로 할당하여 가시광 영상에서 객체 검출 저하 영역이 포함된 경우에도 객체 검출의 정확도를 높인다.
본 발명의 바람직한 일 실시예에 따르면, 영상 분석 장치(130)는 미리 학습된 객체 검출 네트워크로 멀티 도메인 어텐티브 검출 네트워크(multi domain attentive detection network: MDADN)를 이용하여 객체 검출을 수행한다.
일반적으로 가시광 영상을 기반으로 객체 검출을 수행하는 경우 객체 검출 네트워크에 RGB 데이터만이 입력된다.
그러나, 본 발명은 가시광 영상 및 적외선 영상을 융합을 통해 객체 검출을 수행하기 때문에 객체 검출 네트워크의 입력 값은 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터와 같이 총 5개의 데이터가 입력되며, 가시광 영상에 객체 검출 저하 영역이 존재하는지 여부에 따라 각 입력값에 대해 가중치가 동적으로 할당된다.
본 발명은 다음의 수식에서 손실(
Figure pat00007
)를 최소화하는 최적 파라미터(
Figure pat00008
)를 탐색한다. 여기서, 최적 파라미터는 객체 인식 네트워크의 가중치들의 최적값을 의미한다.
Figure pat00009
여기서, x는 객체 검출 네트워크의 입력인 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터이고,
Figure pat00010
는 상기한 입력으로부터 얻어지는 결과값이고,
Figure pat00011
은
Figure pat00012
와 ground truth 결과 y 사이의 거리를 계산한다.
본 실시예에 따른 데이터 소스인 가시광 영상 데이터와 적외선 영상 데이터를 상호 보완적이며 적어도 하나의 데이터 소스에서 객체가 인식될 수 있다.
도 4는 본 실시예에 따른 객체 검출 네트워크의 아키텍쳐를 도시한 도면이다.
도 4를 참조하면, 본 실시예에 따른 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU으로 구성된 7개의 블록을 가진다. 첫 번째 5개의 블록들은 스트라이드(stride) 2를 갖는 맥스-풀링 레이어를 가지며, 세 번째부터 여섯 번째 블록까지 스킵 연결(skip connection)이 추가된다.
본 실시예에 따른 객체 검출 네트워크에서, 어텐션 모듈이 합성곱 레이어1-1, 2-1, 3-3, 4-3, 5-5 및 6-7에 삽입된다. n-k에서 n은 블록이고, k는 레이어를 의미한다.
도 5는 본 실시예에서의 어텐션 모듈의 아키텍쳐를 도시한 도면이다.
각 어텐션 모듈은 4개의 풀리 커넥티드 레이어(fully connected layer: FC)를 가진다. 본 실시예에서 평균-풀링(poolavg) 및 맥스-풀링(poolmax)가 수직/수평 특징들
Figure pat00013
에 적용된다.
풀링은
Figure pat00014
를
Figure pat00015
로 변환한다.
여기서, W는 폭, H는 높이, C는 채널 수를 나타낸다.
마지막 레이어에서, 시그모이드 함수
Figure pat00016
를 이용하여 풀링 레이어로부터의 2개의 출력을 연관시키고, 브로드캐스팅을 통해 원소별 계산(element-wise products)을 획득한다.
어텐션 모듈은 아래와 같이 환경에 종속되는 특징
Figure pat00017
의 채널별 어텐션 맵을 생성한다.
Figure pat00018
또한 어텐션 모듈은 환경에 종속되는 특징
Figure pat00019
의 공간 어텐션 맵을 생성한다.
Figure pat00020
여기서,
Figure pat00021
는 1×1 커널과의 2회 합성곱 연산을 나타낸다.
이후 특징 맵
Figure pat00022
를 생성하는 잔여 블록에 대해 스킵 연결이 추가된다.
Figure pat00023
본 발명은 객체 검출 네트워크에 가시광 영상 데이터 및 적외선 영상 데이터에 대한 정보들을 입력값으로 하여 상기한 바와 같이 특징맵을 도출하고, 특징맵에서 객체를 분류한다.
영상 분석 장치(130)는 객체 학습 모집단을 통해 기계학습을 미리 수행하고, 기계학습 결과를 기초로 객체를 분류한다.
여기에서, 객체 학습 모집단은 기계학습에 필요한 다수의 객체, 예를 들어, 사람, 자동차, 표지판, 신호등 등을 포함할 수 있다.
알람부(150)는 영상 분석 장치(130)에서 가시광 및 적외선 융합 기반으로 차량 주변에 객체가 존재하며 진행 방향으로 미리 설정된 거리 이하로 위치하는 경우 알람을 생성한다.
도 6은 본 실시예에 따른 객체 검출 성능을 나타낸 것이다.
도 6a의 원본과 비교할 때, 기존 인공지능 알고리즘(SSD 및 RCNN)을 이용하는 도 6b 및 도 6c에 비해 도 6d와 같이 본 실시예에 따른 객체 검출 결과(MDADN)가 최소 2개 이상의 인식률 향상을 나타내는 것을 확인할 수 있다.
도 7은 본 실시예에 따른 가시광 및 적외선 융합 영상 기반 객체 검출 과정을 도시한 순서도이다.
도 7은 영상 분석 장치의 수행 과정을 도시한 것이다.
도 7을 참조하면, 기계학습이 완료된 영상 분석 장치(130)는 가시광 카메라(110) 및 적외선 카메라(120)를 통해 촬영된 가시광 영상 데이터 및 적외선 영상 데이터를 입력 받는다(단계 700).
여기서, 가시광 영상 데이터는 각 픽셀의 RGB 데이터이고, 적외선 영상 데이터는 각 픽셀의 로우 데이터, 그레이 스케일 데이터, 온도 및 적외선 신호 중 적어도 하나를 포함할 수 있다.
영상 분석 장치(130)는 입력된 가시광 영상 프레임에 객체 검출 저하 영역이 존재하는지를 판단한다(단계 702).
단계 702는 미리 학습된 객체 검출 네트워크에서 가시광 영상에 소정 임계치보다 높거나 낮은 밝기값을 갖는 픽셀이 소정 개수 이상 존재하는지 여부를 판단하는 과정일 수 있다.
단계 702는 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는지 여부뿐만 아니라 객체 검출 저하 영역을 식별하는 과정을 포함할 수 있다.
객체 검출 저하 영역이 존재하는 경우, 영상 분석 장치(130)는 객체 검출 네트워크의 입력값인 가시광 영상 데이터 및 적외선 영상 데이터의 가중치를 할당하여 객체를 분류한다(단계 704).
바람직하게, 객체 검출 저하 영역을 제외한 영역에 대해서는 RGB 데이터에 높은 가중치가 부여될 수 있고, 객체 검출 저하 영역에 대해서는 로우 데이터, 그레이 스케일 데이터, 온도 데이터 및 적외선 신호 데이터 중 적어도 하나 이상에 대해 높은 가중치가 부여될 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (1)

  1. 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고,
    객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
KR1020190144374A 2019-11-12 2019-11-12 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 KR20200102907A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190144374A KR20200102907A (ko) 2019-11-12 2019-11-12 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144374A KR20200102907A (ko) 2019-11-12 2019-11-12 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190020931A Division KR102061445B1 (ko) 2019-02-22 2019-02-22 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200102907A true KR20200102907A (ko) 2020-09-01

Family

ID=72450946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144374A KR20200102907A (ko) 2019-11-12 2019-11-12 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20200102907A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543378A (zh) * 2023-07-05 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
WO2023155324A1 (zh) * 2022-02-21 2023-08-24 烟台艾睿光电科技有限公司 图像融合方法、装置及设备、存储介质
CN116664462A (zh) * 2023-05-19 2023-08-29 兰州交通大学 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法
WO2023231991A1 (zh) * 2022-05-30 2023-12-07 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101611273B1 (ko) 2014-10-27 2016-04-11 재단법인대구경북과학기술원 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법
KR101671993B1 (ko) 2014-08-01 2016-11-03 부경대학교 산학협력단 차량 안전 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101671993B1 (ko) 2014-08-01 2016-11-03 부경대학교 산학협력단 차량 안전 시스템
KR101611273B1 (ko) 2014-10-27 2016-04-11 재단법인대구경북과학기술원 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155324A1 (zh) * 2022-02-21 2023-08-24 烟台艾睿光电科技有限公司 图像融合方法、装置及设备、存储介质
WO2023231991A1 (zh) * 2022-05-30 2023-12-07 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN116664462A (zh) * 2023-05-19 2023-08-29 兰州交通大学 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法
CN116664462B (zh) * 2023-05-19 2024-01-19 兰州交通大学 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法
CN116543378A (zh) * 2023-07-05 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN116543378B (zh) * 2023-07-05 2023-09-29 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR102061445B1 (ko) 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
KR20200102907A (ko) 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
US20230290136A1 (en) Brake Light Detection
CN110097109B (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
RU2573110C1 (ru) Бортовое устройство распознавания изображений
US8487991B2 (en) Clear path detection using a vanishing point
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
US8908038B2 (en) Vehicle detection device and vehicle detection method
US20190122059A1 (en) Signal light detection
US8421859B2 (en) Clear path detection using a hierachical approach
US7566851B2 (en) Headlight, taillight and streetlight detection
US20100097458A1 (en) Clear path detection using an example-based approach
KR102333107B1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
CN106295494B (zh) 车外环境识别装置
US9566909B2 (en) Vehicle control system for providing warning message and method thereof
US20130202155A1 (en) Low-cost lane marker detection
EP2741234B1 (en) Object localization using vertical symmetry
KR20200095354A (ko) 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트한, 자동차간 통신 기반의 협조적인 블라인드 스팟 경보 방법 및 장치
KR102656881B1 (ko) AIoT 기반 교통안전 통합 관리시스템
JP6877651B1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム
KR102107298B1 (ko) 영상 분석 장치 및 방법
CN112966782A (zh) 一种多视角特征融合的路面积水检测识别方法
KR102498538B1 (ko) 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
WO2021176820A1 (ja) 処理装置