KR102061445B1 - 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 - Google Patents

가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR102061445B1
KR102061445B1 KR1020190020931A KR20190020931A KR102061445B1 KR 102061445 B1 KR102061445 B1 KR 102061445B1 KR 1020190020931 A KR1020190020931 A KR 1020190020931A KR 20190020931 A KR20190020931 A KR 20190020931A KR 102061445 B1 KR102061445 B1 KR 102061445B1
Authority
KR
South Korea
Prior art keywords
infrared
visible light
object detection
image
data
Prior art date
Application number
KR1020190020931A
Other languages
English (en)
Inventor
김도휘
이선호
조성민
최보원
권준석
Original Assignee
써모아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 써모아이 주식회사 filed Critical 써모아이 주식회사
Priority to KR1020190020931A priority Critical patent/KR102061445B1/ko
Priority to PCT/KR2019/004122 priority patent/WO2020171281A1/ko
Application granted granted Critical
Publication of KR102061445B1 publication Critical patent/KR102061445B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/4652—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치를 개시한다. 본 발명에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고, 객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치가 제공된다.

Description

가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치{Method and apparatus for object recognition based on visible light and infrared fusion image}
본 발명은 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치에 관한 것으로서, 보다 상세하게는 가시광 카메라 및 적외선 카메라를 통해 획득된 영상을 이용하여 차량 주변의 객체를 인식할 수 있는 방법 및 장치에 관한 것이다.
일반적으로 차량에는 안정적이고 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단이 설치된다. 편의 수단에 대한 수요와 더불어 차량의 안전을 위한 장치들에 대한 수요도 증가하고 있다.
차량 안전 장치로는 ABS(Antilock Breaking System) 장치, ECS(Electronic Controlled Suspension) 장치 및 자율 긴급 제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 능동 안전 장치와 사후 사고의 원인 규명을 위한 차량용 블랙박스와 같은 수동 안전 장치를 포함할 수 있다.
자율 긴급 제동 시스템은 차량에 탑재된 레이더를 통해 전방에 주행 중인 차량(또는 물체)와의 거리를 측정하며, 자차와 전방 차량과의 거리가 일정 거리보다 가까운 경우에 충돌 위험을 인식한다. 충돌 위험이 인식되면 자동으로 제동이 이루어지도록 함으로써 차량 속도를 감속시킨다.
또한, 자율 긴급 제동 시스템은 충돌 위험이 인식되면 운전자에게 경고음으로 충돌 위험을 알리고 운전자의 페달 조작에 신속히 반응할 수 있도록 제동 장치를 대기 모드로 동작 시킨다. 이러한 자율 긴급 제동의 성능을 높이기 위해서는 차량 전방의 물체가 보행자인지, 차량인지 또는 이외의 물체인지를 빠르고 정확하게 판별할 필요가 있다.
한국등록특허 제10-1671993(2016.10.27)호는 차량 안전 시스템에 관한 것으로, 포토 다이오드, 추돌 방지 거리 연산 모듈, 속도 설정 모듈, 차량 제어 모듈, 교통신호등 감지 모듈, 색상 표시 모듈, 주변 감시 모듈을 포함하고, 색상 감지 모듈은 교통신호등의 색상을 범위로 설정하고, 색상 감지 모듈에서 감지되는 일정 범위의 색상은 하나의 색상으로 결정하며, 색상 표시 모듈은 교통신호등 감지 카메라 모듈에서 획득된 영상 정보에서 교통 신호등 색상 영역을 디스플레이 하고, 차량 속도 제어 모듈은 색상 감지 모듈이 감지한 교통신호등의 색상이 적색이며, 해당 교통 신호등과 사용자 차량 간의 거리가 일정 거리 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하고, 주변 거리 연산 모듈이 감지한 물체와 사용자 차량 간의 거리가 일정 범위 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하며, 주변 거리 연산 모듈은 주변 감시 카메라 모듈에서 획득된 영상에 블록들을 이용하여 화면 전체를 크기별로 탐색하여 영역들의 밝기 차이로 구분하여 학습한 후, AdaBoost 알고리즘을 이용하여 가중치를 부여하고, 약분류기들을 결합해 강한 분류기를 생성하여 영상에서 보행자 얼굴을 검출하고, 보행자 얼굴이 검출된 경우 해당 보행자와 사용자 차량 간의 거리가 일정 범위 이내일 경우 경고 메시지를 보내는 것을 특징으로 한다.
한국등록특허 제10-1611273(2016.04.05)호는 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법에 관한 것으로, 차량에 배치되어 기설정 주기에 따라 적외선을 방출하는 적외선 램프와, 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 영상 데이터를 획득하되, 적외선 램프가 적외선을 방출하는 경우 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 온 영상과, 적외선 램프가 적외선을 방출하지 않는 경우 타 차량 전조등의 적외선 성분을 포함하는 오프 영상을 획득하는 적외선 카메라, 및 영상 데이터를 분석하여 피사체의 영역을 검출하는 피사체 인식부를 포함한다.
그러나 종래의 주변 객체 검출 방법은 획득된 영상에서 빛반사, 역광 및 야간 상황의 경우 객체 판별이 어려운 문제점이 있다.
한국등록특허 제10-1671993(2016.10.27)호 한국등록특허 제10-1611273(2016.04.05)호
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 다양한 환경에서 객체 검출 성능을 한층 향상시킬 수 있는 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치를 제안한고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고,객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치가 제공된다.
상기 적외선 영상 데이터는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 상기 온도 데이터로부터 계산되는 적외선 신호 데이터(Radiation) 중 적어도 하나 이상을 포함할 수 있다.
상기 프로그램 명령어들은, 상기 객체 검출 저하 영역에 따라 상기 RGB 데이터 각각 및 상기 적외선 영상 데이터의 가중치를 변경하여 상기 객체 검출 네트워크로 입력할 수 있다.
상기 프로그램 명령어들은, 상기 가시광 영상의 프레임에서 미리 설정된 제1 임계치보다 높은 밝기값을 가지거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하여 상기 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는지 여부를 판단할 수 있다.
상기 가중치는 아래의 수식에서 손실(
Figure 112019018871920-pat00001
)을 최소화하는 최적 파라미터(
Figure 112019018871920-pat00002
)에 따라 결정될 수 있다.
[수학식 1]
Figure 112019018871920-pat00003
여기서, x는 상기 객체 검출 네트워크의 입력값이고,
Figure 112019018871920-pat00004
는 상기한 입력으로부터 얻어지는 결과값이고,
Figure 112019018871920-pat00005
은
Figure 112019018871920-pat00006
와 ground truth 결과 y 사이의 거리를 계산함.
상기 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU를 포함하는 복수의 블록으로 구성될 수 있다.
상기 가시광 카메라 및 적외선 카메라는 인접한 위치에 동일 방향으로 배치될 수 있다.
본 발명의 다른 측면에 따르면, 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 방법으로서, 가시광 카메라를 통해 차량 주변의 가시광 영상을 입력 받는 단계; 적외선 카메라를 통해 상기 차량 주변의 적외선 영상을 입력 받는 단계; 상기 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하는 단계; 및 객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하는 단계를 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 방법이 제공된다.
본 발명에 따르면, 가시광 영상에서 객체 인지 저하 영역이 존재하는지를 판단하고, 해당 영역에 대해 적외선 영상을 상호 보완적으로 이용함으로써 객체 검출 성능을 한층 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출을 위한 영상 분석 시스템의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 영상 분석 장치에서 객체 검출을 위해 사용하는 가시광 영상 데이터 및 적외선 영상 데이터를 도시한 도면이다.
도 3은 빛 반사, 역광 및 야간 상황 각각에서의 가시광 카메라와 적외선 카메라에서의 입력 영상을 나타낸 것이다.
도 4는 본 실시예에 따른 객체 검출 네트워크의 아키텍쳐를 도시한 도면이다.
도 5는 본 실시예에서의 어텐션 모듈의 아키텍쳐를 도시한 도면이다.
도 6은 본 실시예에 따른 객체 검출 성능을 나타낸 것이다.
도 7은 본 실시예에 따른 가시광 및 적외선 융합 영상 기반 객체 검출 과정을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 가시광 카메라 및 적외선 카메라를 통해 획득된 영상을 이용하여 차량 주변의 객체를 인식한다.
일반적으로 가시광 카메라는 선명한 영상을 얻을 수 있으나, 눈, 비, 악천후 및 야간 상황에서 객체 검출 성능이 저하된다.
또한, 적외선 카메라는 객체의 표면 온도에 의해 방사되는 적외선을 검출하는 것으로서, 야간 상황에서 객체 검출 성능이 좋으나 계절, 시간 등 주변 환경에 민감하고 객체의 인식률이 낮은 문제점이 있다.
본 발명은 가시광 카메라 및 적외선 카메라 각각으로부터 획득된 영상을 융합하여 주변 환경에 관계 없이 객체 검출 성능을 향상시킬 수 있는 방법을 제안한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출을 위한 영상 분석 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 영상 분석 시스템(100)은 가시광 카메라(110), 적외선 카메라(120) 및 영상 분석 장치(130) 및 알람부(150)를 포함할 수 있다.
영상 분석 장치(130)는 가시광 카메라(110) 및 적외선 카메라(120)를 통해 획득된 가시광 영상 데이터 및 적외선 영상 데이터를 분석하여 차량 주변의 객체를 인식한다.
바람직하게, 가시광 카메라(110) 및 적외선 카메라(120)는 인접한 위치 동일한 방향을 향하게 설치되고 보다 바람직하게는 하나의 모듈에 동일한 방향으로 시야각을 가지면서 설치되어 동일한 객체에 대한 가시광 영상 및 적외선 영상(열 영상)을 획득한다.
영상 분석 장치(130)는 프로세서 및 메모리를 포함할 수 있다.
프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리에는 프로세서에 의해 실행 가능한 프로그램 명령어들이 저장되며, 아래에서 설명하는 바와 같이 가시광과 적외선 융합 영상을 이용하여 차량 주변의 객체를 검출한다.
도 2는 본 실시예에 따른 영상 분석 장치에서 객체 검출을 위해 사용하는 가시광 영상 데이터 및 적외선 영상 데이터를 도시한 도면이다.
도 2를 참조하면, 가시광 영상 데이터(Visual image)는 단일 프레임에 포함된 각 픽셀들의 RGB 데이터이며, 적외선 영상 데이터(Thermal image)는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 적외선 신호 데이터(Radiation)일 수 있다.
여기서, RGB 데이터는 광원에 의해 나타나는 R/G/B 값으로 주변 환경의 영향을 받지 않는 값이다.
또한, 그레이 스케일 데이터는 로우 데이터를 변환하여 그레이 스케일로 표현한 값이다.
적외선 신호와 온도는 상관관계를 가지며, 상관관계식을 통해 온도 데이터에서 각 픽셀의 적외선 신호 데이터를 계산할 수 있다.
본 실시예에 따르면, 객체 검출을 위해 RGB 데이터와 함께 이용되는 적외선 영상 데이터는 로우 데이터, 그레이 스케일 데이터, 온도 데이터 및 적외선 신호 데이터 중 적어도 하나 이상일 수 있다.
이하에서는 본 실시예에 따른 영상 분석 장치(130)가 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터를 이용하여 객체를 인식하는 것으로 설명할 것이나, 반드시 이에 한정되지 않는다.
본 실시예에 따른 영상 분석 장치(130)는 미리 학습된 알고리즘을 이용하여 가시광 영상에서 빛반사, 역광 또는 야간 환경에 의해 객체 검출이 어려운 영역(미리 설정된 픽셀값 이상 또는 이하인 영역, 이하, '객체 검출 저하 영역'이라 함)이 존재하는지 여부를 판단한다.
도 3은 빛 반사, 역광 및 야간 상황 각각에서의 가시광 카메라(110)와 적외선 카메라(120)에서의 입력 영상을 나타낸 것이다.
도 3을 참조하면, 빛 반사, 역광 및 야간 상황에서 가시광 영상 데이터의 소정 영역(300)에서는 객체 검출이 어려운 영역이 존재하는 것을 확인할 수 있다.
영상 분석 장치(130)는 가시광 영상의 프레임 내에 각 픽셀 값(밝기 값)을 이용하여 소정 제1 임계치보다 높거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하여 객체 검출 저하 영역을 판단한다.
여기서, 영상 분석 장치(130)는 소정 임계치보다 높거나 낮은 밝기 값을 갖는 픽셀이 소정 임계치보다 많은 수로 존재하는 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는 것으로 판단할 수 있다.
이때, 영상 분석 장치(130)는 객체 검출 저하 영역에 대해 기계학습을 미리 수행할 수 있고, 기계학습에 기초하여 현재 입력된 가시광 영상에서 객체 검출 저하 영역을 판단한다.
객체 검출 저하 영역이 존재하는 경우, 영상 분석 장치(130)는 해당 영역에 대해 적외선 영상 데이터를 참조하여 객체를 분류한다.
보다 상세하게, 영상 분석 장치(130)는 가시광 카메라(110)를 통해 획득된 RGB 데이터 및 적외선 카메라(120)를 통해 획득된 로우 데이터 및 그레이 스케일 데이터 각각의 가중치를 동적으로 할당하여 가시광 영상에서 객체 검출 저하 영역이 포함된 경우에도 객체 검출의 정확도를 높인다.
본 발명의 바람직한 일 실시예에 따르면, 영상 분석 장치(130)는 미리 학습된 객체 검출 네트워크로 멀티 도메인 어텐티브 검출 네트워크(multi domain attentive detection network: MDADN)를 이용하여 객체 검출을 수행한다.
일반적으로 가시광 영상을 기반으로 객체 검출을 수행하는 경우 객체 검출 네트워크에 RGB 데이터만이 입력된다.
그러나, 본 발명은 가시광 영상 및 적외선 영상을 융합을 통해 객체 검출을 수행하기 때문에 객체 검출 네트워크의 입력 값은 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터와 같이 총 5개의 데이터가 입력되며, 가시광 영상에 객체 검출 저하 영역이 존재하는지 여부에 따라 각 입력값에 대해 가중치가 동적으로 할당된다.
본 발명은 다음의 수식에서 손실(
Figure 112019018871920-pat00007
)를 최소화하는 최적 파라미터(
Figure 112019018871920-pat00008
)를 탐색한다. 여기서, 최적 파라미터는 객체 인식 네트워크의 가중치들의 최적값을 의미한다.
Figure 112019018871920-pat00009
여기서, x는 객체 검출 네트워크의 입력인 RGB 데이터, 로우 데이터 및 그레이 스케일 데이터이고,
Figure 112019018871920-pat00010
는 상기한 입력으로부터 얻어지는 결과값이고,
Figure 112019018871920-pat00011
은
Figure 112019018871920-pat00012
와 ground truth 결과 y 사이의 거리를 계산한다.
본 실시예에 따른 데이터 소스인 가시광 영상 데이터와 적외선 영상 데이터를 상호 보완적이며 적어도 하나의 데이터 소스에서 객체가 인식될 수 있다.
도 4는 본 실시예에 따른 객체 검출 네트워크의 아키텍쳐를 도시한 도면이다.
도 4를 참조하면, 본 실시예에 따른 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU으로 구성된 7개의 블록을 가진다. 첫 번째 5개의 블록들은 스트라이드(stride) 2를 갖는 맥스-풀링 레이어를 가지며, 세 번째부터 여섯 번째 블록까지 스킵 연결(skip connection)이 추가된다.
본 실시예에 따른 객체 검출 네트워크에서, 어텐션 모듈이 합성곱 레이어1-1, 2-1, 3-3, 4-3, 5-5 및 6-7에 삽입된다. n-k에서 n은 블록이고, k는 레이어를 의미한다.
도 5는 본 실시예에서의 어텐션 모듈의 아키텍쳐를 도시한 도면이다.
각 어텐션 모듈은 4개의 풀리 커넥티드 레이어(fully connected layer: FC)를 가진다. 본 실시예에서 평균-풀링(poolavg) 및 맥스-풀링(poolmax)가 수직/수평 특징들
Figure 112019018871920-pat00013
에 적용된다.
풀링은
Figure 112019018871920-pat00014
를
Figure 112019018871920-pat00015
로 변환한다.
여기서, W는 폭, H는 높이, C는 채널 수를 나타낸다.
마지막 레이어에서, 시그모이드 함수
Figure 112019018871920-pat00016
를 이용하여 풀링 레이어로부터의 2개의 출력을 연관시키고, 브로드캐스팅을 통해 원소별 계산(element-wise products)을 획득한다.
어텐션 모듈은 아래와 같이 환경에 종속되는 특징
Figure 112019018871920-pat00017
의 채널별 어텐션 맵을 생성한다.
Figure 112019018871920-pat00018
또한 어텐션 모듈은 환경에 종속되는 특징
Figure 112019018871920-pat00019
의 공간 어텐션 맵을 생성한다.
Figure 112019018871920-pat00020
여기서,
Figure 112019018871920-pat00021
는 1×1 커널과의 2회 합성곱 연산을 나타낸다.
이후 특징 맵
Figure 112019018871920-pat00022
를 생성하는 잔여 블록에 대해 스킵 연결이 추가된다.
Figure 112019018871920-pat00023
본 발명은 객체 검출 네트워크에 가시광 영상 데이터 및 적외선 영상 데이터에 대한 정보들을 입력값으로 하여 상기한 바와 같이 특징맵을 도출하고, 특징맵에서 객체를 분류한다.
영상 분석 장치(130)는 객체 학습 모집단을 통해 기계학습을 미리 수행하고, 기계학습 결과를 기초로 객체를 분류한다.
여기에서, 객체 학습 모집단은 기계학습에 필요한 다수의 객체, 예를 들어, 사람, 자동차, 표지판, 신호등 등을 포함할 수 있다.
알람부(150)는 영상 분석 장치(130)에서 가시광 및 적외선 융합 기반으로 차량 주변에 객체가 존재하며 진행 방향으로 미리 설정된 거리 이하로 위치하는 경우 알람을 생성한다.
도 6은 본 실시예에 따른 객체 검출 성능을 나타낸 것이다.
도 6a의 원본과 비교할 때, 기존 인공지능 알고리즘(SSD 및 RCNN)을 이용하는 도 6b 및 도 6c에 비해 도 6d와 같이 본 실시예에 따른 객체 검출 결과(MDADN)가 최소 2개 이상의 인식률 향상을 나타내는 것을 확인할 수 있다.
도 7은 본 실시예에 따른 가시광 및 적외선 융합 영상 기반 객체 검출 과정을 도시한 순서도이다.
도 7은 영상 분석 장치의 수행 과정을 도시한 것이다.
도 7을 참조하면, 기계학습이 완료된 영상 분석 장치(130)는 가시광 카메라(110) 및 적외선 카메라(120)를 통해 촬영된 가시광 영상 데이터 및 적외선 영상 데이터를 입력 받는다(단계 700).
여기서, 가시광 영상 데이터는 각 픽셀의 RGB 데이터이고, 적외선 영상 데이터는 각 픽셀의 로우 데이터, 그레이 스케일 데이터, 온도 및 적외선 신호 중 적어도 하나를 포함할 수 있다.
영상 분석 장치(130)는 입력된 가시광 영상 프레임에 객체 검출 저하 영역이 존재하는지를 판단한다(단계 702).
단계 702는 미리 학습된 객체 검출 네트워크에서 가시광 영상에 소정 임계치보다 높거나 낮은 밝기값을 갖는 픽셀이 소정 개수 이상 존재하는지 여부를 판단하는 과정일 수 있다.
단계 702는 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는지 여부뿐만 아니라 객체 검출 저하 영역을 식별하는 과정을 포함할 수 있다.
객체 검출 저하 영역이 존재하는 경우, 영상 분석 장치(130)는 객체 검출 네트워크의 입력값인 가시광 영상 데이터 및 적외선 영상 데이터의 가중치를 할당하여 객체를 분류한다(단계 704).
바람직하게, 객체 검출 저하 영역을 제외한 영역에 대해서는 RGB 데이터에 높은 가중치가 부여될 수 있고, 객체 검출 저하 영역에 대해서는 로우 데이터, 그레이 스케일 데이터, 온도 데이터 및 적외선 신호 데이터 중 적어도 하나 이상에 대해 높은 가중치가 부여될 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    가시광 카메라를 통해 입력된 차량 주변의 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하고,
    객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하며,
    상기 프로그램 명령어들은, 상기 가시광 영상의 프레임에서 미리 설정된 제1 임계치보다 높은 밝기값을 가지거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하고 상기 카운팅된 픽셀이 미리 설정된 임계치보다 많은 수로 존재하는 경우 상기 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는 것으로 판단하며,
    상기 객체 검출 저하 영역에 대해 상기 RGB 데이터보다 상기 적외선 영상 데이터에 높은 가중치를 부여하여 상기 객체 검출 네트워크로 입력하며,
    상기 가중치는 아래의 수식에서 손실(
    Figure 112019116059871-pat00037
    )을 최소화하는 최적 파라미터(
    Figure 112019116059871-pat00038
    )에 따라 결정되는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
    [수학식 1]
    Figure 112019116059871-pat00039

    여기서, x는 상기 객체 검출 네트워크의 입력값이고,
    Figure 112019116059871-pat00040
    는 상기한 입력으로부터 얻어지는 결과값이고,
    Figure 112019116059871-pat00041
    은
    Figure 112019116059871-pat00042
    와 ground truth 결과 y 사이의 거리를 계산함.
  2. 제1항에 있어서,
    상기 적외선 영상 데이터는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 상기 온도 데이터로부터 계산되는 적외선 신호 데이터(Radiation) 중 적어도 하나 이상을 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 객체 검출 네트워크는 합성곱 레이어(convolution layers), 어텐션 모듈(attention module), 배치 정규화(batch normalization) 및 leaky RELU를 포함하는 복수의 블록으로 구성되는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  7. 제1항에 있어서,
    상기 가시광 카메라 및 적외선 카메라는 인접한 위치에 동일 방향으로 배치되는 가시광 및 적외선 융합 영상 기반 객체 검출 장치.
  8. 가시광 및 적외선 융합 영상 기반으로 차량 주변 객체를 검출하는 방법으로서,
    (a) 가시광 카메라를 통해 차량 주변의 가시광 영상을 입력 받는 단계;
    (b) 적외선 카메라를 통해 상기 차량 주변의 적외선 영상을 입력 받는 단계;
    (c) 상기 가시광 영상에 주변 환경에 의한 객체 검출 저하 영역이 존재하는지 여부를 판단하는 단계; 및
    (d) 객체 검출 저하 영역이 존재하는 경우, 상기 가시광 영상의 RGB 데이터 및 적외선 카메라를 통해 획득된 적외선 영상 데이터를 미리 학습된 객체 검출 네트워크의 입력값으로 하여 객체를 분류하는 단계를 포함하되,
    상기 (c) 단계는, 상기 가시광 영상의 프레임에서 미리 설정된 제1 임계치보다 높은 밝기값을 가지거나 제2 임계치보다 낮은 밝기 값을 갖는 픽셀을 카운팅하고 상기 카운팅된 픽셀이 미리 설정된 임계치보다 많은 수로 존재하는 경우 상기 가시광 영상 프레임 내에 객체 검출 저하 영역이 존재하는 것으로 판단하며,
    상기 (d) 단계는 상기 객체 검출 저하 영역에 대해 상기 RGB 데이터보다 상기 적외선 영상 데이터에 높은 가중치를 부여하여 상기 객체 검출 네트워크로 입력하며,
    상기 가중치는 아래의 수식에서 손실(
    Figure 112019116059871-pat00043
    )을 최소화하는 최적 파라미터(
    Figure 112019116059871-pat00044
    )에 따라 결정되는 가시광 및 적외선 융합 영상 기반 객체 검출 방법.
    [수학식 1]
    Figure 112019116059871-pat00045

    여기서, x는 상기 객체 검출 네트워크의 입력값이고,
    Figure 112019116059871-pat00046
    는 상기한 입력으로부터 얻어지는 결과값이고,
    Figure 112019116059871-pat00047
    은
    Figure 112019116059871-pat00048
    와 ground truth 결과 y 사이의 거리를 계산함.
  9. 제8항에 있어서,
    상기 적외선 영상 데이터는 카운트 값(Counts)으로 정의되는 로우 데이터(Raw data), 로우 데이터에서 획득된 그레이 스케일 데이터(적외선 데이터), 온도 데이터 및 상기 온도 데이터로부터 계산되는 적외선 신호 데이터(Radiation) 중 적어도 하나 이상을 포함하는 가시광 및 적외선 융합 영상 기반 객체 검출 방법.
  10. 삭제
KR1020190020931A 2019-02-22 2019-02-22 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치 KR102061445B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190020931A KR102061445B1 (ko) 2019-02-22 2019-02-22 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
PCT/KR2019/004122 WO2020171281A1 (ko) 2019-02-22 2019-04-08 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190020931A KR102061445B1 (ko) 2019-02-22 2019-02-22 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144374A Division KR20200102907A (ko) 2019-11-12 2019-11-12 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102061445B1 true KR102061445B1 (ko) 2019-12-31

Family

ID=69051466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190020931A KR102061445B1 (ko) 2019-02-22 2019-02-22 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102061445B1 (ko)
WO (1) WO2020171281A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255797A (zh) * 2021-06-02 2021-08-13 通号智慧城市研究设计院有限公司 一种基于深度学习模型的危险品检测方法和系统
KR20210116904A (ko) * 2020-03-18 2021-09-28 주식회사 아이엔지시스템 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN113792592A (zh) * 2021-08-09 2021-12-14 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置
CN113869157A (zh) * 2021-09-16 2021-12-31 中国科学院合肥物质科学研究院 一种基于可见光和红外云图的云分类方法
WO2023277219A1 (ko) * 2021-06-30 2023-01-05 한국전자기술연구원 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651276A (zh) * 2020-09-04 2021-04-13 江苏濠汉信息技术有限公司 一种基于双光融合的输电通道预警系统及其预警方法
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device
CN113029951B (zh) * 2021-03-16 2024-03-29 太原理工大学 一种输送带损伤多谱视听调频融合检测方法及装置
CN113077533B (zh) * 2021-03-19 2023-05-12 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN112907571A (zh) * 2021-03-24 2021-06-04 南京鼓楼医院 基于多光谱图像融合识别的目标判定方法
CN113034915B (zh) * 2021-03-29 2023-06-20 北京卓视智通科技有限责任公司 一种双光谱交通事件检测方法及装置
CN114298987A (zh) * 2021-12-17 2022-04-08 杭州海康威视数字技术股份有限公司 一种反光条检测方法及装置
CN115050016B (zh) * 2022-08-15 2023-01-17 深圳市爱深盈通信息技术有限公司 车牌检测方法、装置、设备终端和可读存储介质
CN116778227B (zh) * 2023-05-12 2024-05-10 昆明理工大学 基于红外图像与可见光图像的目标检测方法、系统及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627428B1 (ko) * 2014-11-17 2016-06-03 포항공과대학교 산학협력단 딥 러닝을 이용하는 구문 분석 모델 구축 방법 및 이를 수행하는 장치
KR102315574B1 (ko) * 2014-12-03 2021-10-20 삼성전자주식회사 데이터 분류 방법 및 장치와 관심영역 세그멘테이션 방법 및 장치
KR101886373B1 (ko) * 2016-07-14 2018-08-09 주식회사 언더핀 딥러닝 인공신경망 기반의 타스크 제공 플랫폼
KR20180093418A (ko) * 2017-02-13 2018-08-22 영남대학교 산학협력단 보행자 검출 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210116904A (ko) * 2020-03-18 2021-09-28 주식회사 아이엔지시스템 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102449724B1 (ko) * 2020-03-18 2022-09-30 주식회사 아이엔지시스템 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN113255797A (zh) * 2021-06-02 2021-08-13 通号智慧城市研究设计院有限公司 一种基于深度学习模型的危险品检测方法和系统
CN113255797B (zh) * 2021-06-02 2024-04-05 通号智慧城市研究设计院有限公司 一种基于深度学习模型的危险品检测方法和系统
WO2023277219A1 (ko) * 2021-06-30 2023-01-05 한국전자기술연구원 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법
CN113792592A (zh) * 2021-08-09 2021-12-14 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置
CN113792592B (zh) * 2021-08-09 2024-05-07 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置
CN113869157A (zh) * 2021-09-16 2021-12-31 中国科学院合肥物质科学研究院 一种基于可见光和红外云图的云分类方法

Also Published As

Publication number Publication date
WO2020171281A1 (ko) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102061445B1 (ko) 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
US11386673B2 (en) Brake light detection
KR20200102907A (ko) 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
US10339812B2 (en) Surrounding view camera blockage detection
US10853671B2 (en) Convolutional neural network system for object detection and lane detection in a motor vehicle
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
US7418112B2 (en) Pedestrian detection apparatus
CN107113408B (zh) 图像处理装置、图像处理方法、程序和系统
US9619716B2 (en) Vehicle vision system with image classification
CN106295494B (zh) 车外环境识别装置
KR102333107B1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
JP6420650B2 (ja) 車外環境認識装置
US20160048734A1 (en) Light source recognition system of vehicle
CN111753629A (zh) 车辆环境的环境数据处理
US10129458B2 (en) Method and system for dynamically adjusting parameters of camera settings for image enhancement
US12014524B2 (en) Low-light camera occlusion detection
KR20210040258A (ko) 객체에 대한 객체 분류를 출력하는 방법 및 장치
KR20150066739A (ko) 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법
WO2021059967A1 (ja) 物体認識装置及び物体認識プログラム
KR102107298B1 (ko) 영상 분석 장치 및 방법
WO2024204271A1 (ja) 制御装置及び制御方法
CN115817340B (zh) 预警方法、预警装置、车及计算机可读存储介质
US20230281953A1 (en) Method and apparatus for detecting backlight of image
US20240114227A1 (en) System and method for drive control of front svm system

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant