KR102036593B1 - 악천후 출동차량용 전후방 감시시스템 - Google Patents

악천후 출동차량용 전후방 감시시스템 Download PDF

Info

Publication number
KR102036593B1
KR102036593B1 KR1020180045380A KR20180045380A KR102036593B1 KR 102036593 B1 KR102036593 B1 KR 102036593B1 KR 1020180045380 A KR1020180045380 A KR 1020180045380A KR 20180045380 A KR20180045380 A KR 20180045380A KR 102036593 B1 KR102036593 B1 KR 102036593B1
Authority
KR
South Korea
Prior art keywords
image
thermal
visible light
camera
integrated
Prior art date
Application number
KR1020180045380A
Other languages
English (en)
Inventor
정준호
안정환
김지태
Original Assignee
주식회사 아이티아이비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티아이비전 filed Critical 주식회사 아이티아이비전
Priority to KR1020180045380A priority Critical patent/KR102036593B1/ko
Application granted granted Critical
Publication of KR102036593B1 publication Critical patent/KR102036593B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

본 발명은 카메라 및 열화상 카메라를 이용하여 객체 검출 및 통합영상을 생성함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 운전자가 충돌 상황을 사전에 미리 인지할 수 있기 때문에 특수차량의 이동의 신속성을 높일 수 있을 뿐만 아니라 충돌사고를 획기적으로 방지할 수 있고, 시계 상태에 따라 가시광영상 및 열화상영상 중 어느 하나를 기준영상으로 선택하고, 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 운전자에게 필요한 정보를 효율적으로 제공할 수 있으며, 통합영상 생성 시 가시광영상 분석부 및 열화상 분석부에 의해 검출된 모든 객체들을 전시하되, 각 객체의 온도가 표시되도록 통합영상을 생성함으로써 통합영상을 통해 정보를 더욱 상세하게 제공할 수 있는 융복합 카메라를 이용한 악천후 출동차량용 전후방 감시시스템에 관한 것이다.

Description

악천후 출동차량용 전후방 감시시스템{Forward and back ward detecting system for emergency vehicle on bad visuality}
본 발명은 악천후 출동차량용 전후방 감시시스템에 관한 것으로서, 상세하게로는 방범, 순찰, 견인, 후송, 작업 등의 특수목적 차량에 설치되는 융복합 카메라를 이용하여 통합영상을 생성함으로써 열약한 시계환경에서도 전후방을 정확하게 감지하여 사고를 미연에 방지함과 동시에 목적지로 특수목적 차량을 신속하게 이동하도록 하는 악천후 출동차량용 전후방 감시시스템에 관한 것이다.
특수차량이란, 순찰, 방범, 단속, 견인, 후송 등과 같은 특수한 목적을 위해 주행하는 차량을 의미한다.
이러한 특수목적 차량은 긴급 상황 발생 시 목적지까지 얼마나 신속하게 이동하는지 또는 목적지로부터 제2 목적지까지 얼마나 신속하게 이동하는지가 서비스의 성능에 직결되는 특성을 갖는다.
일반적으로 도로는 안개, 우천, 조명, 도로상태 등의 외부 요인에 따라 운전시야가 확보되지 못하는 상황이 빈번하게 발생하기 때문에 특수차량의 이동의 신속성을 높이기 위해서는 이러한 상황에서도 전후방을 정확하게 감지하기 위한 기술이 시급한 상황이다.
예를 들어 특수차량이 응급후송차량이고, 안개로 인해 운전시야가 확보되지 못하는 상황이라고 가정할 때, 해당 응급후송차량은 전방시야가 확보되지 않아 목적지까지의 이동이 현저히 늦어지게 된다.
최근 들어, 차량에 카메라를 탑재하여 카메라에 의해 촬영된 영상을 네비게이션 등의 디스플레이 수단을 통해 전시함으로써 운전자가 운전 시 영상의 열람을 통해 사각지대 및 전후방을 열람하도록 하는 시스템이 널리 적용되고 있으나, 이러한 가시광 카메라를 이용한 방식은 안개, 우천, 조명, 도로상태 등에 의해 운전시야가 확보되지 않은 환경인 경우, 아무런 도움을 줄 수 없기 때문에 특수목적에 적용된다고 하더라도, 특수목적의 이동의 신속성을 개선시킬 수 없는 구조적 한계를 갖는다.
한편, 최근 들어 차량의 전후방 충돌을 사전에 감지하여 운전자에게 경보하도록 하는 충돌 경보시스템에 대한 다양한 연구가 진행되고 있다.
도 1은 국내공개특허 제10-2012-0053176호(발명의 명칭 : 차량의 전후방 충돌 경보장치 및 이를 이용한 충돌 경보방법)에 개시된 충돌 경보장치를 나타내는 블록도이다.
도 1의 충돌 경보장치(이하 제1 종래기술이라고 함)(100)는 제어부(160)와, 충돌감지부(120), 연산모듈(140), 경보발생부(180)로 이루어진다.
충돌감지부(120)는 차량의 전방 및 후방에 설치되어 전후방에 근접한 물체를 감지하는 것으로, 차량의 전방 및 후방 범퍼에 복수개가 일정 간격을 두고 설치되어 개별로 감지된 신호를 후술할 연산모듈(40)로 전송한다. 이때 충돌감지부(120)는 레이저를 송수신하는 레이저기로 이루어지는 것이 바람직하다.
연산모듈(140)은 충돌감지부(120)를 통해 감지된 신호를 입력받아 감지물체와의 상대적 거리 및 속도를 산출하며, 산출값을 제어부(160)로 입력한다.
제어부(160)는 연산모듈(140)을 통해 계산된 값을 입력받아 차량의 전후방에 근접한 물체와의 충돌 위험을 판단하며, 상세하게로는 각 충돌감지부(120)에서 개별로 감지되어 계산된 값을 입력받아 서로 비교하여 일정 알고리즘을 통해 충돌 위험을 판단하게 된다.
경보발생부(180)는 제어부(160)를 통해 판단된 신호를 입력받아 충돌 위험을 청각화 또는 시각화하여 경보신호로 표출한다. 이때 경보발생부(180)는 운전석의 전방에 설치된 네비게이션 화면과 연동되어 표시될 수 있으며, 주행 시 충돌 위험이 감지되면 디스플레이나 스피커를 통한 다른 기능들은 일시 정지시키고 경보신호를 최우선으로 발생시키게 된다.
이와 같이 구성되는 제1 종래기술(100)은 차량의 전후방 범퍼에 복수개의 충돌감지부를 설치하여 차량의 전후방 측정 범위를 향상시켜 주행 시 사각지대를 감지함으로써 충돌 위험에 대한 경보 발생 시점을 정확하 판단할 수 있는 장점을 갖는다.
그러나 제1 종래기술(100)은 설계 시 센서들인 충돌감지부(120)들을 별도로 차량의 전후방에 설치해야하기 때문에 설치 및 운용이 복잡하고 번거로운 단점을 갖는다.
또한 제1 종래기술(100)은 충돌 감지 시에만 충돌이 감지되었다는 경보만을 출력하도록 구성되었기 때문에 운전자는 자신의 운전시야로만 전후방 도로, 차량 및 교통상태를 인지하여야 하고, 이에 따라 운전시야가 확보되지 않은 환경에서 차량 충돌이 빈번하게 발생하는 단점을 갖는다.
즉 특수차량에 제1 종래기술(100)을 적용시킨다고 가정하더라도, 제1 종래기술(100)은 특수차량의 이동의 신속성 개선에 아무런 도움이 될 수 없는 구조적 한계를 갖는다.
도 2는 국내공개특허 제10-2015-0019856호(발명의 명칭 : 주행안전 지원 시스템 및 주행안전 지원 방법)에 개시된 주행안전 지원장치를 나타내는 블록도이다.
도 2의 주행안전 지원장치(이하 제2 종래기술이라고 함)(200)는 차량의 좌우측 및 후방을 촬영하는 카메라(C1, C2, C3)들로부터 획득된 영상을 입력받는 영상데이터 입력부(201)와, 영상데이터 입력부(201)를 통해 입력된 영상을 분석하여 위험영역 내 물체가 존재하는지의 여부를 판단하는 물체 판별수단(203)과, 물체 판별수단(203)에 의해 위험영역 내 물체가 존재하는 것으로 판단될 때 주의모드로 설정하는 모드 설정수단(205)과, 영상을 출력하되 모드 설정수단(205)에 의해 주의모드로 설정될 때 경고정보를 출력하는 비디오 출력부(207)로 이루어진다.
이와 같이 구성되는 제2 종래기술(200)은 카메라(C1, C2, C3)들에 의해 전방향에 대한 영상을 획득할 수 있으며, 물체 판별수단(203)이 획득된 영상을 분석하여 위험영역 내 물체가 존재하는지를 판단하여 물체 감지 시 비디오 출력부(207)를 통해 경고문구가 출력되도록 구성됨으로써 운전자의 부주의 및 사각지대로 인한 사고를 미연에 방지할 수 있는 장점을 갖는다.
그러나 제2 종래기술(200)은 가시광 카메라(C1, C2, C3)들에 의해 획득된 영상분석을 통해 물체를 감지하기 때문에 조도가 부족한 야간이나 안개 등의 환경에 의해 영향을 받기 때문에 시계환경이 열약한 경우 오인식이 증가하는 단점을 갖는다.
본 발명은 이러 한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 카메라 및 열화상 카메라를 이용하여 객체 검출 및 통합영상을 생성함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 운전자가 충돌 상황을 사전에 미리 인지할 수 있기 때문에 특수차량의 이동의 신속성을 높일 수 있을 뿐만 아니라 충돌사고를 획기적으로 방지할 수 있는 악천후 출동차량용 전후방 감시시스템을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 시계 상태에 따라 가시광영상 및 열화상영상 중 어느 하나를 기준영상으로 선택하고, 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 운전자에게 필요한 정보를 효율적으로 제공할 수 있는 악천후 출동차량용 전후방 감시시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 통합영상 생성 시 가시광영상 분석부 및 열화상 분석부에 의해 검출된 모든 객체들을 전시하되, 각 객체의 온도가 표시되도록 통합영상을 생성함으로써 통합영상을 통해 정보를 더욱 상세하게 제공할 수 있는 악천후 출동차량용 전후방 감시시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 카메라 및 열화상 카메라를 포함하고, 차량에 탑재되는 촬영부; 상기 촬영부의 상기 카메라 및 상기 열화상 카메라의 촬영에 의해 획득된 가시광영상 및 열화상영상을 입력받으며, 입력받은 가시광영상 및 열화상영상을 이용하여 통합영상을 생성하는 컨트롤러; 상기 차량의 내부에 설치되어 상기 컨트롤러로부터 전송받은 통합영상을 전시하는 디스플레이 수단을 포함하고, 상기 컨트롤러는 데이터들이 저장되는 메모리; 상기 카메라에 의해 획득된 가시광영상 및 상기 열화상 카메라에 의해 획득된 열화상영상의 이미지들을 대응시키기 위한 관계정보인 캘리브레이션 정보를 획득하는 캘리브레이션 처리부; 가시광영상으로부터 객체(Object)를 검출하기 위한 기 설정된 영상분석 알고리즘을 이용하여 상기 카메라에 의해 획득된 가시광영상을 분석하여 제1 객체를 검출하는 가시광영상 분석부; 열화상영상으로부터 객체를 검출하기 위한 기 설정된 열화상 분석 알고리즘을 이용하여 상기 열화상 카메라에 의해 획득된 열화상영상을 분석하여 제2 객체를 검출하는 열화상영상 분석부; 통합영상 생성부를 더 포함하고, 상기 통합영상 생성부는 기 설정된 결정방식을 이용하여 통합영상의 기초로 활용될 기준영상을 가시광영상으로 할 것인지 또는 열화상영상으로 할 것인지를 결정하여 상기 가시광영상 및 상기 열화상 중 어느 하나를 통합영상의 기준영상으로 결정하는 기준영상 결정모듈; 상기 캘리브레이션 정보를 참조하여 상기 가시광영상 및 상기 열화상의 공간 관계들 사이의 연관성을 나타내는 정보인 영상매칭정보를 생성하는 영상매칭정보 생성모듈; 상기 가시광영상 분석부에 의해 검출된 제1 객체들과, 상기 열화상영상 분석부에 의해 검출된 제2 객체들의 위치정보를 비교하며, 만약 기 설정된 임계범위 이내의 위치정보를 갖는 제1 객체 및 제2 객체를 동일한 객체로 판단하여 해당 객체를 최종객체로 판별하고, 만약 기 설정된 임계범위를 벗어난 제1 객체 또는 제2 객체를 최종객체로 판별하는 객체 비교모듈; 상기 기준영상 결정모듈에 의해 결정된 기준영상에, 상기 객체 비교모듈에 의해 최종객체로 판별된 객체들을 표시하며, 표시되는 각 객체에 상기 열화상영상 분석부에 의해 측정된 온도를 표시하여 통합영상을 생성하는 통합영상 생성모듈을 더 포함하고, 상기 기준영상 결정모듈에 적용되는 상기 결정방식은 광량이 임계치 이상이면 기준영상을 가시광영상으로 결정하되, 광량이 임계치 미만이면 기준영상을 열화상을 결정하는 제1 방식과, 가시광영상의 선명도를 검출한 후 검출된 선명도가 제2 임계치 이상이면 기준영상을 가시광영상으로 결정하되, 검출된 선명도가 제2 임계치 미만이면 기준영상을 열화상으로 결정하는 제2 방식 중 어느 하나인 것이다.
삭제
또한 본 발명에서 상기 차량은 순찰, 방범, 단속, 견인, 후송, 작업 중 어느 하나의 목적을 갖는 특수차량인 것이 바람직하다.
또한 본 발명에서 상기 촬영부는 상기 차량의 상부에 설치되되, 팬-틸트 회전 가능하도록 설치되는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 카메라 및 열화상 카메라를 이용하여 객체 검출 및 통합영상을 생성함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 운전자가 충돌 상황을 사전에 미리 인지할 수 있기 때문에 특수차량의 이동의 신속성을 높일 수 있을 뿐만 아니라 충돌사고를 획기적으로 방지할 수 있게 된다.
또한 본 발명에 의하면 시계 상태에 따라 가시광영상 및 열화상영상 중 어느 하나를 기준영상으로 선택하고, 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 운전자에게 필요한 정보를 효율적으로 제공할 수 있게 된다.
또한 본 발명에 의하면 통합영상 생성 시 가시광영상 분석부 및 열화상 분석부에 의해 검출된 모든 객체들을 전시하되, 각 객체의 온도가 표시되도록 통합영상을 생성함으로써 통합영상을 통해 정보를 더욱 상세하게 제공할 수 있다.
도 1은 국내공개특허 제10-2012-0053176호(발명의 명칭 : 차량의 전후방 충돌 경보장치 및 이를 이용한 충돌 경보방법)에 개시된 충돌 경보장치를 나타내는 블록도이다.
도 2는 국내공개특허 제10-2015-0019856호(발명의 명칭 : 주행안전 지원 시스템 및 주행안전 지원 방법)에 개시된 주행안전 지원장치를 나타내는 블록도이다.
도 3은 본 발명의 일실시예인 악천후 출동차량용 전후방 감시시스템을 나타내는 블록도이다.
도 4는 도 3의 구성 예시도이다.
도 5는 도 3의 컨트롤러를 나타내는 블록도이다.
도 6은 도 5의 가시광영상 분석부에 의해 검출되는 제1 객체들을 나타내는 예시도이다.
도 7은 도 5의 열화상영상 분석부에 의해 검출되는 제2 객체들을 나타내는 예시도이다.
도 8은 도 5의 통합영상 생성부를 나타내는 블록도이다.
도 9는 도 8의 객체보정모듈을 나타내는 블록도이다.
도 10은 안개가 많은 경우 본 발명의 카메라에 의해 획득된 가시광영상을 나타내는 예시도이다.
도 11은 안개가 많은 경우 본 발명의 열화상 카메라에 의해 획득된 열화상영상을 나타내는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 3은 본 발명의 일실시예인 악천후 출동차량용 전후방 감시시스템을 나타내는 블록도이고, 도 4는 도 3의 구성 예시도이다.
본 발명의 일실시예인 악천후 출동차량용 전후방 감시시스템(1)은 순찰, 방범, 단속, 견인, 후송 등과 같이 특수한 목적을 위해 주행하는 차량인 특수차량(C)에 설치되며, 탑재된 카메라(51) 및 열화상 카메라(53)를 이용하여 통합영상을 생성한 후 이를 차량운전자에게 디스플레이 함으로써 안개, 우천, 조명, 도로상태 등으로 인해 운전시야가 확보되지 않은 환경에서도 전후방 상태정보를 운전자에게 제공하여 특수목적의 신속한 이동을 유도하는 시스템이다.
또한 악천후 출동차량용 전후방 감시시스템(1)은 도 3과 4에 도시된 바와 같이, 특수차량(C)의 전방에 설치되는 카메라(51) 및 열화상 카메라(53)로 이루어지는 촬영부(5)와, 차량 내부에 설치되어 촬영부(5)에 의해 촬영된 영상들을 비교 및 매칭시켜 통합영상을 생성하는 컨트롤러(3)와, 차량 내 운전석의 전방에 설치되어 컨트롤러(3)에 의해 생성되는 통합영상을 디스플레이 하는 디스플레이 수단(7)과, 컨트롤러(3), 촬영부(5) 및 디스플레이 수단(7)의 데이터 이동경로를 제공하는 통신망(10)으로 이루어진다.
이때 본 발명에서는 설명의 편의를 위해 촬영부(5)가 특수차량(C)의 전방을 촬영하는 것으로 예를 들어 설명하였으나, 촬영부(5)는 특수차량(C)의 후방을 촬영하는 것으로 구성될 수 있음은 당연하다.
통신망(10)은 컨트롤러(3), 촬영부(5) 및 디스플레이 수단(7)의 데이터 통신을 지원하며, 상세하게로는 캔(CAN) 통신망인 것이 바람직하다.
디스플레이 수단(7)은 네비게이션 등과 같이 콘텐츠를 디스플레이 하는 디지털 단말기이며, 특수차량(C) 내 운전석에 인접한 지점에 설치되며, 컨트롤러(3)로부터 전송받은 통합영상을 디스플레이 함으로써 운전자가 통합영상의 열람을 통해 정보를 용이하게 제공받을 수 있게 된다.
촬영부(5)는 통상의 가시광 카메라인 카메라(51)와, 열화상 카메라(53)로 이루어진다.
이때 촬영부(5)의 카메라(51) 및 열화상 카메라(53)는 개별적으로 독립되게 설치되는 것으로 구성될 수 있으나, 동일 하우징의 내부에 정렬되게 설치되어 동일한 촬영 각도로 촬영을 수행하는 것이 통합영상 생성 시 영상들의 캘리브레이션(Calibration)이 용이하게 이루어지게 된다.
카메라(51)는 통상의 가시광 카메라이며, 특수차량(C)의 전방을 촬영하여 획득된 영상(이하 가시광영상이라고 함)을 컨트롤러(3)로 전송한다.
열화상 카메라(53)는 통상의 열화상 카메라이며, 특수차량(C)의 전방을 촬영하여 획득된 열화상영상을 컨트롤러(3)로 전송한다.
또한 촬영부(5)는 특수차량(C)의 외측에 설치되며, 상세하게로는 특수차량(C)의 상부에 설치되되, 팬-틸트 회전 가능하도록 설치되는 것이 바람직하고, 이러한 카메라의 설치 구성 및 팬-틸트 구성은 공지된 기술이기 때문에 상세한 설명은 생략하기로 한다.
컨트롤러(3)는 촬영부(5)의 촬영에 의해 전송받은 가시광영상 및 열화상영상을 비교 및 분석하여 영상들을 캘리브레이션 한 후 통합영상을 생성하며, 생성된 통합영상을 디스플레이 수단(7)으로 전송하여 디스플레이 수단(7)을 통해 통합영상이 디스플레이 되도록 한다.
도 5는 도 3의 컨트롤러를 나타내는 블록도이다.
컨트롤러(3)는 도 5에 도시된 바와 같이, 제어부(30)와, 메모리(31), 통신 인터페이스부(32), 캘리브레이션 처리부(33), 가시광영상 분석부(34), 열화상영상 분석부(35), 통합영상 생성부(36)로 이루어진다.
제어부(30)는 컨트롤러(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (35), (36)들을 관리 및 제어한다.
또한 제어부(30)는 촬영부(5)로부터 가시광영상 및 열화상영상을 입력받으면, 1)입력된 가시광영상 및 열화상영상을 메모리(31)에 저장함과 동시에 2)입력된 영상들을 캘리브레이션 처리부(33)로 입력한다.
또한 제어부(30)는 캘리브레이션 처리부(33)에 의해 생성된 캘리브레이션 정보를 가시광영상 분석부(34) 및 열화상영상 분석부(35)로 입력한다.
또한 제어부(30)는 가시광영상 분석부(34) 및 열화상영상 분석부(35)에 의해 검출된 분석데이터를 통합영상 생성부(36)로 입력한다.
또한 제어부(30)는 통합영상 생성부(36)에 의해 생성된 통합영상을 메모리(31)에 저장함과 동시에 통합영상 생성부(36)로 입력한다.
또한 제어부(30)는 통합영상 생성부(36)에 의해 생성된 통합영상을 통신 인터페이스부(32)를 통해 디스플레이 수단(7)으로 전송하고, 디스플레이 수단(7)은 컨트롤러(3)로부터 전송받은 통합영상을 디스플레이 한다.
메모리(31)에는 기 설정된 영상분석 알고리즘과, 기 설정된 열화상 분석 알곡리즘이 저장된다. 이때 영상분석 알고리즘은 가시광영상으로부터 차량 및 보행자 등의 객체(Object)를 검출하기 위한 알고리즘이고, 열화상 분석 알고리즘은 열화상영상으로부터 객체를 검출하기 위한 알고리즘이다.
또한 메모리(31)에는 카메라(51)에 의해 촬영된 가시광영상과, 열화상 카메라(53)에 의해 획득된 열화상영상이 임시 저장된다.
통신 인터페이스부(32)는 통신망(10)에 접속하여 촬영부(5) 및 디스플레이수단(7)과 데이터를 송수신한다.
캘리브레이션 처리부(33)는 입력된 가시광영상 및 열화상영상에 대한 캘리브레이션의 수행결과에 따른 파라미터 등의 정보를 통해 가시광영상 및 열화상영상을 대응시키기 위한 관계정보로 정의되는 캘리브레이션 정보를 획득한다.
다시 말하면, 캘리브레이션 처리부(33)는 카메라(51) 및 열화상 카메라(53)의 촬영에 의해 획득된 가시광영상 및 열화상영상의 이미지를 기준으로 3차원 개체 및 3차
다시 말하면, 캘리브레이션 처리부(33)는 각 카메라(51), (53)들을 통해 획득된 가시광영상 및 열화상의 이미지를 기준으로 3차원 개체 및 3차원 공간의 조절을 통해 실제 영상 이미지의 지면과 영상에 오버레이 방식으로 지면에 해당하는 그리드를 일치시킬 수 있으며, 3차원 개체 조절을 통해 영상 이미지의 상이한 위치에 존재하는 대상들과 일치시킴으로써 실제 공간과 유사한 공간에 대한 모델링이 가능해지며, 이는 곧 영상에 표시되는 오브젝트의 크기와 위치, 속도 등을 실제와 유사한 값으로 확인할 수 있게 됨을 의미한다.
또한 캘리브레이션 처리부(33)에 의해 획득된 캘리브레이션 정보는 가시광영상 분석부(34) 및 열화상영상 분석부(35)로 입력된다.
도 6은 도 5의 가시광영상 분석부에 의해 검출되는 제1 객체들을 나타내는 예시도이고, 도 7은 도 5의 열화상영상 분석부에 의해 검출되는 제2 객체들을 나타내는 예시도이다.
가시광영상 분석부(34)는 제어부(30)의 제어에 따라 카메라(51)에 의해 촬영된 가시광영상을 입력받음과 동시에 캘리브레이션 처리부(33)로부터 캘리브레이션 정보를 입력받는다.
또한 가시광영상 분석부(34)는 기 설정된 영상분석 알고리즘을 이용함과 동시에 입력된 캘리브레이션 정보를 참조하여 가시광영상으로부터 차량, 보행자 및 낙하물 등의 제1 객체(Object)를 검출한다.
즉 가시광영상 분석부(34)는 도 6에 도시된 바와 같이, 입력된 가시광영상을 분석하여 영상 프레임(800) 내 차량, 보행자, 낙하물 등의 제1 객체(810)들을 검출한다.
열화상영상 분석부(35)는 제어부(30)의 제어에 따라 열화상 카메라(53)에 의해 획득된 열화상영상을 입력받으며, 캘리브레이션 처리부(33)로부터 캘리브레이션 정보를 입력받는다.
또한 열화상영상 분석부(35)는 기 설정된 열화상 분석 알고리즘을 이용함과 동시에 입력된 캘리브레이션 정보를 참조하여 열화상영상으로부터 차량, 보행자 및 결빙구간 등의 제2 객체를 검출한다.
이때 만약 노면에 결빙구간이 형성되는 경우, 본 발명의 열화상영상 분석부(35)는 온도측정을 이용하여 객체를 검출하는 방식으로 이루어지기 때문에 가시광영상 분석부(34)에서는 검출할 수 없는 결빙 구간의 검출이 가능하게 된다.
즉 열화상영상 분석부(35)는 도 7에 도시된 바와 같이, 입력된 열화상영상을 분석하여 열화상 프레임(900) 내 차량, 보행자, 결빙 등을 나타내는 제2 객체(910)를 검출할 수 있다.
이와 같이 본 발명의 가시광영상 분석부(34) 및 열화상영상 분석부(35)는 차량 및 보행자 등의 객체를 중복하여 검출할 수 있기 때문에 감지율 및 정확성을 개선시킬 수 있게 된다.
도 8은 도 5의 통합영상 생성부를 나타내는 블록도이다.
통합영상 생성부(36)는 도 8에 도시된 바와 같이, 기준영상 결정모듈(361)과, 영상매칭정보 생성모듈(362), 객체 비교모듈(363), 통합영상 생성모듈(364), 객체보정모듈(365)로 이루어진다.
기준영상 결정모듈(361)은 기 설정된 결정방식을 이용하여 통합영상 생성모듈(364)에 의해 생성되는 통합영상의 기초로 활용될 기준영상을 가시광영상으로 할 것인지 또는 열화상영상으로 할 것인지를 결정한다.
예를 들어, 기 설정된 결정방식은 광량이 임계치 이상이면 기준영상을 가시광영상으로 결정하되, 광량이 임계치 미만이면 기준영상을 열화상영상으로 결정하는 제1 방식으로 구성될 수 있고, 다른 예로 기 설정된 결정방식은 가시광영상의 선명도를 검출한 후 검출된 선명도가 임계치 이상이면 기준영상을 가시광영상으로 결정하되, 선명도가 임계치 미만이면 기준영상을 열화상영상으로 결정하는 제2 방식으로 구성될 수 있다.
또한 기준영상 결정모듈(361)은 결정된 기준영상 정보를 통합영상 생성모듈(364)로 입력한다.
영상매칭정보 생성모듈(362)은 입력된 캘리브레이션 정보를 참조하여 기준영상으로 결정된 영상과 기준영상이 아닌 영상의 감시공간을 매개로 상호 매칭시킬 수 있는 영상매칭정보를 생성한다.
이때 영상매칭정보는 가시광영상 및 열화상의 공간 관계들 사이의 연관성을 나타내는 정보로 정의된다.
객체비교모듈(363)은 전술하였던 도 5의 가시광영상 분석부(34)에 의해 검출된 제1 객체(810)들과, 열화상영상 분석부(35)에 의해 검출된 제2 객체(910)들의 위치정보를 비교하며, 상세하게로는 제1 객체(810)들의 위치정보 및 제2 객체(910)들의 위치정보들을 비교하여 임계범위 이내의 위치정보를 갖는 객체들을 동일한 객체로 판별한다.
또한 객체 비교모듈(363)은 만약 열화상영상 분석부(35)에서는 검출되지 않되, 가시광영상 분석부(34)에서만 검출되는 객체가 존재하는 경우, 해당 제1 객체(810)를 최종 객체로 결정한다.
또한 객체 비교모듈(363)은 만약 가시광영상 분석부(34)에서는 검출되지 않되, 열화상영상 분석부(35)에서만 검출되는 객체가 존재하는 경우 해당 제2 객체(910)를 최종 객체로 결정한다.
통합영상 생성모듈(364)은 기준영상 결정모듈(361)에 의해 결정된 기준영상에, 객체 비교모듈(363)에 의해 최종객체로 판별된 객체들을 표시하며, 표시되는 각 객체에 열화상 분석부에 의해 측정된 온도값을 표시, 상세하게로는 해당 객체의 열화상 이미지를 기준영상에 선형적으로 매칭시킨다.
즉 통합영상 생성모듈(364)에 의해 생성되는 통합영상은 기준영상에, 가시광영상 분석부(34) 및 열화상영상 분석부(35)에 의해 검출된 모든 객체들을 전시함과 동시에 각 객체의 온도가 함께 디스플레이 되게 된다.
도 9는 도 8의 객체보정모듈을 나타내는 블록도이다.
객체보정모듈(364)은 통합영상 생성모듈(364)에 의해 생성되는 통합영상의 최종객체를 보정하는 기능을 수행한다.
또한 객체보정모듈(364)은 도 9에 도시된 바와 같이, 평활화모듈(3641)과, 해상도보정모듈(3642), 매핑모듈(3643)로 이루어진다.
평활화모듈(3641)은 통합영상 생성모듈(364)에 의해 생성되는 통합영상에서, 최종객체의 열화상이미지와 가시광영상의 해상도 차이에 의해 생성되는 블록화현상을 제거하도록 평활화를 수행한다.
해상도보정모듈(3642)은 평활화모듈(3641)에 의해 블록화 현상이 제거된 열화상 이미지의 해상도를, 가시광영상의 해상도로 변환시킴으로써 해상도 차이로 인해 열화상 이미지의 가시성이 떨어지는 문제점을 획기적으로 해결하였다.
매핑모듈(3643)은 해상도보정모듈(3642)에 의해 고해상도로 변환된 최종객체를 기준영상에 매핑시킨다.
도 10은 안개가 많은 경우 본 발명의 카메라에 의해 획득된 가시광영상을 나타내는 예시도이고, 도 11은 안개가 많은 경우 본 발명의 열화상 카메라에 의해 획득된 열화상영상을 나타내는 예시도이다.
도 10에 도시된 바와 같이, 짙은 안개로 운전시야가 확보되지 않은 경우, 카메라(51)에 의해 획득되는 가시광영상(800)에서는 시야가 확보되지 않아 가시광영상 분석부(34)가 해당 가시광영상을 분석하더라도 아무런 객체를 검출하지 못하거나 또는 일부 객체만을 검출하게 되는 장애가 발생하게 된다.
그러나 열화상 카메라(53)는 도 11에 도시된 바와 같이, 동일한 환경에서 열화상영상 분석부(35)가 해당 열화상영상(900)을 분석하여 제2 객체(910)들을 검출할 수 있게 된다.
이와 같이 본 발명의 일실시예인 악천후 출동차량용 전후방 감시시스템(1)은 카메라(51) 및 열화상 카메라(53)를 이용하여 객체 검출 및 통합영상을 생성함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 운전자가 충돌 상황을 사전에 미리 인지할 수 있기 때문에 특수차량의 이동의 신속성을 높일 수 있을 뿐만 아니라 충돌사고를 획기적으로 방지할 수 있게 된다.
또한 본 발명의 악천후 출동차량용 전후방 감시시스템(1)은 시계 상태에 따라 가시광영상 및 열화상영상 중 어느 하나를 기준영상으로 선택하고, 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 운전자에게 필요한 정보를 효율적으로 제공할 수 있게 된다.
또한 본 발명의 악천후 출동차량용 전후방 감시시스템(1)은 통합영상 생성 시 가시광영상 분석부 및 열화상 분석부에 의해 검출된 모든 객체들을 전시하되, 각 객체의 온도가 표시되도록 통합영상을 생성함으로써 통합영상을 통해 정보를 더욱 상세하게 제공할 수 있다.
1:악천후 출동차량용 전후방 감시시스템 3:컨트롤러
5:촬영부 7:디스플레이 수단 10:통신망
30:제어부 31:메모리 32:통신 인터페이스부
33:캘리브레이션 처리부 34:가시광영상 분석부 35:열화상영상 분석부
36:통합영상 생성부 51:카메라 53:열화상 카메라
361:기준영상 결정모듈 362:영상매칭정보 생성모듈
363:객체 비교모듈 364:통합영상 생성모듈
365:객체보정모듈 3641:평활화모듈 3642:해상도보정모듈
3643:매핑모듈 800:가시광영상 810:제1 객체
900:열화상영상 920:제2 객체

Claims (4)

  1. 카메라 및 열화상 카메라를 포함하고, 차량에 탑재되는 촬영부;
    상기 촬영부의 상기 카메라 및 상기 열화상 카메라의 촬영에 의해 획득된 가시광영상 및 열화상영상을 입력받으며, 입력받은 가시광영상 및 열화상영상을 이용하여 통합영상을 생성하는 컨트롤러;
    상기 차량의 내부에 설치되어 상기 컨트롤러로부터 전송받은 통합영상을 전시하는 디스플레이 수단을 포함하고,
    상기 컨트롤러는
    데이터들이 저장되는 메모리;
    상기 카메라에 의해 획득된 가시광영상 및 상기 열화상 카메라에 의해 획득된 열화상영상의 이미지들을 대응시키기 위한 관계정보인 캘리브레이션 정보를 획득하는 캘리브레이션 처리부;
    가시광영상으로부터 객체(Object)를 검출하기 위한 기 설정된 영상분석 알고리즘을 이용하여 상기 카메라에 의해 획득된 가시광영상을 분석하여 제1 객체를 검출하는 가시광영상 분석부;
    열화상영상으로부터 객체를 검출하기 위한 기 설정된 열화상 분석 알고리즘을 이용하여 상기 열화상 카메라에 의해 획득된 열화상영상을 분석하여 제2 객체를 검출하는 열화상영상 분석부;
    통합영상 생성부를 더 포함하고,
    상기 통합영상 생성부는
    기 설정된 결정방식을 이용하여 통합영상의 기초로 활용될 기준영상을 가시광영상으로 할 것인지 또는 열화상영상으로 할 것인지를 결정하여 상기 가시광영상 및 상기 열화상 중 어느 하나를 통합영상의 기준영상으로 결정하는 기준영상 결정모듈;
    상기 캘리브레이션 정보를 참조하여 상기 가시광영상 및 상기 열화상의 공간 관계들 사이의 연관성을 나타내는 정보인 영상매칭정보를 생성하는 영상매칭정보 생성모듈;
    상기 가시광영상 분석부에 의해 검출된 제1 객체들과, 상기 열화상영상 분석부에 의해 검출된 제2 객체들의 위치정보를 비교하며, 만약 기 설정된 임계범위 이내의 위치정보를 갖는 제1 객체 및 제2 객체를 동일한 객체로 판단하여 해당 객체를 최종객체로 판별하고, 만약 기 설정된 임계범위를 벗어난 제1 객체 또는 제2 객체를 최종객체로 판별하는 객체 비교모듈;
    상기 기준영상 결정모듈에 의해 결정된 기준영상에, 상기 객체 비교모듈에 의해 최종객체로 판별된 객체들을 표시하며, 표시되는 각 객체에 상기 열화상영상 분석부에 의해 측정된 온도를 표시하여 통합영상을 생성하는 통합영상 생성모듈을 더 포함하고,
    상기 기준영상 결정모듈에 적용되는 상기 결정방식은 광량이 임계치 이상이면 기준영상을 가시광영상으로 결정하되, 광량이 임계치 미만이면 기준영상을 열화상을 결정하는 제1 방식과, 가시광영상의 선명도를 검출한 후 검출된 선명도가 제2 임계치 이상이면 기준영상을 가시광영상으로 결정하되, 검출된 선명도가 제2 임계치 미만이면 기준영상을 열화상으로 결정하는 제2 방식 중 어느 하나인 것을 특징으로 하는 전후방 감시시스템.
  2. 삭제
  3. 청구항 제1항에 있어서, 상기 차량은 순찰, 방범, 단속, 견인, 후송, 작업 중 어느 하나의 목적을 갖는 특수차량인 것을 특징으로 하는 전후방 감시시스템.
  4. 청구항 제3항에 있어서, 상기 촬영부는 상기 차량의 상부에 설치되되, 팬-틸트 회전 가능하도록 설치되는 것을 특징으로 하는 전후방 감시시스템.
KR1020180045380A 2018-04-19 2018-04-19 악천후 출동차량용 전후방 감시시스템 KR102036593B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180045380A KR102036593B1 (ko) 2018-04-19 2018-04-19 악천후 출동차량용 전후방 감시시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045380A KR102036593B1 (ko) 2018-04-19 2018-04-19 악천후 출동차량용 전후방 감시시스템

Publications (1)

Publication Number Publication Date
KR102036593B1 true KR102036593B1 (ko) 2019-10-25

Family

ID=68420603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045380A KR102036593B1 (ko) 2018-04-19 2018-04-19 악천후 출동차량용 전후방 감시시스템

Country Status (1)

Country Link
KR (1) KR102036593B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818816A (zh) * 2021-01-27 2021-05-18 杭州海康威视数字技术股份有限公司 一种温度检测方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066068B1 (ko) * 2011-03-22 2011-09-20 (주)유디피 듀얼 카메라를 이용한 영상 감시 장치 및 방법
KR20120109057A (ko) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
JP2013042402A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
KR20170056100A (ko) * 2015-11-12 2017-05-23 현대오트론 주식회사 헤드업 디스플레이의 물체 표시 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066068B1 (ko) * 2011-03-22 2011-09-20 (주)유디피 듀얼 카메라를 이용한 영상 감시 장치 및 방법
KR20120109057A (ko) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
JP2013042402A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
KR20170056100A (ko) * 2015-11-12 2017-05-23 현대오트론 주식회사 헤드업 디스플레이의 물체 표시 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818816A (zh) * 2021-01-27 2021-05-18 杭州海康威视数字技术股份有限公司 一种温度检测方法、装置及设备
CN112818816B (zh) * 2021-01-27 2024-03-01 杭州海康威视数字技术股份有限公司 一种温度检测方法、装置及设备

Similar Documents

Publication Publication Date Title
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
EP2163428B1 (en) Intelligent driving assistant systems
US8461976B2 (en) On-vehicle device and recognition support system
US10147323B2 (en) Driver assistance system with path clearance determination
KR100466458B1 (ko) 운전지원장치
KR101030763B1 (ko) 이미지 획득 유닛, 방법 및 연관된 제어 유닛
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US10846833B2 (en) System and method for visibility enhancement
US20110234761A1 (en) Three-dimensional object emergence detection device
US7149608B2 (en) Information providing device for vehicle
KR101852057B1 (ko) 영상 및 열화상을 이용한 돌발 상황 감지시스템
US10769816B2 (en) Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program
KR20120077309A (ko) 차량의 후방 영상 표시 장치 및 방법
KR102300899B1 (ko) 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트한, 자동차간 통신 기반의 협조적인 블라인드 스팟 경보 방법 및 장치
US20060129292A1 (en) Vehicle driving support system
KR20180041524A (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR101356201B1 (ko) 차량용 후측방 감지시스템
US20090069973A1 (en) Warning method and device for deviation of a moving vehicle
TW201724052A (zh) 車輛監控系統及其方法
KR101629577B1 (ko) 카메라를 이용한 모니터링 방법 및 장치
KR102036593B1 (ko) 악천후 출동차량용 전후방 감시시스템
KR20230021737A (ko) 자율 주행 차량의 센서의 위치 또는 배향을 검증하기 위한 장치
JP2004349926A (ja) 障害物検出装置及び方法並びに障害物検出用プログラム
JP2007133644A (ja) 歩行者認識装置
KR20130053605A (ko) 차량의 주변영상 표시 장치 및 그 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant