KR101960417B1 - 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템 - Google Patents

객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템 Download PDF

Info

Publication number
KR101960417B1
KR101960417B1 KR1020170124140A KR20170124140A KR101960417B1 KR 101960417 B1 KR101960417 B1 KR 101960417B1 KR 1020170124140 A KR1020170124140 A KR 1020170124140A KR 20170124140 A KR20170124140 A KR 20170124140A KR 101960417 B1 KR101960417 B1 KR 101960417B1
Authority
KR
South Korea
Prior art keywords
module
image
coordinate system
objects
pixel
Prior art date
Application number
KR1020170124140A
Other languages
English (en)
Inventor
조승표
이철환
정주영
Original Assignee
(주)에이치브레인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이치브레인 filed Critical (주)에이치브레인
Priority to KR1020170124140A priority Critical patent/KR101960417B1/ko
Application granted granted Critical
Publication of KR101960417B1 publication Critical patent/KR101960417B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera

Abstract

본 발명은 본 발명에 따르면 카메라 및 TOF 센서를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일카메라 또는 단일 TOF 센서로 구동될 때와 비교하여 감지율을 현저히 높여 정확성 및 신뢰도를 높일 수 있고, TOF 센서에 의해 검출된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환하여 융합영상을 생성하도록 구성됨으로써 맵핑 연산이 간단하게 이루어질 수 있으며, 캘리브레이션 처리 시 동일객체로 판단된 제1 객체 및 제2 객체의 픽셀차이값을 산출한 후 산출된 픽셀차이값의 평균값을 산출하여 평균값을 기준보정값으로 결정함으로써 거리좌표계 및 픽셀좌표계의 맵핑이 정밀하게 이루어지고, TOF 센서가 N개의 광신호를 부채꼴 형상으로 출사하도록 구성됨으로써 객체를 더욱 정밀하게 감지할 수 있는 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템에 관한 것이다.

Description

객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템{Fusion sensor for improving object recognition rate and vehicle safety assistant system}
본 발명은 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템에 관한 것으로서, 상세하게로는 TOF 센서(Time Of Flight sensor) 및 카메라를 이용하여 오브젝트(Object)를 감지함으로써 두 장치의 단점을 상호 보완하여 객체인식률을 현저히 높임과 동시에 차량의 사각지대를 방지하여 차량사고를 효율적으로 방지할 수 있는 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템에 관한 것이다.
차량 산업이 발달함에 따라 차량 보급이 대중화 되었으나, 차량은 사고 발생 시 인명사고로 이어질 수 있기 때문에 차량의 안전성을 높이기 위한 다양한 연구가 진행되고 있다.
이러한 차량사고로는, 차량들끼리의 충돌사고, 차량 대 보행자간의 충돌사고, 차량 대 구조물간의 충돌사고, 차체 결함으로 인한 사고, 운전자의 부주의로 인한 사고 등과 같이 다양한 종류로 구분될 수 있다.
또한 차량의 경우 운전자의 시야를 벗어나는 사각지대(Blind spot)가 존재하나, 운전자가 운전 중 사각지대를 면밀하게 운전하기가 쉽지 않아 사각지대로 인한 사고발생이 빈번하게 이루어지고 있다. 이때 사각지대는 차량의 길이 및 폭에 비례하는 특성을 갖는다.
특히 최근 들어 맞벌이 부부의 증가와 더불어 교육환경이 발달함에 따라 유치원, 학원, 보육원 등에서 승합차를 이용하여 어린이 및 영유아의 등하교를 책임져주는 서비스가 널리 사용되고 있으나, 이러한 승합차의 경우 일반 자동차에 비교하여 차량의 길이 및 폭이 크기 때문에 넓은 면적의 사각지대가 형성되게 되고, 따라서 승합차의 사각지대로 인한 차량인명사고 발생률이 기하급수적으로 증가하고 있다.
이에 따라 차량에 감지수단을 설치하여 감지수단을 통해 차량의 전방향에 대한 객체(Object)를 검출한 후 이를 운전자에게 표출하도록 구성됨으로써 운전자의 부주의, 사각지대로 인한 사고를 방지할 수 있는 차량 안전지원 시스템에 대한 다양한 연구가 진행되고 있다.
통상적으로 종래의 감지수단으로는, 카메라와, 레이더센서, 레이저센서가 보편적으로 사용되고 있고, 1)카메라는 객체 검출 및 인식이 뛰어난 장점을 가지나, 조도가 부족한 야간이나 안개 등의 환경에 의해 영향을 받기 때문에 시계환경이 열약한 경우 오인식이 증가하는 단점을 갖고, 2)레이더는 정지 물체에 반응하지 않을 뿐만 아니라 비금속 물체에 민감하지 않아 보행자를 잘 인식하지 못하는 문제점이 발생하며, 3)레이저는 객체 검지가 우수하나 객체의 크기 검출, 객체분류 및 객체의 궤적추적을 수행할 수 없는 구조적 한계를 갖는다.
도 1은 국내공개특허 제10-2015-0019856호(발명의 명칭 : 주행안전 지원 시스템 및 주행안전 지원 방법)에 개시된 주행안전 지원장치를 나타내는 블록도이다.
도 1의 주행안전 지원장치(이하 종래기술이라고 함)(100)는 차량의 좌우측 및 후방을 촬영하는 카메라(C1, C2, C3)들로부터 획득된 영상을 입력받는 영상데이터 입력부(101)와, 영상데이터 입력부(101)를 통해 입력된 영상을 분석하여 위험영역 내 물체가 존재하는지의 여부를 판단하는 물체 판별수단(103)과, 물체 판별수단(103)에 의해 위험영역 내 물체가 존재하는 것으로 판단될 때 주의모드로 설정하는 모드 설정수단(105)과, 영상을 출력하되 모드 설정수단(105)에 의해 주의모드로 설정될 때 경고정보를 출력하는 비디오 출력부(107)로 이루어진다.
이와 같이 구성되는 종래기술(100)은 카메라(C1, C2, C3)들에 의해 전방향에 대한 영상을 획득할 수 있으며, 물체 판별수단(103)이 획득된 영상을 분석하여 위험영역 내 물체가 존재하는지를 판단하여 물체 감지 시 비디오 출력부(107)를 통해 경고문구가 출력되도록 구성됨으로써 운전자의 부주의 및 사각지대로 인한 사고를 미연에 방지할 수 있는 장점을 갖는다.
그러나 종래기술(100)은 가시광 카메라(C1, C2, C3)들에 의해 획득된 영상분석을 통해 물체를 감지하기 때문에 조도가 부족한 야간이나 안개 등의 환경에 의해 영향을 받기 때문에 시계환경이 열약한 경우 오인식이 증가하는 단점을 갖는다.
이러한 문제점을 해결하기 위하여, 레이더 센서 및 카메라를 융합한 차량 안전지원 센서가 연구되었으나, 시스템 비용이 고가이기 때문에 확대 적용이 어려우며, 레이더가 보행자 같은 비금속객체 및 정지상태에 있는 객체를 검출하지 못하여 에러 및 오인식이 빈번하게 발생하는 단점을 갖는다.
한편, 광신호를 이용해 객체를 검출하는 광신호 센서는 검지율이 뛰어날 뿐만 아니라 깊이(거리) 산출의 정확성이 높은 장점으로 인해 다양한 종류의 장비에 널리 사용되고 있다.
이러한 광신호는 빛의 직진성은 우수하나, 확산성이 떨어지기 때문에 감지영역이 떨어지는 단점을 갖기 때문에, 갈바노 미러(Galvano Mirror), 스캐너 타입, 어안렌즈 등과 같이 광신호의 확산성을 높이기 위한 다양한 연구가 진행되고 있다.
그러나 갈바노 미러 및 스캐너 타입은 모터와 같은 구동수단이 필수적으로 설치되어야만 하기 때문에 제조비용이 증가할 뿐만 아니라 내부 구성이 복잡하며, 제품크기가 증가하는 단점을 갖는다.
또한 어안렌즈는 광신호를 확산시켜 감지영역을 증가시킬 수는 있으나, 광신호의 전방에 배치되는 영역으로부터 단부를 향할수록 빛의 절곡이 심해져 검지율이 현저히 떨어지는 단점을 갖는다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 카메라 및 TOF 센서를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일카메라 또는 단일 TOF 센서로 구동될 때와 비교하여 감지율을 현저히 높여 정확성 및 신뢰도를 높일 수 있는 융합센서 및 이를 구비한 차량 안전지원 시스템을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 TOF 센서에 의해 검출된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환하여 융합영상을 생성하도록 구성됨으로써 맵핑 연산이 간단하게 이루어질 수 있는 융합센서 및 이를 구비한 차량 안전지원 시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 캘리브레이션 처리 시 동일객체로 판단된 제1 객체 및 제2 객체의 픽셀차이값을 산출한 후 산출된 픽셀차이값의 평균값을 산출하여 평균값을 기준보정값으로 결정함으로써 거리좌표계 및 픽셀좌표계의 맵핑이 정밀하게 이루어지는 융합센서 및 이를 구비한 차량 안전지원 시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 TOF 센서가 N개의 광신호를 부채꼴 형상으로 출사하도록 구성됨으로써 객체를 더욱 정밀하게 감지할 수 있는 융합센서 및 이를 구비한 차량 안전지원 시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 서포트 벡터 머신(SVM, 서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 분류모델을 학습화하도록 구성됨으로써 연산 및 규칙의 수가 다양해지고 증가하더라도 객체를 정확하게 검출 및 분류할 수 있는 융합센서 및 이를 구비한 차량 안전지원 시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 카메라 및 TOF 센서가 모듈 타입으로 설계됨으로써 장비설치, 점검 및 교체가 용이하게 이루어질 수 있는 융합센서 및 이를 구비한 차량 안전지원 시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 카메라와, N개의 광신호들을 출사한 후 반사파를 수신 받는 TOF 센서를 포함하며, 차량에 설치되는 적어도 하나 이상의 융합센서; 상기 융합센서로부터 전송받은 데이터를 분석하여 객체를 검출한 후 검출된 객체가 표시되는 융합영상을 생성하는 컨트롤러; 상기 컨트롤러로부터 전송받은 융합영상을 전시하는 디스플레이 수단을 포함하고, 상기 TOF 센서는 상기 N개의 광신호들을 부채꼴 형상으로 출사하는 광 송신부; N개의 채널을 포함하여 상기 광 송신부에 의해 출사된 광신호들을 수신 받는 광 수신부를 더 포함하고, 상기 컨트롤러는 상기 융합센서의 카메라로부터 입력된 영상을 분석하여 영상 내 객체인 제1 객체를 검출하며, 검출된 각 제1 객체들 각각의 픽셀위치를 나타내는 픽셀좌표계를 생성하는 영상처리부; 상기 융합센서의 TOF 센서로부터 입력된 광신호를 분석하여 광신호들 각각에 대한 객체인 제2 객체를 검출하며, 검출된 제2 객체들 각각의 거리위치를 나타내는 거리좌표계를 생성하는 광신호처리부; 상기 광신호처리부에 의해 생성된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환시키며, 상기 영상에 상기 제1 객체들 및 픽셀좌표계로 변환된 제2 객체들을 맵핑시킨 융합영상을 생성하는 캘리브레이션부를 더 포함하고, 상기 캘리브레이션부는 픽셀좌표계 및 거리좌표계의 상관관계인 기 설정된 좌표매칭정보를 이용하여, 상기 광신호 처리부에 의해 생성된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환하여 제2 객체들의 픽셀위치를 검출하는 좌표계 변환모듈; 상기 좌표계 변환모듈에 의해 검출된 제2 객체들의 픽셀위치를 보정하는 비교 및 보정모듈; 상기 캘리브레이션부에 의해 보정된 픽셀위치를 갖는 제2 객체들과, 상기 광신호처리부에서는 검출되지 않되, 상기 영상처리부에서는 검출된 제1 객체들을 상기 영상에 블록으로 표시하여 상기 융합영상을 생성하는 융합영상 생성모듈을 더 포함하고, 상기 비교 및 보정모듈은 상기 좌표계 변환모듈에 의해 검출된 제2 객체들 각각의 픽셀위치와, 상기 영상처리부에 의해 검출된 제1 객체들 각각의 픽셀위치를 비교하는 비교모듈; 상기 비교모듈에서 기 설정된 임계범위 이내에 위치한 제1 객체 및 제2 객체를 동일객체로 판단하는 동일객체 판단모듈; 상기 동일객체 판단모듈에 의해 동일객체로 판단된 제1 객체 및 제2 객체의 픽셀차이값을 산출하는 차이값 산출모듈; 상기 차이값 산출모듈에 의해 산출된 동일객체들 각각의 픽셀차이값들의 평균값을 산출하는 평균값 산출모듈; 상기 평균값 산출모듈에 의해 산출된 평균값을 보정기준값으로 결정하며, 동일객체로 판단된 제2 객체들 및 동일객체로 판단되지 않은 제2 객체들의 픽셀위치값을 결정된 보정기준값만큼 변환시키는 보정모듈을 더 포함하는 것이다.
삭제
또한 본 발명에서 상기 영상처리부는 기 설정된 영상분석 알고리즘을 이용하여 상기 카메라로부터 입력된 영상을 분석하여 히스토그램을 생성하는 영상분석모듈; 상기 영상분석모듈에 의해 생성된 히스토그램을 분석하여 HOG 특징인 제1 특징점을 검출하는 제1 특징점 검출모듈; 상기 제1 특징점 검출모듈에 의해 검출된 제1 특징점을 이용하여 제1 객체를 검출하는 제1 객체 검출모듈; 상기 제1 객체 검출모듈에 의해 검출된 제1 객체들 각각의 픽셀위치를 검출하며, 검출된 제1 객체들 각각의 픽셀위치가 나타나는 픽셀좌표계를 생성하는 픽셀좌표계 생성모듈을 더 포함하는 것이 바람직하다.
삭제
삭제
또한 본 발명에서 상기 컨트롤러는 객체판별부를 더 포함하고, 상기 객체판별부는 상기 영상처리부에 의해 검출된 HOG 특징패턴과, 기 설정된 분류모델들과의 상관도를 각각 산출하며, 만약 산출된 상관도가 기 설정된 설정값(TH, Threshold) 이상이면 해당 객체 및 분류모델이 동일한 속성 및 종류라고 판단하고, 상기 컨트롤러는 학습부를 더 포함하고, 상기 학습부는 서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 상기 영상처리부에 의해 검출된 HOG 특징을 입력값으로 하되, 기 학습된 분류모델을 출력값으로 하여 입력된 HOG 특징벡터를 학습하는 것이 바람직하다.
또한 본 발명에서 상기 광 송신부는 제1 광신호를 송출하는 제1 광원; 제2 광신호를 송출하는 제2 광원을 더 포함하고, 상기 TOF 센서는 확산판을 더 포함하고, 상기 확산판은 격자가 형성되어 상기 광 송신부의 전방에 설치되며, 상기 제1 광원 및 상기 제2 광원으로부터 출사되는 제1 광신호 및 제2 광신호를 평면상으로 바라보았을 때 N개의 광신호들로 확산시키는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 카메라 및 TOF 센서를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일카메라 또는 단일 TOF 센서로 구동될 때와 비교하여 감지율을 현저히 높여 정확성 및 신뢰도를 극대화 시킬 수 있게 된다.
또한 본 발명에 의하면 TOF 센서에 의해 검출된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환하여 융합영상을 생성하도록 구성됨으로써 맵핑 연산이 간단하게 이루어질 수 있다.
또한 본 발명에 의하면 캘리브레이션 처리 시 동일객체로 판단된 제1 객체 및 제2 객체의 픽셀차이값을 산출한 후 산출된 픽셀차이값의 평균값을 산출하여 평균값을 기준보정값으로 결정함으로써 거리좌표계 및 픽셀좌표계의 맵핑이 정밀하게 이루어진다.
또한 본 발명에 의하면 TOF 센서가 N개의 광신호를 부채꼴 형상으로 출사하도록 구성됨으로써 객체를 더욱 정밀하게 감지할 수 있다.
또한 본 발명에 의하면 서포트 벡터 머신(SVM, 서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 분류모델을 학습화하도록 구성됨으로써 연산 및 규칙의 수가 다양해지고 증가하더라도 객체를 정확하게 검출 및 분류할 수 있게 된다.
또한 본 발명에 의하면 카메라 및 TOF 센서가 모듈 타입으로 설계됨으로써 장비설치, 점검 및 교체가 용이하게 이루어질 수 있다.
도 1은 국내공개특허 제10-2015-0019856호(발명의 명칭 : 주행안전 지원 시스템 및 주행안전 지원 방법)에 개시된 주행안전 지원장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 차량 안전지원 시스템을 나타내는 구성도이다.
도 3은 도 2의 예시도이다.
도 4는 도 2의 융합센서의 개략적인 사시도이다.
도 5는 도 4의 동작을 설명하기 위한 예시도이다.
도 6은 도 4의 TOF 센서에 의해 송출되는 멀티빔을 나타내는 예시도이다.
도 7은 도 6의 광 송신부를 나타내는 정면도이다.
도 8은 도 7의 광 송신부의 제1, 2 광원을 설명하기 위한 예시도이다.
도 9의 (a)는 광원이 한 개일 때의 멀티빔을 나타내는 평면도이고, (b)는 본 발명에서와 같이 광 송신부가 2개로 구성될 때의 멀티빔을 나타내는 평면도이다.
도 10은 도 2의 컨트롤러를 나타내는 블록도이다.
도 11은 도 10의 영상처리부를 나타내는 블록도이다.
도 12는 도 11의 영상처리부에 의해 검출되는 객체들을 나타내는 예시도이다.
도 13은 본 발명의 광신호 처리부를 나타내는 블록도이다.
도 14은 도 10의 캘리브레이션부를 나타내는 블록도이다.
도 15는 도 12의 비교 및 보정모듈을 나타내는 블록도이다.
도 16은 도 10의 영상처리부에 의해 검출되는 HOG 특징점을 나타내는 예시도이다.
도 17은 본 발명의 컨트롤러의 제2 실시예를 나타내는 구성도이다.
도 18은 도 17의 거리좌표영상 생성부에 의해 생성되는 거리좌표영상을 나타내는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명의 일실시예인 차량 안전지원 시스템을 나타내는 구성도이고, 도 3은 도 2의 예시도이다.
본 발명의 일실시예인 차량 안전지원 시스템(1)은 카메라(51) 및 TOF 센서(Time Of Flight sensor)(53)를 포함하는 융합센서(5)들을 이용하여 객체 인식률을 높여 차량사고를 사전에 효율적으로 방지하기 위한 시스템이다.
또한 차량 안전지원 시스템(1)은 도 2와 3에 도시된 바와 같이, 전방, 좌우측 및 후방을 감지하도록 승합차(C)에 설치되는 융합센서(5-1), (5-2), (5-3), (5-4)들과, 융합센서(5-1), (5-2), (5-3), (5-4)들로부터 수신 받은 데이터를 분석하여 기 설정된 감지영역(S1), (S2), (S3), (S4) 내 객체를 검출함과 동시에 융합영상을 생성하는 컨트롤러(3)와, 컨트롤러(3)에 의해 생성된 융합영상이 디스플레이 되는 디스플레이 수단(7)으로 이루어진다.
이때 본 발명에서는 설명의 편의를 위해 차량 안전지원 시스템(1)이 승합차에 적용되는 것으로 예를 들어 설명하였으나, 차량 안전지원 시스템(1)은 승합차가 아닌 다양한 종류의 차량에 적용될 수 있음은 당연하다.
또한 도 2와 3에서는 도시되지 않았지만, 컨트롤러(3), 융합센서(5-1), (5-2), (5-3), (5-4)들 및 디스플레이 수단(7)은 캔(CAN) 통신을 이용하여 데이터통신을 지원하는 것으로 구성될 수 있다.
융합센서(5)들은 승합차(C)의 전방(S1)을 감지하도록 설치되는 제1 융합센서(5-1)와, 승합차(C)의 후방(S2)을 감지하도록 설치되는 제2 융합센서(5-2)와, 승합차(C)의 좌측영역(S3)을 감지하도록 설치되는 제3 융합센서(5-3)와, 승합차(C)의 우측영역(S4)을 감지하도록 설치되는 제4 융합센서(5-4)로 이루어진다.
이때 도 3에서는 설명의 편의를 위해 융합센서(5)들이 승합차(C)의 상부에 설치되는 것으로 예를 들어 설명하였으나, 융합센서(5)들의 설치 위치는 이에 한정되지 않으며, 기 설정된 감지영역을 촬영할 수 있는 다양한 위치에 설치될 수 있음은 당연하다.
도 4는 도 2의 융합센서의 개략적인 사시도이고, 도 5는 도 4의 동작을 설명하기 위한 예시도이고, 도 6은 도 4의 TOF 센서에 의해 송출되는 멀티빔을 나타내는 예시도이다.
융합센서(5)는 도 4와 5에 도시된 바와 같이, 상호 결합되어 내부에 공간을 형성하는 하우징(55) 및 커버(57)와, 하우징(55) 및 커버(57) 사이의 공간에 설치되어 기 설정된 촬영영역을 촬영하여 영상을 획득하는 카메라(51)와, 카메라(51)의 하부에 설치되어 기 설정된 감지영역을 감지하는 TOF 센서(53)로 이루어진다.
카메라(51)는 통상의 가시광 카메라인 것이 바람직하며, 기 설정된 촬영영역을 촬영하여 영상을 획득한다.
또한 카메라(51)는 획득된 영상을 컨트롤러(3)로 전송한다. 이때 컨트롤러(3)는 카메라(51)에 의해 획득된 영상을 분석하여 객체 검출, 객체 트랙킹 등의 연산처리를 수행한다.
또한 TOF 센서(53)는 도 5와 6에 도시된 바와 같이, N개의 Short light pulse인 멀티-빔을 송출하는 광 송신부(533)와, N개의 채널로 구성되어 광 송신부(533)에 의해 송출되어 반사되는 반사파를 수집하는 광 수신부(531)로 이루어진다.
도 7은 도 6의 광 송신부를 나타내는 정면도이고, 도 8은 도 7의 광 송신부의 제1, 2 광원을 설명하기 위한 예시도이고, 도 9의 (a)는 광원이 한 개일 때의 멀티빔을 나타내는 평면도이고, (b)는 본 발명에서와 같이 광 송신부가 2개로 구성될 때의 멀티빔을 나타내는 평면도이다.
도 7 내지 9를 참조하여 광 송신부(533)를 살펴보면, 제1 광원(5331) 및 제2 광원(5333)은 평면상으로 바라보았을 때, 중간선(L)을 기준으로 양측으로 대향되게 광신호를 송출하며, 상세하게로는 멀티 빔을 중간선(L)을 기준으로 반으로 나누었을 때, 제1 광원(5331)이 일측 영역을 감지하기 위한 광신호인 제1 광신호를 출사하고, 제2 광원(5333)이 타측 영역을 감지하기 위한 광신호인 제2 광신호를 출사함으로써 광폭을 증가시켜 검지율을 현저히 높일 수 있게 된다.
도 9의 (a)에 도시된 바와 같이, 한 개의 광원(900)으로부터 출사되는 빛은 확산판을 통과하여 ‘θ’의 각도의 멀티빔을 출사하게 되고, 이러한 좁은 폭의 멀티빔은 카메라의 촬영영역에 비교하여 감지영역이 좁은 구조적 한계를 갖는다. 이때 광원을 넓히기 위한 방법으로는 어안렌즈를 전방에 설치하는 방법이 적용될 수 있으나, 어안렌즈는 전방으로부터 측부를 향할수록 빛의 절곡이 심해져 검지의 정확성이 현저히 떨어지는 문제점을 갖게 된다.
본원 발명은 이러한 문제점을 해결할 수 있는 것으로서, 본원 발명은 도 9의 (b)에 도시된 바와 같이, 제1, 2 광원(5331), (5333)들이 기준선(L)을 중심으로 양측으로 대향되게 빛을 출사함으로써 ‘2θ’의 각도의 멀티 빔을 출사할 수 있어 감지영역의 면적을 현저히 증가시킬 수 있는 것이다.
즉 본원 발명은 단순히 어안렌즈를 사용하는 경우 검지의 정확성이 떨어지며, 한 개의 광원을 이용할 경우 카메라의 촬영영역에 비교하여 과도하게 좁은 감지영역을 갖는 문제점을 해결할 수 있도록 한 쌍의 광원(5331), (5333)들이 중간선(L)을 중심으로 양측으로 대향되게 광신호를 송출할 수 있도록 하였고, 이에 따라 검지율 저하를 개선함과 동시에 감지영역을 높일 수 있도록 하였다.
이와 같이 구성되는 제1, 2 광원(5331), (5333)을 포함하는 광 송신부(533)의 전방에는 도 7에 도시된 바와 같이, 제1, 2 광신호를 N개의 멀티 빔으로 확산시키기 위한 확산판(535)이 설치된다.
확산판(535)은 높이 방향으로 길이를 갖는 격자(5351)들이 형성되는 투명판재로 형성되며, 광 송신부(533)의 전방에 설치되어 제1, 2 광원(5331), (5333)으로부터 출사되는 제1, 2 광신호를 도 8과 9에서와 같이 N개의 멀티빔을 갖도록 확산시킨다.
즉 확산판(535)의 격자에 의하여 제1, 2 광원(5331), (5333)으로부터 출사되는 광신호가 N개로 확산됨과 동시에 광폭을 가질 수 있게 된다.
격자 무늬가 형성되는 판재로 형성되어 제1, 2 광 송신부(5331), (5333)들 전방에 배치되는 확산판(5333)으로 이루어진다.
광 수신부(531)는 N개의 채널로 구성되어 광 송신부(533)에 의해 송출되어 반사되는 반사파를 수집한다.
즉 광 수신부(531)의 각 채널은 제1, 2 광원(5331), (5333)으로부터 출사되는 N개의 광신호들 중 대응되는 반사파를 수신 받도록 구성됨으로써 본원 발명은 광신호들 각각에 대한 깊이(거리)를 산출할 수 있게 된다.
또한 광 수신부(531)는 수신 받은 반사파에 대해 오버샘플링(Oversampling) 신호처리를 수행함으로써 반사파의 해상도를 확장시켜 정밀도를 높이도록 하였다.
이와 같이 구성되는 TOF 센서(53)는 광 송신부(533) 및 광 수신부(531)에 의해 송수신된 광신호를 컨트롤러(3)로 전송한다. 이때 컨트롤러(3)는 TOF 센서(53)로부터 전송받은 광신호를 분석하여 객체 검출 및 거리를 검출할 수 있게 된다.
도 10은 도 2의 컨트롤러를 나타내는 블록도이다.
컨트롤러(3)는 도 10에 도시된 바와 같이, 제어부(30)와, 메모리(31), 통신 인터페이스부(32), 보조 연산처리부(33), GPS부(34), 영상처리부(35), 광신호 처리부(36), 캘리브레이션부(37), 객체판별부(38), 학습부(39)로 이루어진다.
제어부(30)는 컨트롤러(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39)들을 관리 및 제어한다.
또한 제어부(30)는 통신 인터페이스부(32)를 통해 융합센서(5)들로부터 전송받은 영상정보를 영상처리부(35)로 입력한다.
또한 제어부(30)는 통신 인터페이스부(32)를 통해 융합센서(5)들로부터 전송받은 광신호데이터를 광신호 처리부(36)로 입력한다.
또한 제어부(30)는 영상처리부(35)에 의해 검출된 특징점 정보와, 광신호 처리부(36)에 의해 검출된 특징점 정보를 캘리브레이션부(37)로 입력한다.
또한 제어부(30)는 캘리브레이션부(37)에 의해 융합영상이 생성되면, 통신 인터페이스부(32)를 제어하여 생성된 융합영상을 디스플레이 수단(7)으로 전송한다. 이때 디스플레이 수단(7)은 컨트롤러(3)로부터 전송받은 융합영상을 전시함으로써 운전자는 융합영상을 통해 주변 객체를 정확하게 인지할 수 있게 된다.
또한 제어부(30)는 객체판별부(38)에 의해 검출된 패턴정보를 학습부(39)로 입력시키며, 객체판별부(38) 구동 시 학습부(39)에 의해 학습된 분류모델을 객체판별부(38)로 입력시킨다.
메모리(31)에는 융합센서(5)의 카메라(51)에 의해 획득된 영상과, TOF 센서(53)에 의해 송수신된 광신호 데이터가 저장된다.
또한 메모리(31)에는 캘리브레이션부(37)에 의해 생성되는 융합영상이 저장된다.
또한 메모리(31)에는 객체판별부(38)에 의해 검출된 객체 속성정보가 저장된다. 이때 객체 속성정보는 객체의 크기 및 종류(차량, 보행자, 물체 등) 정보를 포함한다.
또한 메모리(31)에는 GPS부(34)에 의해 검출되는 현재 위치정보가 저장된다.
또한 메모리(31)에는 영상으로부터 객체를 검출하는 기 설정된 제1 객체검출 알고리즘과, 광신호 분석을 통해 객체를 검출하는 기 설정된 제2 객체검출 알고리즘이 저장된다.
통신 인터페이스부(32)는 융합센서(5)들 및 디스플레이 수단(7)과 데이터 통신을 수행한다.
또한 통신 인터페이스부(32)는 외부 서버 및 단말기와 데이터를 송수신한다.
보조 연산처리부(33)는 종래의 차량단말기(OBE, On Board Equipment)에서 수행되는 내비게이션, 교통정보 전시 등의 서비스 수행에 필요한 연산을 처리한다.
GPS부(34)는 GPS위성(미도시)으로부터 GPS 위치정보를 전송받아 승합차(C)의 현재위치를 검출한다.
도 11은 도 10의 영상처리부를 나타내는 블록도이고, 도 12는 도 11의 영상처리부에 의해 검출되는 객체들을 나타내는 예시도이다.
영상처리부(35)는 도 11에 도시된 바와 같이, 영상분석모듈(351)과, 제1 특징점 검출모듈(352), 제1 객체 검출모듈(353), 픽셀좌표계 생성모듈(354)로 이루어진다.
영상분석모듈(351)은 기 설정된 영상분석 알고리즘을 이용하여 제어부(30)의 제어에 따라 융합센서(5)의 카메라(51)에 의해 촬영된 영상을 분석한다.
이때 영상 분석은 HOG 특징(이하 제1 특징점이라고 함)의 검출이 용이하게 이루어지기 위한 전처리(Pre-processing), 노이즈(Noise) 제거, Gradient 영상 변환, 소벨마스크(Sobel mask)를 이용한 에지(Edge) 검출, 로컬 히스토그램(Local histogram) 생성 등을 포함할 수 있고, 이러한 영상 분석은 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.
또한 영상분석모듈(351)에 의해 분석된 데이터는 제1 특징점 검출모듈(352)로 입력된다.
제1 특징점 검출모듈(352)은 영상분석모듈(351)로부터 입력된 로컬 히스토그램을 분석하여 HOG 특징인 제1 특징점을 검출한다.
제1 객체 검출모듈(353)은 제1 특징점 검출모듈(352)에 의해 검출된 제1 특징점 정보를 통해 영상으로부터 제1 객체를 검출한다.
또한 제1 객체 검출모듈(353)에 의해 검출된 제1 객체정보는 픽셀좌표계 생성모듈(354)로 입력된다.
픽셀좌표계 생성모듈(354)은 제1 객체모듈(353)에 의해 검출된 제1 객체들 각각의 픽셀위치를 검출한다.
또한 픽셀좌표계 생성모듈(354)은 검출된 제1 객체들의 픽셀위치를 활용하여 제1 객체들을 나타내는 픽셀좌표계를 생성한다.
또한 픽셀좌표계 생성모듈(354)은 검출된 제1 객체들 각각의 테두리에 직사각형 형상의 블록을 생성하여 표시한다.
즉 픽셀좌표계 생성모듈(354)은 도 12에 도시된 바와 같이, X,Y축이 프레임의 픽셀위치를 나타내는 픽셀좌표계(3540)를 생성한다. 이때 픽셀좌표계(3540)는 검출된 객체들의 블록(3541)들 각각을 표시한다.
도 13은 본 발명의 광신호 처리부를 나타내는 블록도이다.
광신호 처리부(36)는 도 13에 도시된 바와 같이, 신호분석모듈(361)과, 제2 특징점 검출모듈(362), 제2 객체 검출모듈(363), 거리좌표계 생성모듈(364)로 이루어진다.
신호분석모듈(361)은 기 설정된 신호분석 알고리즘을 이용하여 제어부(30)의 제어에 따라 융합센서(5)의 TOF 센서(53)에 의해 획득된 레이더신호를 분석한다.
이때 신호 분석은 객체 검출이 용이하게 이루어지도록하기 위한 전처리, 노이즈 제거 등을 포함할 수 있다.
또한 신호분석모듈(361)에 의해 분석된 데이터는 제2 특징점 검출모듈(362)로 입력된다.
제2 특징점 검출모듈(362)은 신호분석모듈(361)로부터 입력된 데이터를 분석하여 N개의 광신호들 각각의 제2 특징점을 검출한다.
이때 제2 특징점은 레이더신호가 송신된 이후 반사신호를 수신 받기까지의 경과시간으로 검출할 수 있다.
제2 객체 검출모듈(363)은 제2 특징점 검출모듈(362)에 의해 검출된 제2 특징점 정보를 활용하여 각 광신호에 대한 제2 객체를 검출한다.
또한 제2 객체 검출모듈(363)에 의해 검출된 제2 객체정보는 거리좌표계 생성모듈(364)로 입력된다.
거리좌표계 생성모듈(364)은 제2 객체 검출모듈(363)에 의해 검출된 제2 객체들 각각의 거리를 산출한다.
또한 거리좌표계 생성모듈(364)은 검출된 제2 객체들 각각의 거리값을 활용하여 제2 객체들을 나타내는 거리좌표계를 생성한다.
도 14는 도 10의 캘리브레이션부를 나타내는 블록도이다.
캘리브레이션부(37)는 도 14에 도시된 바와 같이, 좌표계 변환모듈(371)과, 비교 및 보정모듈(372), 융합영상 생성모듈(373)로 이루어진다.
좌표계 변환모듈(371)은 기 설정된 좌표매칭정보를 이용하여, 광신호처리부(36)에 의해 생성된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환하여 제2 객체들의 픽셀위치를 검출한다.
이때 좌표매칭정보는 픽셀좌표계와 거리좌표계의 상관관계를 나타내는 정보로 정의된다.
즉 좌표계 변환모듈(371)에 의해 융합센서(5)의 TOF 센서(53)에 의한 각 광신호에 의해 검출되는 제2 객체들이 픽셀좌표계에 표시될 수 있게 된다.
도 15는 도 12의 비교 및 보정모듈을 나타내는 블록도이다.
비교 및 보정모듈(372)은 좌표계 변환모듈(371)에 의해 검출된 제2 객체들 각각의 픽셀위치와, 영상처리부(35)에 의해 검출된 제1 객체들 각각의 픽셀위치를 비교 및 보정한다.
또한 비교 및 보정모듈(372)은 도 15에 도시된 바와 같이, 비교모듈(3721)과, 동일객체 판단모듈(3722), 차이값 산출모듈(3723), 평균값 산출모듈(3724), 보정모듈(3725)로 이루어진다.
비교모듈(3721)은 좌표계 변환모듈(371)에 의해 검출된 제2 객체들 각각의 픽셀위치와, 영상처리부(35)에 의해 검출된 제1 객체들 각각의 픽셀위치를 비교한다.
동일객체 판단모듈(3722)은 비교모듈(3721)에서 기 설정된 임계범위 이내에 위치한 제1 객체 및 제2 객체를 동일객체로 판단한다.
차이값 산출모듈(3723)은 동일객체 판단모듈(3722)에 의해 동일객체로 판단된 제1 객체 및 제2 객체의 픽셀차이값을 산출한다.
평균값 산출모듈(3724)은 차이값 산출모듈(3723)에 의해 산출된 동일객체들 각각의 픽셀차이값들의 평균값을 산출한다.
보정모듈(3725)은 평균값 산출모듈(3724)에 의해 산출된 평균값을 보정기준값으로 결정하며, 동일객체로 판단된 제2 객체들 및 동일객체로 판단되지 않은 제2 객체들의 픽셀위치값을 결정된 보정 기준값만큼 변환시킴으로써 보정을 수행한다.
즉 보정모듈(3725)은 시계환경이 열약한 경우 카메라(51)에서는 검출되지 못하되, TOF 센서(53)에서만 객체들이 검출될 때를 감안하여 보정 시 동일객체로 판단된 제2 객체들 뿐만 아니라 동일객체로 판단되지 않은 제2 객체들의 픽셀위치를 보정시키도록 구성되었다.
도 14의 융합영상 생성모듈(373)은 캘리브레이션부(37)에 의해 보정된 제2 객체들을 이용하여 카메라(51)에 의해 획득된 영상 내 제2 객체들을 블록으로 표시한 융합영상을 생성한다.
이때 만약 광신호처리부(36)에서는 검출되지 않았으나, 영상처리부(35)에서만 검출되는 객체가 존재하는 경우, 융합영상 생성모듈(373)은 영상처리부(35)에서만 검출된 제1 객체를 블록으로 표시한다.
그 이유는, 광신호는 동일 광로 상에서 A객체 및 B객체가 형성되는 경우, 전방에 위치한 A객체에 의해 B객체를 검출할 수 없기 때문에 본 발명에서는 영상처리부(35)에서만 검출되는 제1 객체들을 함께 표시하여 TOF 센서(53)의 문제점을 해결하도록 하였다.
다시 도 10으로 돌아가서 객체판별부(38)를 살펴보기로 한다.
도 16은 도 10의 영상처리부에 의해 검출되는 HOG 특징점을 나타내는 예시도이다.
객체판별부(38)는 기 설정된 특징패턴 검출알고리즘을 이용하여 영상처리부(35)에 의해 검출된 HOG 특징(제1 특징점)을 학습부(39)에 의해 학습된 분류모델들과의 상관도를 각각 산출한다.
또한 객체판별부(38)는 만약 산출된 상관도가 기 설정된 설정값(TH, Threshold)와 비교하여 상관도가 설정값 이상일 때 해당 객체 및 분류모델이 동일한 속성 및 종류라고 판단한다.
이때 분류모델의 속성 및 종류는 도 16에 도시된 바와 같이, 승용차(검은색, 흰색, 기타색상), SUV차량, 트럭, 버스, 낙하물, 보행자, 배경(잡음), 배경으로 이루어질 수 있다.
학습부(39)는 서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 영상처리부(35)의 제1 특징점 검출모듈(352)에 의해 검출된 HOG 특징을 입력값으로 하되, 기 학습된 분류모델을 출력값으로 하여 입력된 HOG 특징벡터를 학습한다.
도 17은 본 발명의 컨트롤러의 제2 실시예를 나타내는 구성도이다.
컨트롤러(800)는 도 17에 도시된 바와 같이, 제어부(830)와, 메모리(831), 통신 인터페이스부(32), 보조 연산처리부(33), GPS부(34), 영상판독여부 판단부(835), 영상처리부(35), 광신호 처리부(36), 캘리브레이션부(37), 거리좌표영상 생성부(838), 객체판별부(38), 학습부(39)로 이루어진다.
이때, 도 17의 통신 인터페이스부(32), 보조 연산처리부(33), GPS부(34), 영상처리부(35), 광신호 처리부(36), 캘리브레이션부(37), 객체판별부(38), 학습부(39)는 전술하였던 도 10의 통신 인터페이스부(32), 보조 연산처리부(33), GPS부(34), 영상처리부(35), 광신호 처리부(36), 캘리브레이션부(37), 객체판별부(38), 학습부(39)와 동일한 구성 및 동작으로 이루어지기 상세한 설명은 생략하기로 한다.
제어부(830)는 전술하였던 도 10의 제어부(30)와 동일한 구성으로 이루어지되, 통신 인터페이스부(32)를 통해 융합센서(5)들로부터 전송받은 영상정보를 영상판독여부 판단부(835)로 입력한다.
또한 제어부(830)는 만약 영상판독여부 판단부(835)에 의해 영상판독이 가능하다고 판단되면, 전송받은 영상정보를 영상처리부(35)로 입력하되, 만약 영상판독여부 판단부(835)에 의해 영상판독이 불가능하다고 판단되면, 영상처리부(35) 및 캘리브레이션부(37)를 구동시키지 않고 광신호 처리부(36)를 구동시킨 후 거리좌표영상 생성부(838)를 구동시킨다.
즉 카메라에 의해 획득되는 영상은 안개, 광량부족, 우천, 일시적인 부하, 일시적인 장애물 등의 다양한 원인으로 인해 객체검출이 불가능한 화질 또는 선명도를 가질 수 있게 되고, 이러한 경우 영상의 가시성이 현저히 떨어지기 때문에 영상을 기반으로 하는 융합영상을 디스플레이 수단(7)을 통해 전시할 때, 오히려 운전자에게 혼란을 주는 문제점이 발생하게 된다.
즉 본 발명의 컨트롤러(800)는 이러한 문제점을 해결하기 위한 것으로서, 융합센서(5)로부터 영상을 전송받으면, 영상판독여부 판단부(835)에 의해 입력영상이 영상판독이 가능한 상태인지를 우선적으로 검출하도록 구성하였다.
또한 제어부(830)는 거리좌표영상 생성부(838)에 의해 생성된 거리좌표영상을 디스플레이 수단(7)을 통해 디스플레이 한다.
메모리(831)는 전술하였던 도 10의 메모리(31)와 동일한 데이터들이 저장되되, 거리좌표영상 생성부(838)에 의해 생성된 거리좌표영상이 저장된다.
또한 메모리(831)에는 영상판독에 활용되는 카테고리를 검출하기 위한 판독 알고리즘이 기 설정되어 저장된다.
이때 판독 알고리즘에 적용되는 카테고리로는 선명도, 장애물여부, 조도, 흔들림 등과 같이 공지된 다양한 방식이 적용될 수 있다.
예를 들어, 판독 알고리즘의 카테고리로 선명도가 적용되는 경우, 판독 알고리즘은 입력영상의 선명도를 검출하는 것으로 구성될 수 있다.
영상판독여부 판단부(835)는 기 설정된 판독 알고리즘을 이용하여 입력된 영상을 분석하여 입력영상의 카테고리 값을 검출한다.
또한 영상판독여부 판단부(835)는 검출된 카테고리 값을 기 설정된 임계치와 비교하며, 만약 검출된 카테고리 값이 임계치 이상이면, 입력영상의 영상 판독이 가능하다고 판단한다. 이때 제어부(830)는 영상판독여부 판단부(835)에 의해 입력영상의 영상 판독이 가능하다고 판단하면, 영상처리부(35)를 구동시킴으로써 캘리브레이션부(37)에 의해 촬영영상을 기반으로 하는 융합영상이 생성되도록 한다.
또한 영상판독여부 판단부(835)는 만약 검출된 카테고리 값이 임계치 미만이면, 입력영상의 영상 판독이 불가능하다고 판단하면, 영상처리부(35) 및 캘리브레이션부(37)를 구동시키지 않고 광신호 처리부(36)를 구동시킨 후 광신호 처리부(36)에 의해 검출된 제2 객체정보를 거리좌표영상 생성부(838)로 입력시킴으로써 거리좌표영상 생성부(838)에 의해 거리좌표영상이 생성되도록 한다.
도 18은 도 17의 거리좌표영상 생성부에 의해 생성되는 거리좌표영상을 나타내는 예시도이다.
거리좌표영상 생성부(838)는 도 18에 도시된 바와 같이, 광신호 처리부(36)로부터 입력되는 제2 객체정보를 이용하여 XY축의 2차원 좌표로 이루어지는 거리좌표영상(700)을 생성한다. 이때 거리좌표영상(700)의 Y축은 거리를 나타내고, X축은 폭을 나타낸다.
이때 도 18에서는 설명의 편의를 위해, 거리좌표영상(700)에 각 광신호의 출사방향(701)이 함께 표시되는 것으로 예를 들어 설명하였으나, 거리좌표영상(700)의 표시방법은 이에 한정되지 않으며, 제2 객체의 거리를 나타낼 수 있는 다양한 표시방법이 적용될 수 있음은 당연하다.
이와 같이 본 발명의 일실시예인 차량 안전지원 시스템(1)은 카메라 및 TOF 센서를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일카메라 또는 단일 TOF 센서로 구동될 때와 비교하여 감지율을 현저히 높여 정확성 및 신뢰도를 극대화 시킬 수 있게 된다.
또한 본 발명의 차량 안전지원 시스템(1)은 TOF 센서에 의해 검출된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환하여 융합영상을 생성하도록 구성됨으로써 맵핑 연산이 간단하게 이루어질 수 있다.
또한 본 발명의 차량 안전지원 시스템(1)은 캘리브레이션 처리 시 동일객체로 판단된 제1 객체 및 제2 객체의 픽셀차이값을 산출한 후 산출된 픽셀차이값의 평균값을 산출하여 평균값을 기준보정값으로 결정함으로써 거리좌표계 및 픽셀좌표계의 맵핑이 정밀하게 이루어진다.
또한 본 발명의 차량 안전지원 시스템(1)은 TOF 센서가 N개의 광신호를 부채꼴 형상으로 출사하도록 구성됨으로써 객체를 더욱 정밀하게 감지할 수 있다.
또한 본 발명의 차량 안전지원 시스템(1)은 서포트 벡터 머신(SVM, 서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 분류모델을 학습화하도록 구성됨으로써 연산 및 규칙의 수가 다양해지고 증가하더라도 객체를 정확하게 검출 및 분류할 수 있게 된다.
또한 본 발명의 차량 안전지원 시스템(1)은 카메라 및 TOF 센서가 모듈 타입으로 설계됨으로써 장비설치, 점검 및 교체가 용이하게 이루어질 수 있다.
1:차량 안전지원 시스템 3:컨트롤러 5:융합센서
7:디스플레이 수단 30:제어부 31:메모리
32:통신 인터페이스부 33:보조 연산처리부 34:GPS부
35:영상처리부 36:광신호 처리부 37:캘리브레이션부
38:객체판별부 39:학습부 51:카메라
53:TOF 센서 55:하우징 57:커버
351:영상분석모듈 352:제1 특징점 검출모듈
353:제1 객체 검출모듈 354:픽셀좌표계 생성모듈
361:신호분석모듈 362:제2 특징점 검출모듈
363:제2 객체 검출모듈 364:거리좌표계 생성모듈
371:좌표계 변환모듈 372:비교 및 보정모듈
373:융합영상 생성모듈 3721:비교모듈 3722:동일객체 판단모듈
3723:차이값 산출모듈 3724:평균값 산출모듈
3725:보정모듈

Claims (7)

  1. 카메라와, N개의 광신호들을 출사한 후 반사파를 수신 받는 TOF 센서를 포함하며, 차량에 설치되는 적어도 하나 이상의 융합센서;
    상기 융합센서로부터 전송받은 데이터를 분석하여 객체를 검출한 후 검출된 객체가 표시되는 융합영상을 생성하는 컨트롤러;
    상기 컨트롤러로부터 전송받은 융합영상을 전시하는 디스플레이 수단을 포함하고,
    상기 TOF 센서는
    상기 N개의 광신호들을 부채꼴 형상으로 출사하는 광 송신부;
    N개의 채널을 포함하여 상기 광 송신부에 의해 출사된 광신호들을 수신 받는 광 수신부를 더 포함하고,
    상기 컨트롤러는
    상기 융합센서의 카메라로부터 입력된 영상을 분석하여 영상 내 객체인 제1 객체를 검출하며, 검출된 각 제1 객체들 각각의 픽셀위치를 나타내는 픽셀좌표계를 생성하는 영상처리부;
    상기 융합센서의 TOF 센서로부터 입력된 광신호를 분석하여 광신호들 각각에 대한 객체인 제2 객체를 검출하며, 검출된 제2 객체들 각각의 거리위치를 나타내는 거리좌표계를 생성하는 광신호처리부;
    상기 광신호처리부에 의해 생성된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환시키며, 상기 영상에 상기 제1 객체들 및 픽셀좌표계로 변환된 제2 객체들을 맵핑시킨 융합영상을 생성하는 캘리브레이션부를 더 포함하고,
    상기 캘리브레이션부는
    픽셀좌표계 및 거리좌표계의 상관관계인 기 설정된 좌표매칭정보를 이용하여, 상기 광신호 처리부에 의해 생성된 제2 객체들의 거리좌표계를 픽셀좌표계로 변환하여 제2 객체들의 픽셀위치를 검출하는 좌표계 변환모듈;
    상기 좌표계 변환모듈에 의해 검출된 제2 객체들의 픽셀위치를 보정하는 비교 및 보정모듈;
    상기 캘리브레이션부에 의해 보정된 픽셀위치를 갖는 제2 객체들과, 상기 광신호처리부에서는 검출되지 않되, 상기 영상처리부에서는 검출된 제1 객체들을 상기 영상에 블록으로 표시하여 상기 융합영상을 생성하는 융합영상 생성모듈을 더 포함하고,
    상기 비교 및 보정모듈은
    상기 좌표계 변환모듈에 의해 검출된 제2 객체들 각각의 픽셀위치와, 상기 영상처리부에 의해 검출된 제1 객체들 각각의 픽셀위치를 비교하는 비교모듈;
    상기 비교모듈에서 기 설정된 임계범위 이내에 위치한 제1 객체 및 제2 객체를 동일객체로 판단하는 동일객체 판단모듈;
    상기 동일객체 판단모듈에 의해 동일객체로 판단된 제1 객체 및 제2 객체의 픽셀차이값을 산출하는 차이값 산출모듈;
    상기 차이값 산출모듈에 의해 산출된 동일객체들 각각의 픽셀차이값들의 평균값을 산출하는 평균값 산출모듈;
    상기 평균값 산출모듈에 의해 산출된 평균값을 보정기준값으로 결정하며, 동일객체로 판단된 제2 객체들 및 동일객체로 판단되지 않은 제2 객체들의 픽셀위치값을 결정된 보정기준값만큼 변환시키는 보정모듈을 더 포함하는 것을 특징으로 하는 차량 안전지원 시스템.
  2. 삭제
  3. 청구항 제1항에 있어서, 상기 영상처리부는
    기 설정된 영상분석 알고리즘을 이용하여 상기 카메라로부터 입력된 영상을 분석하여 히스토그램을 생성하는 영상분석모듈;
    상기 영상분석모듈에 의해 생성된 히스토그램을 분석하여 HOG 특징인 제1 특징점을 검출하는 제1 특징점 검출모듈;
    상기 제1 특징점 검출모듈에 의해 검출된 제1 특징점을 이용하여 제1 객체를 검출하는 제1 객체 검출모듈;
    상기 제1 객체 검출모듈에 의해 검출된 제1 객체들 각각의 픽셀위치를 검출하며, 검출된 제1 객체들 각각의 픽셀위치가 나타나는 픽셀좌표계를 생성하는 픽셀좌표계 생성모듈을 더 포함하는 것을 특징으로 하는 차량 안전지원 시스템.
  4. 삭제
  5. 삭제
  6. 청구항 제3항에 있어서, 상기 컨트롤러는 객체판별부를 더 포함하고,
    상기 객체판별부는
    상기 영상처리부에 의해 검출된 HOG 특징패턴과, 기 설정된 분류모델들과의 상관도를 각각 산출하며, 만약 산출된 상관도가 기 설정된 설정값(TH, Threshold) 이상이면 해당 객체 및 분류모델이 동일한 속성 및 종류라고 판단하고,
    상기 컨트롤러는 학습부를 더 포함하고,
    상기 학습부는
    서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 상기 영상처리부에 의해 검출된 HOG 특징을 입력값으로 하되, 기 학습된 분류모델을 출력값으로 하여 입력된 HOG 특징벡터를 학습하는 것을 특징으로 하는 차량 안전지원 시스템.
  7. 청구항 제1항, 제3항, 제6항 중 어느 한 항에 있어서,
    상기 광 송신부는
    제1 광신호를 송출하는 제1 광원;
    제2 광신호를 송출하는 제2 광원을 더 포함하고,
    상기 TOF 센서는 확산판을 더 포함하고,
    상기 확산판은 격자가 형성되어 상기 광 송신부의 전방에 설치되며, 상기 제1 광원 및 상기 제2 광원으로부터 출사되는 제1 광신호 및 제2 광신호를 평면상으로 바라보았을 때 N개의 광신호들로 확산시키는 것을 특징으로 하는 차량 안전지원 시스템.
KR1020170124140A 2017-09-26 2017-09-26 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템 KR101960417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170124140A KR101960417B1 (ko) 2017-09-26 2017-09-26 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170124140A KR101960417B1 (ko) 2017-09-26 2017-09-26 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템

Publications (1)

Publication Number Publication Date
KR101960417B1 true KR101960417B1 (ko) 2019-03-20

Family

ID=66036416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124140A KR101960417B1 (ko) 2017-09-26 2017-09-26 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템

Country Status (1)

Country Link
KR (1) KR101960417B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084810A (zh) * 2019-06-12 2020-12-15 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
KR20220007278A (ko) 2020-07-10 2022-01-18 유비웨이브 주식회사 Tof 센서를 이용한 동물 사람 구별 시스템
KR102585525B1 (ko) * 2022-11-11 2023-10-10 이인텔리전스 주식회사 오브젝트 검출 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006266801A (ja) * 2005-03-23 2006-10-05 Mitsui Eng & Shipbuild Co Ltd 衝突防止装置及び衝突防止装置搭載車両
KR20130021978A (ko) * 2011-08-24 2013-03-06 현대모비스 주식회사 거리 측정 차량용 카메라 시스템 및 그 시스템의 거리정보 제공 방법
KR20140004413A (ko) * 2012-07-02 2014-01-13 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR20150104409A (ko) * 2014-03-05 2015-09-15 현대모비스 주식회사 센서를 이용한 차량 인식 시스템 및 그 방법
KR20170017203A (ko) * 2015-08-05 2017-02-15 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR20170029315A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 센서, 헤드 램프 및 차량

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006266801A (ja) * 2005-03-23 2006-10-05 Mitsui Eng & Shipbuild Co Ltd 衝突防止装置及び衝突防止装置搭載車両
KR20130021978A (ko) * 2011-08-24 2013-03-06 현대모비스 주식회사 거리 측정 차량용 카메라 시스템 및 그 시스템의 거리정보 제공 방법
KR20140004413A (ko) * 2012-07-02 2014-01-13 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR20150104409A (ko) * 2014-03-05 2015-09-15 현대모비스 주식회사 센서를 이용한 차량 인식 시스템 및 그 방법
KR20170017203A (ko) * 2015-08-05 2017-02-15 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR20170029315A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 센서, 헤드 램프 및 차량

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084810A (zh) * 2019-06-12 2020-12-15 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN112084810B (zh) * 2019-06-12 2024-03-08 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
KR20220007278A (ko) 2020-07-10 2022-01-18 유비웨이브 주식회사 Tof 센서를 이용한 동물 사람 구별 시스템
KR102585525B1 (ko) * 2022-11-11 2023-10-10 이인텔리전스 주식회사 오브젝트 검출 장치 및 방법

Similar Documents

Publication Publication Date Title
US9726483B2 (en) Integrated vehicular system for low speed collision avoidance
JP4359710B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP3263699B2 (ja) 走行環境監視装置
EP2889641A1 (en) Image processing apparatus, image processing method, program and image processing system
KR101960417B1 (ko) 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템
JP2006151125A (ja) 車載用画像処理装置
JP2011220732A (ja) 車両の周辺監視装置
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
US20060038885A1 (en) Method for detecting the environment ahead of a road vehicle by means of an environment detection system
US10761406B2 (en) Optical system, image capturing apparatus, distance measuring apparatus, and vehicle-mounted system
WO2020196513A1 (ja) 物体検出装置
US20170061593A1 (en) System And Method For Visibility Enhancement
JP2006322853A (ja) 距離計測装置、距離計測方法および距離計測プログラム
CN112069862A (zh) 目标检测方法和装置
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4753053B2 (ja) 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム
US10343603B2 (en) Image processing device and image processing method
KR102343020B1 (ko) 노면 영상정보를 이용한 자율주행 차량의 위치신호 보정장치
JP2005175603A (ja) レーダを用いた障害物の表示方法及び表示システム
JP4869835B2 (ja) 車両周辺監視システム
JP4151571B2 (ja) 車載用障害物検出装置
US11380000B2 (en) Operation detection device and operation detection method
JP6179249B2 (ja) 車両検出装置
US10204276B2 (en) Imaging device, method and recording medium for capturing a three-dimensional field of view
JPH095078A (ja) 車両周囲監視モニタ

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant