KR101410215B1

KR101410215B1 - 차량용 객체 검출 장치 및 이의 방법

Info

Publication number: KR101410215B1
Application number: KR1020120089498A
Authority: KR
Inventors: 서성진
Original assignee: 현대모비스 주식회사
Priority date: 2012-08-16
Filing date: 2012-08-16
Publication date: 2014-06-19
Also published as: US9223053B2; US20140048688A1; DE102013214468A1; KR20140023537A; CN103595936A

Abstract

광원의 난반사가 심한 도심에서도 객체(보행자 또는 동물)에 대한 검출 감도를 조절할 수 있는 일반 카메라 센서를 이용한 객체 검출 장치가 개시된다. 이러한 객체 검출 장치에 의하면, 광원의 난반사가 심한 도심에서 장애물(보행자, 동물)에 대한 감도 조절이 불가능 기존의 열 화상 카메라를 적용한 객체 검출 장치의 문제점을 해결할 수 있다.

Description

차량용 객체 검출 장치 및 이의 방법{APPARATUS FOR DETECTING PEDESTRIAN FOR VEHICLE AND METHOD THEREOF}

본 발명은 차량용 객체 검출 장치 및 이의 검출 방법에 관한 것으로서, 더욱 상세하게는, 광원의 난반사가 심한 도심에서도 객체(보행자 또는 동물)에 대한 검출 감도를 조절할 수 있는 일반 카메라 센서를 이용한 객체 검출 장치 및 이의 검출 방법에 관한 것이다.

일반적으로 원 적외선(Far Infra-Red: FIR)을 이용한 열 화상 카메라(Thermal Imaging Camera)는 가시광 영역을 감지하는 것이 아니라 원적외선 영역을 감지한다. 즉, 열 화상 카메라는 피사체에서 발산하는 적외선 열에너지를 감지하고, 감지된 결과를 열 화상 이미지로 획득한다. 이러한 특성으로 인해 열 화상 카메라는 체온을 갖는 사람을 감지하는데 활용될 수 있다.

한편, 최근 FIR 카메라를 이용한 보행자 감지 장치가 차량에 적용되고 있다. 이러한 차량에 적용된 FIR 카메라는 현재 차량이 주행 환경에 무관하게 일관된 검출 성능을 제공해야 한다. 즉, 차량에 적용된 FIR 카메라는 주변 광원들로 인해 난반사가 심한 도심이나 상기 주변 광원들로 인한 난반사가 심하지 않은 도심 외관지역에서도 일관된 보행자 검출 성능을 제공해야 한다.

따라서, 종래의 차량에 적용된 FIR 카메라에는 일관된 검출 성능을 제공하기 위해 기본적으로 감도를 조절하는 기능이 부가된다. 이러한 감도 조절은 촬영된 열화상의 대상체 간의 복사 온도차 설정을 조정하여 감도를 조절할 수 있다.

그러나, 주변 건물에서 방출하는 광원, 주변 건물에 부착된 간판에서 방출하는 광원 등의 난반사(亂反射, scattered reflection), 특히, 전,후방 차량의 조명등의 난반사가 극심한 도심에서는 감도 조절에 한계가 있다. 더욱이, FIR 카메라는 고가의 장비로서, 상기와 같이 난반사가 극심한 도심에서는 사용자가 요구하는 가격 대비 검출 성능을 만족시키지 못하고 있는 실정이다.

물론, FIR 카메라에 비해 상대적으로 저가인 CMOS 카메라를 이용한 보행자 검출도 가능하다. 그러나 CMOS 카메라는 피사체에서 발산하는 적외선 열에너지를 감지하는 방식으로 피사체의 이미지를 획득하는 방식이 아니기 때문에 피사체의 복사 온도차를 이용한 감도 조절 기능이 없다. 즉, 난반사가 극심한 도심에서, 특히 야간 보행자의 검출은 불가능하며, FIR 카메라와 같이, 대상체가 보행자 인지 동물인지 뚜렷이 구분하지 못한다.

따라서, 본 발명의 목적은 다수의 광원으로 인해 난반사가 극심한 도심지역에서도 피사체를 정확히 검출할 수 있는 저가의 차량용 객체 검출 장치를 제공하는 데 있다.

본 발명의 다른 목적을 상기 장치를 이용한 객체 검출 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 차량용 객체 검출 장치는,

객체가 포함된 영상 이미지로부터 객체를 추출하는 과정에서 상기 객체를 제외한 나머지 배경에 포함된 광원 이미지를 제거한 출력 영상을 출력하는 객체 검출 장치로서, 특정 파장 대역의 광을 감지하고, 감지한 광에 대응하는 복수의 원시 데이터를 출력하는 센서부와, 상기 복수의 원시 데이터로부터 복수의 픽셀 데이터를 추출하는 픽셀 데이터 추출부로서, 각 원시 데이터의 파장대별 투과율을 분석하고, 분석한 투과율을 이용하여 상기 각 원시 데이터로부터 R(Red)값, G(Green)값 및 B(Blue)값으로 이루어진 상기 복수의 픽셀 데이터를 추출하는 상기 픽셀 데이터 추출부와, 상기 R값, G값 및 B값을 연산하여 각 픽셀 데이터별로 보정 파장값들을 계산하여 계산된 보정 파장값들을 서로 비교하고, 비교 결과에 따라 어느 하나의 보정 파장값을 기준 파장값으로서 추출하는 기준 파장값 추출부 및 상기 복수의 픽셀 데이터를 입력받고, 상기 복수의 픽셀 데이터 중 상기 추출된 기준 파장값보다 큰 파장값을 갖는 픽셀 데이터들을 선택적으로 출력하여, 상기 센서부의 감지 감도를 조절하는 데이터 선택부를 포함한다.

본 발명의 차량용 객체 검출 방법은, 센서를 통해 특정 파장 대역의 광을 감지하고, 감지한 광에 상응하는 복수의 원시 데이터를 출력하는 제1 단계와, 상기 복수의 원시 데이터로부터 복수의 픽셀 데이터를 추출하는 단계로서, 각 원시 데이터의 파장대별 투과율을 분석하고, 분석한 투과율을 이용하여 상기 각 원시 데이터로부터 R(Red)값, G(Green)값 및 B(Blue)값으로 이루어진 상기 복수의 픽셀 데이터를 추출하는 제2 단계와, 상기 R값, G값 및 B값을 연산하여 각 픽셀 데이터별로 보정 파장값들을 계산하는 제3 단계와, 상기 계산된 보정 파장값들의 크기를 서로 비교하여, 비교 결과에 따라 보정 파장값들 중 어느 하나의 보정 파장값을 기준 파장값으로서 추출하는 제4 단계 및 추출된 상기 기준 파장값을 참조하여, 상기 복수의 픽셀 데이터 중 상기 기준 파장값보다 큰 파장값을 갖는 픽셀 데이터들을 선택하여, 상기 센서의 감지 감도를 조절하는 제5 단계를 포함한다.

본 발명에 의하면, 도심과 같이 다수의 광원으로 인한 난반사가 심한 환경에서도 객체(보행자 또는 동물)에 대한 검출 감도를 조절할 수 있는 일반 카메라 센서를 이용한 객체 검출 장치를 제안함으로써, 광원의 난반사가 심한 도심에서 장애물(보행자, 동물)에 대한 감도 조절이 불가능 기존의 열 화상 카메라를 적용한 객체 검출 장치의 문제점을 해결할 수 있다.

또한 저가의 일반 카메라를 이용한 객체 검출 장치를 설계함으로써, 제조 단가를 크게 줄일 수 있다.

도 1은 본 발명의 일실시예에 따른 객체 검출 장치의 주요 구성들을 보여주는 블록도이다.
도 2는 본 발명의 일실시예에 따른 객체 검출 방법을 보여주는 순서도이다.
도 3은 도 2의 단계(S224)에서 기준 파장값(L)을 설정하는 과정을 도식적으로 설명하기 위한 그래프이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일실시예에 따른 객체 검출 장치의 주요 구성들을 보여주는 블록도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 객체 검출 장치(100)는 검출하고자 하는 객체 주변에 다수의 광원이 존재하는 도심과 같은 환경에서도 객체(보행자 또는 동물)에 대한 검출 감도의 조절이 가능하다. 이러한 객체 검출 장치(110)는 객체가 포함된 영상 이미지로부터 객체를 추출하는 과정에서 상기 객체를 제외한 나머지 배경에 포함된 광원 이미지를 제거한 출력 영상을 출력한다.

이를 위해, 본 발명의 일실시예에 따른 객체 검출 장치(100)는 센서부(110), 픽셀 데이터 추출부(120), 기준 파장값 추출부(130), 데이터 선택부(140) 및 영상 생성부(150)를 포함한다.

센서부(110)는 객체(또는 피사체) 정보를 감지하여 이를 전기적인 영상 신호로 변환하는 이미지 센서로서, 300nm 내지 1500nm의 특정 파장 대역의 광을 감지하고, 감지한 광에 대응하는 복수의 원시 데이터(raw data)를 생성한다. 무엇보다도 본 발명의 일실시예에 따른 센서부(110)는 기존의 고가의 열 화상 카메라 대신 상기 특정 파장 대역의 광을 감지하는 저가의 일반 카메라 센서가 사용될 수 있다. 예컨대, 씨씨디(Charge-Coupled Device: CCD) 이미지 센서 또는 씨모스(Complementary Metal-Oxide-Silicon: CMOS) 이미지 센서가 사용될 수 있다. 씨모스 이미지 센서의 경우, 렌즈를 통해 입사되는 광을 수집하는 다수의 수광 소자로 이루어지며, 각 수광 소자는 셀(cell)로 구분되어, 각 셀에 입사된 광은 전기적인 신호로 변환된다. 변환된 전기적인 신호는 최종적으로 RGB 색 성분를 추출하기 위해, 가공되지 않은 원시 데이터(raw data)로 변환되어 출력된다. 여기서, 하나의 셀 단위로 하나의 원시 데이터가 생성되며, n개의 셀로 구분된 경우, n개의 원시 데이터(RAW1, RAW2, ..., RAWn)가 생성된다.

픽셀 데이터 추출부(120)는 센서부(110)로부터 n개의 원시 데이터(RAW1, RAW2, ..., RAWn)를 입력받고, n(여기서, n은 자연수)개의 원시 데이터(RAW1, RAW2, ..., RAWn)에 각각 대응하는 n개의 픽셀 데이터(R1G1B1, R2G2B2, ...RnGnBn)를 추출한다. 픽셀 데이터 추출부(120)는 300nm ~ 1500nm 파장 대역 내에서 각 원시 데이터(RAW1, RAW2, ..., RAWn)의 투과율(transmissivity)을 분석하고, 분석한 투과율을 이용하여 양자 효율(Quantum Efficiency: QE)을 계산하고, 계산된 QE에 그거하여 각 원시 데이터(RAW1, RAW2, ..., RAWn)로부터 R(Red) 성분값, G(Green) 성분값 및 B(Blue) 성분값으로 이루어진 픽셀 데이터를 추출한다.

기준 파장값 추출부(130)는 소정의 연산 과정을 통해 상기 R 성분값, G 성분값 및 B 성분값을 연산하고, 각 픽셀 데이터(R1G1B1, R2G2B2, ...RnGnBn)별로 보정된 보정 파장값(Z)들을 계산한다. 여기서, 보정 파장값(Z)은 해당 픽셀의 각 R G B 성분값의 감도가 가장 높은 파장 대역을 나타내는 값으로 정의된다. 이 보정 파장값은 본 출원인의 수회에 걸친 실험을 통해 얻은 아래의 수학식 1과 같이 표현되는 연산 과정을 통해 획득된다. 기준 파장값 추출부(130)는 계산된 보정 파장값들(

,

) 중 가장 큰 값의 보정 파장값(Z)을 기준 파장값(

)으로서 추출한다.

여기서,

는

번째 보정 파장값이고,

는

번째 R 성분값,

는

번째 G 성분값,

는

번째 B 성분값이며,

는

이고,

은 0.257,

는 0.573,

는 0.127로 정의된다.

상기와 같은 수학식 1의 연산과정을 수행하기 위해, 기준 파장값 추출부(130)는 보정 파장값 계산부(132), 변수 저장부(134) 및 최대 파장값 추출부(136)를 포함한다.

보정 파장값 계산부(132)는 상기 수학식 1로 표현되는 알고리즘을 수행하는 구성으로서, 픽셀 데이터 추출부(120)로부터의 복수의 픽셀 데이터(R1G1B1, R2G2B2, ...RnGnBn)와 변수 저장부(134)로부터의 제1 내지 제3 변수(k1, k2, k3)입력받고, 각 픽셀 데이터를 구성하는 R, G, B 성분값에 상기 제1 내지 제3 변수를 각각 곱셈 연산하여, 상기 보정 파장값들(Z1(=k1R1 +k2G1 + k3B1) ~ Zn(=k1Rn +k2Gn + k3Bn))을 계산한다. 변수 저장부(134)는 보정 파장값 계산부(132)의 요청에 따라 저장된 제1 내지 제3 변수(k1, k2, k3)을 상기 보정 파장값 계산부(132)에 전달하는 일종의 비휘발성 메모리일 수 있다. 최대 파장값 추출부(136)는 보정 파장값 계산부(132)에 의해 계산된 상기 보정 파장값들(Z1(=k1R1 +k2G1 + k3B1) ~ Zn(=k1Rn +k2Gn + k3Bn))을 수집하고, 이중 가장 큰 값을 갖는 보정 파장값(Zamax)을 추출하고, 추출된 보정 파장값(L = Zamax)을 기준 파장값(L = Zamax)으로서 출력한다. 출력된 기준 파장값(L)은 상기 데이터 선택부(140)로 전달된다.

데이터 선택부(140)는 상기 기준 파장값 추출부의 최대 파장값 추출부(136)로부터의 기준 파장값(L)과 상기 픽셀 데이터 추출부(120)로부터의 복수의 픽셀 데이터(R1G1B1, R2G2B2, ...RnGnBn)를 입력받는다. 이러한 데이터 선택부(140)는 입력받은 상기 기준 파장값(L)을 기준으로 상기 기준 파장값(L)보다 큰 파장 대역의 픽셀 데이터들을 영상 생성부(150)로 선택적으로 출력하고, 상기 기준 파장값(L) 이하의 픽셀 데이터들은 상기 영상 생성부(150)로 출력을 차단한다.

영상 생성부(150)는 데이터 선택부(140)에 의해 선택된 상기 기준 파장값(L)보다 큰 파장 대역의 픽셀 데이터들로 이루어진 최종 출력 영상을 생성하여 출력하게 된다.

이와 같이, 본 발명의 객체 검출 장치(100)는, 기존과 같이 객체의 열을 감지해서 상기 객체(보행자 또는 동물)에 대한 감도를 조절 시, 도심과 같이 발열체(예컨대, 전후방 운행 차량, 주변 조명)가 많은 환경에서는 대상체를 검출하기 위한 감도 조절이 불가능 하다는 점을 극복하고, 고가의 열 화상 카메라 센서를 이용하지 않고 씨모스 이미지 센서와 같은 저가의 일반 카메라 센서를 이용해서도 객체를 검출할 수 있다.

도 2는 도 1에 도시된 객체 검출 장치를 이용한 객체 검출 방법을 보여주는 순서도이다.

도 2를 참조하면, CMOS 이미지 센서 또는 CCD 이미지 센서와 같은 일반 카메라 센서를 통해 300nm ~ 1500nm 영역의 광을 수집하는 단계가 수행된다(S212).

이어, 수집된 광을 원시 데이터(raw data) 형태로 변환하고(S214), 변환된 원시 데이터의 파장대별 투과율을 분석한다(S216).

이어, 분석된 파장대별 투과율을 이용하여 양자 효율(Quantum Efficiency: QE)을 계산하고, 계산된 QE에 기초하여 R, G, B 성분값으로 이루어진 복수의 픽셀 데이터를 추출하는 단계가 수행된다(S218).

이어, 전술한 수학식 1에 상기 단계(S218)에서 추출된 R, G, B 성분값을 대입하여 각 픽셀 데이터별로 보정 파장값(Z1~Zn)들을 순차적으로 계산하는 단계가 수행된다(S220). 이어, 계산된 보정 파장값(Z1~Zn)들 중 가장 큰 값을 갖는 보정 파장값(Zmax)의 추출하는 단계가 수행된다(S222).

이어, 상기 단계(S222)에서 추출된 보정 파장값(Zmax)을 기준 파장값(L)으로 설정하고(S224), 설정된 기준 파장값(L)과 픽셀 데이터의 파장 대역을 비교하는 단계가 수행된다(S226).

이후, 설정된 기준 파장값(L)을 기준으로 기준 파장값(L)보다 큰 파장 대역의 픽셀 데이터는 출력 영상을 구성하는 최종 영상 데이터로서 설정되고(S228), 기준 파장값(L)이하의 파장 대역의 픽셀 데이터는 출력 영상을 구성하는 최종 영상 데이터로서 사용되지 않고, 드랍(Drop)시킨다(S230).

도 3은 도 2의 단계(S224)에서 기준 파장값(L)을 설정하는 과정을 도식적으로 설명하기 위한 그래프로서, 가로축은 파장(Wavelength)을 나타내고, 세로축은 R, G, B성분 값의 양자 효율(Quantum Efficiency: QE)을 나타낸다.

도 3에 도시된 바와 같이, 영상의 입력 특성(양자 효율)이 분석된 일반 카메라 센서의 경우, R, G, B성분 값의 QE가 고르게 높은 지점이 본 발명의 기준 파장값(L)이 되며, 도시된 그래프에서는 770nm인 지점에서 가장 높은 QE값(≒ 21.912)을 형성하게 된다. 따라서, 기준 파장값(L)은 770nm로 설정된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

객체가 포함된 영상 이미지로부터 객체를 추출하는 과정에서 상기 객체를 제외한 나머지 배경에 포함된 광원 이미지를 제거한 출력 영상을 출력하는 객체 검출 장치에 있어서,
특정 파장 대역의 광을 감지하고, 감지한 광에 상응하는 복수의 원시 데이터를 출력하는 센서부;
상기 복수의 원시 데이터로부터 복수의 픽셀 데이터를 추출하는 픽셀 데이터 추출부로서, 각 원시 데이터의 파장대별 투과율을 분석하고, 분석한 투과율을 이용하여 상기 각 원시 데이터로부터 R(Red)값, G(Green)값 및 B(Blue)값으로 이루어진 상기 복수의 픽셀 데이터를 추출하는 상기 픽셀 데이터 추출부;
상기 R값, G값 및 B값에 제1 내지 제3 변수를 각각 곱셈 연산하여 각 원시 데이터별로 보정 파장값들을 계산하여 계산된 보정 파장값들을 서로 비교하고, 상기 보정 파장값들 중 가장 큰 값을 기준 파장값으로서 추출하는 기준 파장값 추출부; 및
상기 복수의 픽셀 데이터를 입력받고, 상기 복수의 픽셀 데이터 중 상기 추출된 기준 파장값보다 큰 파장값을 갖는 픽셀 데이터들을 선택적으로 출력하는 데이터 선택부
를 포함하는 객체 검출 장치.
제1항에 있어서, 상기 센서부는,
300n 내지 1500n의 상기 특정 파장 대역을 감지하는 것인 객체 검출 장치.
제1항에 있어서, 상기 센서부는,
씨모스 이미지 센서인 것인 객체 검출 장치.
삭제
제1항에 있어서, 상기 제1 내지 제3 변수가 저장된 변수 저장부를 더 포함하는 것인 객체 검출 장치.
제5항에 있어서, 상기 제1 변수는 0.257이고, 상기 제2 변수는 0.573이고,
상기 제3 변수는 0.127인 것인 객체 검출 장치.
센서를 통해 특정 파장 대역의 광을 감지하고, 감지한 광에 상응하는 복수의 원시 데이터를 출력하는 제1 단계;
상기 복수의 원시 데이터로부터 복수의 픽셀 데이터를 추출하는 단계로서, 각 원시 데이터의 파장대별 투과율을 분석하고, 분석한 투과율을 이용하여 상기 각 원시 데이터로부터 R(Red)값, G(Green)값 및 B(Blue)값으로 이루어진 상기 복수의 픽셀 데이터를 추출하는 제2 단계;
상기 R값, G값 및 B값에 제1 내지 제3 변수를 각각 곱셈 연산하여 각 원시 데이터별로 보정 파장값들을 계산하는 제3 단계;
상기 계산된 보정 파장값들의 크기를 서로 비교하여, 비교 결과에 따라 보정 파장값들 중 어느 하나의 보정 파장값을 기준 파장값으로서 추출하는 제4 단계; 및
추출된 상기 기준 파장값을 참조하여, 상기 복수의 픽셀 데이터 중 상기 기준 파장값보다 큰 파장값을 갖는 픽셀 데이터들을 선택하여, 상기 센서의 감지 감도를 조절하는 제5 단계;
를 포함하는 객체 검출 방법.
삭제
제7항에 있어서, 상기 제1 변수는 0.257이고, 상기 제2 변수는 0.573이고,
상기 제3 변수는 0.127인 것인 객체 검출 방법.
제7항에 있어서, 상기 제4 단계는,
상기 보정 파장값들 중 가장 큰 값을 상기 기준 파장값으로서 추출하는것인 객체 검출 방법.
제7항에 있어서, 상기 제1 단계는,
상기 센서를 통해 300n 내지 1500n의 상기 특정 파장 대역을 감지하는 것인 객체 검출 방법.