KR20180125278A

KR20180125278A - 보행자 검출 장치 및 그 방법

Info

Publication number: KR20180125278A
Application number: KR1020170059973A
Authority: KR
Inventors: 마수드; 박미룡
Original assignee: 한국전자통신연구원
Priority date: 2017-05-15
Filing date: 2017-05-15
Publication date: 2018-11-23

Abstract

보행자 검출 방법이 제공된다. 보행자 검출 방법은, 전방에 대한 컬러 영상과 열 영상을 획득하는 단계; 상기 컬러 영상과 상기 열 영상을 정합하는 단계; 정합된 영상이 주간 영상인지 야간 영상인지를 판단하는 단계; 정합된 영상이 주간 영상인 경우, 주간 컬러 영상과 주간 열 영상이 정합된 데이터 세트를 기반으로 학습된 주간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 단계; 및 정합된 영상이 야간 영상인 경우, 야간 컬러 영상과 야간 열 영상이 정합된 데이터 세트를 기반으로 학습된 야간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 단계를 포함한다.

Description

보행자 검출 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING PEDESTRIAN}

본 발명은 보행자 검출 장치 및 그 방법에 관한 것으로, 상세하게는 영상 인식(image recognition) 기반의 보행자 검출 장치 및 그 방법에 관한 것이다.

현재 컴퓨터 비전 기반의 보행자 검출 기법은 높은 정확도와 성능을 목표로 연구 개발되고 있다. 하지만 정확도와 성능간은 상호 트레이드-오프(trade-off)가 발생한다.

컴퓨터 비전 기반의 보행자 검출 기법은 정확도 측면에서 원래 포함된 것에서 얼마나 많은 발견을 하는가에 따른 Missing Rate(있어야 하는데 없다고 못 찾는 것)와 찾지 말아야 하는데 오류로 찾는 것(FPPI: False Positive per Image)을 줄이는 방향으로 개발되는 것이 중요하고, 성능 측면에서는 초당 얼마나 빨리 목표물을 탐지하는가가 중요하다.

대부분 성능에서 FPPI를 개선할 수 있는 형태의 알고리즘들이 연구 개발되고 있는데, NMS(Non-Maximal Suppression) 기법이나 평균 이동(Mean Shift) 기법은 검출 결과의 중첩된 영역을 제거하는데 효과적이지만 FPPI를 줄이기 어렵다는 문제가 있다.

그 밖에, 오-검출을 줄이기 위하여 많은 시간이 소요되는 접근법들이 연구 개발되고 있으며, 이러한 많은 시간이 소요되는 접근법들에서는 개별 화면에서 정상적인 인식보다는 FP(False Positive)에 대한 제거에 소요되는 시간과 비용이 더 증가하는 문제가 있다.

한편, 오-검출을 줄이기 위해, ACF(Aggregated Channel Features) 기반의 검출기 또는 수정된 ACF 기반의 LDCF(Locally De-correlated Channel Features) 기법이 제안된 바 있다.

LDCF 기법의 경우, 주간과 야간의 영상 특성이 달라 이를 이용하여 영상채널 특징필터를 생성하게 되면, 시간대별 영상 특성의 차이에 의하여 FP(False Positive)가 더 많이 발생하고 Missing Rate 도 증가할 수 있다.

보행자 인식에서 표준으로 활용하고 있는 INRIA, Caltech, KAIST 데이터베이스에서 LDCF를 동작시킬 경우 ACF 필터에 비해 상대적으로 그 오-검출률을 줄일 수 있지만, 여전히 개선의 여지가 있다.

본 발명의 목적은 주/야간 시간대에 관계없이, 'Missing Rate'과 'False Positive'를 포함하는 오검출을 줄일 수 있는 보행자 검출 장치 및 그 방법을 제공하는 데 있다.

상술한 목적을 달성하기 위한 본 발명의 일면에 따른 보행자 검출 방법은, 전방에 대한 컬러 영상과 열 영상을 획득하는 단계; 상기 컬러 영상과 상기 열 영상을 정합하는 단계; 정합된 영상이 주간 영상인지 야간 영상인지를 판단하는 단계; 정합된 영상이 주간 영상인 경우, 주간 컬러 영상과 주간 열 영상이 정합된 데이터 세트를 기반으로 학습된 주간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 단계; 및 정합된 영상이 야간 영상인 경우, 야간 컬러 영상과 야간 열 영상이 정합된 데이터 세트를 기반으로 학습된 야간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 단계를 포함한다.

본 발명에 따르면, 컴퓨터 비전(computer vision) 기반의 보행자 검출 과정에서 주간영상과 열 영상(Thermal Image)을 결합한 데이터 세트에서 학습시켜 주간 시간대 필터와 야간 시간대의 필터를 제작하여 영상의 상호관계에서 보행자 인식률을 향상시키고 오-검출률을 낮출 수 있다.

도 1은 본 발명의 일 실시 예에 따른 보행자 검출 장치의 블록 구성도이다.
도 2는 본 발명의 실시 예에 따른 HOG(Histogram of Oriented Gradients)와 Magnitude(엣지의 방향과 크기)의 특징 요소(Feature)에 열 영상의 LUV 정보가 조합된 영상 필터에 대한 Missing Rate를 나타내는 테이블이다.
도 3은 본 발명의 다른 실시 예에 따라 LDCF 필터에 부가적인 요소들을 조합하여 학습한 영상 필터에 대한 Missing Rate를 나타내는 테이블이다.
도 4는 본 발명의 다른 실시 예에 따라 LDCF 필터에 부가적인 특징 요소들이 조합된 영상 필터에서의 FPPI와 Missing Rate를 함께 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 보행자 검출 방법을 나타내는 순서도이다.

본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.

아래의 설명에서, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

본 발명의 보행자 검출 장치는 다양한 실시 예에 따라 전자 장치로 구현될 수 있다. 전자 장치는 기본적으로 프로세서, 메모리, 통신 모듈을 등을 포함하도록 구성될 수 있다.

프로세서는 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서들, 하드웨어 코어들, ASIC들(application specific integrated circuits), FPGA들(field programmable gate arrays) 또는 이들의 임의의 결합에 의해서 구현될 수 있다. 또한, 프로세서는 영상 처리를 수행할 수 있는 그래픽 프로세서이거나 이를 포함하도록 구성될 수 있다.

메모리는 전자 장치를 운영하기 위한 운영 체제, 보행자 검출을 위한 다양한 실행 코드를 저장할 수 있는 것으로, 예를 들면, SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리 등을 포함할 수 있다.

통신 모듈은 다양한 통신 기능을 지원하는 모듈로서, 예를 들면, 유선 통신, 근거리 무선 통신, 이동 통신 등을 지원하도록 구성될 수 있다.

본 발명의 보행자 검출 장치를 하드웨어적으로 구현하는 전자 장치는, 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 비디오 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device), 차량 내의 전자 장치, 교통 시스템, CCTV와 같은 보안 장치 중 적어도 하나에 응용될 수 있다.

이하, 본 발명의 실시 예에 따른 보행자 검출 장치에 대해 상세히 기술한다.

도 1은 본 발명의 일 실시 예에 따른 보행자 검출 장치의 블록 구성도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 보행자 검출 장치(100, apparatus for detecting pedestrian)는 컬러 영상 획득부(110, color image acquisition unit), 열 영상 획득부(120, thermal image acquisition unit), 영상 정합부(130, image matching unit), 주야간 판단부(140, daytime and nighttime determination unit), 학습기(150, classifier), 주간용 보행자 검출기(160, pedestrian detector for daytime) 및 야간용 보행자 검출기(170, pedestrian detector for nighttime)를 포함한다.

컬러 영상 획득부 (110, color image acquisition unit)

컬러 영상 획득부(110)는 전방을 촬영하여 전방에 대한 컬러 정보를 포함하는 컬러 영상(color images)을 획득할 수 있다. 컬러 영상 획득부(110)는, 컬러 영상 카메라일 수 있다. 컬러 영상 카메라는, 예를 들면, CCD(Charge Coupled Device) 카메라 등으로 구현될 수 있다.

열 영상 획득부 (120, thermal image acquisition unit)

열 영상 획득부(120)는 전방을 촬영하여 전방에 대한 열 분포 정보(thermal distribution information)를 포함하는 열 영상(thermal Images)을 획득할 수 있다. 열 영상 획득부(120)는, 열 영상 카메라(thermal Imaging Camera)일 수 있다. 열 영상 카메라는, 예를 들면, 적외선 카메라(Infrared camera), 원적외선 카메라, 근적외선 카메라 등일 수 있다.

영상 정합부 (130, image matching unit)

영상 정합부(130)는 시점 변환 기술을 이용하여 컬러 영상과 열 영상을 정합한다. 즉, 영상 정합부(130)는 서로 다른 지점에서 획득한 컬러 영상의 영상 좌표와 열 영상의 영상 좌표를 상호 매칭하여 컬러 영상과 열 영상이 정합된 정합 영상(matching image)을 획득한다.

주야간 판단부 (140)

주야간 판단부(140)는 정합 영상의 밝기 정보를 기반으로 상기 정합 영상이 주간 영상인지 야간 영상인지를 판단한다. 예를 들면, N개의 프레임의 영상 전체의 밝기 평균 레벨이 임계치 이상인 경우 주간 영상으로 판단하고, 밝기 평균 레벨이 임계치 미만인 경우 야간영상으로 판단할 수 있다.

주야간 판단부(140)는 영상 정합부(130)로부터 현재 입력되는 정합 영상을 주간 영상으로 판단한 경우, 주간 영상으로 판단한 정합 영상을 주간용 보행자 검출기(160)로 제공하고, 영상 정합부(130)로부터 현재 입력되는 정합 영상을 야간 영상으로 판단한 경우, 야간 영상으로 판단한 정합 영상을 야간용 보행자 검출기(170)로 제공한다.

주간용 보행자 검출기(160)

주간용 보행자 검출기(160)는, 주야간 판단부(140)로부터 주간 영상으로 판단된 정합 영상이 제공되면, 학습기(150)에서 학습한 주간용 학습 영상(learning image for daytime)을 이용하여 주간 영상으로 판단된 정합 영상에서 보행자를 검출한다. 주간용 보행자 검출기(160)는 다양한 보행자 검출 알고리즘을 기반으로 주간 영상으로 판단된 정합 영상에서 보행자를 검출할 수 있다. 예를 들면, 주간용 보행자 검출기(160)는 주간 영상으로 판단된 정합 영상에서 관심 영역(Region of Interest)을 선정하고, 주간용 학습 영상(learning image for daytime)을 기반으로 관심 영역(Region of Interest)으로부터 보행자를 검출한다.

야간용 보행자 검출기(170)

야간용 보행자 검출기(170)는, 주야간 판단부(140)로부터 야간 영상으로 판단된 정합 영상이 제공되면, 학습기(150)에서 학습한 야간용 학습 영상(learning image for daytime)을 이용하여 야간 영상으로 판단된 정합 영상에서 보행자를 검출한다. 주간용 보행자 검출기(160)의 보행자 검출 방식과 유사하게, 야간용 보행자 검출기(170)는 야간 영상으로 판단된 정합 영상에서 관심 영역(Region of Interest)을 선정하고, 야간용 학습 영상(learning image for nighttime)을 기반으로 관심 영역(Region of Interest)으로부터 보행자를 검출한다.

학습기(150, classifier)

학습기(150)는 주간용 학습 영상과 야간용 학습 영상을 주간용 보행자 검출기와 야간용 보행자 검출기로 각각 제공하는 구성으로, 이를 위해, 주간용 학습기(150A, classifier for daytime) 및 야간용 학습기(150B, classifier for nighttime)를 포함할 수 있다.

주간용 학습기(150A)는 주간용 학습 영상, 즉, 주간 컬러 영상과 주간 열 영상이 정합된 데이터 세트(dataset)를 기반으로 학습된 영상 필터를 주간용 보행자 검출기(160)에게 제공한다.

야간용 학습기(150B)는 야간용 학습 영상, 즉, 야간 컬러 영상과 야간 열 영상이 정합된 데이터 세트(dataset)를 기반으로 학습된 영상 필터를 야간용 보행자 검출기(170)에게 제공한다.

본 발명의 실시 예에 따른 영상 필터는 기존에 널리 활용되던 ACF(Aggregated Channel Features) 채널 필터 기반의 학습방법에서 오검출률(Missing Rate)에 대한 1차 개선점(Primary Improvement)을 찾고, LDCF(Locally De-correlated Channel Features) 필터 기반의 학습방법에서 부가적인 개선점(Additional Improvements)을 찾도록 구성됨을 특징으로 한다.

예를 들면, 본 발명의 실시 예에 따라 학습된 영상 필터는 HOG(Histogram of Oriented Gradients)와 Magnitude(엣지의 방향과 크기)의 특징 요소(Feature)에 열 영상의 LUV 정보가 조합된 영상 필터를 학습한다.

도 2는 본 발명의 실시 예에 따른 HOG(Histogram of Oriented Gradients)와 Magnitude(엣지의 방향과 크기)의 특징 요소(Feature)에 열 영상의 LUV 정보가 조합된 영상 필터에 대한 Missing Rate를 나타내는 테이블이다.

도 2에 도시된 바와 같이, T(Thermal), M(Magnitute) 및 HOG(Histogram Of Gradient)를 조합한 필터를 생성하는 방식이 열 영상을 이용한 영상 필터를 만들 때 최선의 조합으로 선택될 수 있으며, 이러한 T-M-HOG를 통해 오류율을 줄일 수 있음을 알 수 있다.

도 3은 본 발명의 다른 실시 예에 따라 LDCF 필터에 부가적인 요소들을 조합하여 학습한 영상 필터에 대한 Missing Rate를 나타내는 테이블이다.

도 3에 도시된 바와 같이, 전술한 영상 필터를 더욱 개선하기 위하여, LDCF 필터 기법을 사용할 경우 최적의 조합으로 열 영상과 컬러 영상의 필터들을 조합함으로 오류율을 줄일 수 있음을 알 수 있다.

도 4는 본 발명의 다른 실시 예에 따라 LDCF 필터에 부가적인 특징 요소들이 조합된 영상 필터에서의 FPPI와 Missing Rate를 함께 나타내는 도면이다.

도 4를 참조하면, LDCF 필터에 부가적인 특징 요소들을 조합함으로 개선되는 결과 중에서 FPPI를 비교할 경우 기존 KAIST등의 데이터베이스를 활용한 LDCF 필터 기법보다 제안된 주간-야간 필터를 적용하는 오른쪽 방법에서 Missing Rate은 유사하지만 FPPI는 개선됨을 보여주고 있다.

도 5는 본 발명의 일 실시 예에 따른 보행자 검출 방법을 나타내는 순서도이다.

도 5를 참조하면, 먼저, 단계 S510에서, 컬러 영상 카메라를 이용하여 전방에 대한 컬러 영상을 획득하고, 열 영상 카메라를 이용하여 전방에 대한 열 영상을 획득하는 과정이 수행된다.

이어, 단계 S520에서, 컬러 영상과 열 영상을 정합하여 정합된 영상을 생성하는 과정이 수행된다.

이어, 단계 S530에서, 정합된 영상이 주간 영상인지를 판단하는 과정이 수행된다.

이어, 정합된 영상이 주간 영상으로 판단되는 경우, 단계 S540에서, 주간 컬러 영상과 주간 열 영상이 정합된 데이터 세트를 기반으로 학습된 주간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 과정이 수행된다. 이때, 주간용 영상 필터는, 예를 들면, ACF 필터 또는 LDCF 필터에 열 영상의 LUV 정보와 같은 부가적인 특징 요소가 조합된 필터일 수 있다.

한편, 정합된 영상이 야간 영상으로 판단되는 경우, 단계 S550에서, 야간 컬러 영상과 야간 열 영상이 정합된 데이터 세트를 기반으로 학습된 야간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 과정이 수행된다. 이때, 야간용 영상 필터는, 예를 들면, ACF 필터 또는 LDCF 필터에 열 영상의 LUV 정보와 같은 부가적인 특징 요소가 조합된 필터일 수 있다.

이상에서 본 발명에 대하여 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

전방에 대한 컬러 영상과 열 영상을 획득하는 단계;
상기 컬러 영상과 상기 열 영상을 정합하는 단계;
정합된 영상이 주간 영상인지 야간 영상인지를 판단하는 단계;
정합된 영상이 주간 영상인 경우, 주간 컬러 영상과 주간 열 영상이 정합된 데이터 세트를 기반으로 학습된 주간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 단계; 및
정합된 영상이 야간 영상인 경우, 야간 컬러 영상과 야간 열 영상이 정합된 데이터 세트를 기반으로 학습된 야간용 영상 필터를 이용하여 상기 정합된 영상에서 보행자를 검출하는 단계
를 포함하는 보행자 검출 방법.