KR20150002040A - 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법 - Google Patents

Abstract

보행자 인식기술은 영상에서 보행자를 찾는 기술로서 운전과정에서 전방의 사람을 인식하여 위험을 알리거나, 한 지점을 지나는 사람의 수를 헤아리거나, 작업장에서 인부들의 안전을 지키는 등 통상적인 보안과 모니터링 외 널리 응용된다. 현재의 보행자 검출 기술에서 가장 기본적인 방법은 HOG(Histogram of Oriented Gradients)로서 가장 좋은 성능을 유지하고 있다. 하지만 HOG알고리즘은 연산 량이 많으므로 속도가 느려 실시간 적용이 힘든 단점이 있다. 본 논문에서는 차량에 정착된 카메라를 통한 보행자 인식 기술에 대해 연구 하였다. 제안한 방법은 관심영역 안에서 사전에 학습된 데이터를 기반으로 Cascade HOG알고리즘을 수행한다. 윈도우 영역의 resizing을 위해 HOG Cascade에 검출된 윈도우 영역에 대해 Haar-like 알고리즘으로 보행자 크기에 적합한 윈도우를 검출한다. 상반신이나, 하반신만 잡는 문제점을 해결하기 위해 윈도우 사이즈의 적정선으로 Cascade HOG에서 검출한 윈도우 사이즈와 Haar-like를 통해 검출된 윈도우 사이즈의 평균 값을 보행자 윈도우로 결정 하였다. 보행자 인식 율을 높이기 위해 앞의 알고리즘에 Kalman Filter를 적용하여 각각의 보행자 윈도우를 추적하고 서로 가까이 위치한 윈도우에 클러스터링 기법을 적용하여 검출된 보행자의 중복 영역을 제거 하여 하나의 윈도우로 처리하였다.

Description

호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법{The way of Real-time Pedestrian Recognition and Tracking using Kalman Filter and Clustering Algorithm based on Cascade Method by HOG}

본 발명은 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법에 관한 것으로서, 보다 구체적으로는 블랙박스 영상을 이용하여 운전과정 중 전방의 보행자를 인식하는 방법에 관한 것이다.

입력된 보행자 영상에서 보행자가 위치할 수 있는 관심 영역을 설정한다. 관심영역은 행렬의 범위를 사용하여 만들 수 있다. 관심영역의 범위는 시작 첨자부터 마지막 첨자(제외)까지 의 연속적인 sequence이다.

HOG 특징은 객체의 국부적인 모양과 형태를 밝기 값 변화 또는 에지 방향의 분포로 나타내는 특징이다. HOG는 cell과 cell을 포함하는 block으로 구성 된다. 어떤 물체 영상의 일정 pixel block내의 gradient(에지 방향)을 히스토그램으로 표현, 나뉘어진 셀과 블록내의 각 픽셀에서 x축, y축 기울기를 구한다. 균일하게 위치한 격자형태의 셀(Cell)에서 계산되며, 국부적인 정규화를 통해 계산된다.

보행자를 검출한 윈도우가 사이즈가 비슷하므로 보행자 크기에 조금 더 적합한 윈도우 검출이 필요하다. 윈도우 영역의 resizing을 위해 HOG Cascade에 검출된 윈도우 영역에 대해 Haar-like 알고리즘을 수행한다. 수행 결과 보행자 사이즈에 적합하게 검출이 되는데, 상반신이나, 하반신만 잡을 경우가 많다. 이를 해결하기 위해 윈도우 사이즈의 적정선으로 Cascade HOG에서 검출한 윈도우 사이즈와 Haar-like를 통해 검출된 윈도우 사이즈의 평균 값을 보행자 윈도우로 결정한다.

면적크기변화 Haar-like 특징추출방법은Haar-like 수평특징과 수직특징 추출방법을 동시에 적용할 수 있는 장점이 있다. Haar-like 는 Haar-like wavelet과 공간-시간 차이(space-time difference)를 기초로 하여 좀 더 복잡한 영역을 이동하는 사람의 검출을 Adaboost 알고리즘에 의한 훈련영상을 이용하여 검출한다. Haar-like은 영상에서 국부적 특징을 추출하기 때문에 강인한 보행자추출 결과를 얻을 수 있다.

HOG와 Cascade한 방법은 국소영역에 대한 밝기의 분포방향을 히스토그램화하여 이를 특징벡터로 나타내는 것으로써, 물체의 형상 특징을 나타내는데 사용된다. 이러한 HOG는 근접 화소 의 분포를 국소영역에 대해 히스토그램화하여 조명의 영향을 적게 받으며 국소영역의 기하학적인 변화에 강건한 특징을 가지고 있다.

Kalman Filter로 각각의 보행자 윈도우를 추적하여 보행자 인식 율을 높인다. 칼만 필터는 대상 시스템의 확률적인 모델과 측정값을 이용하여 시스템의 상태변수를 찾아내는 최적 추정기법이다. 칼만 필터로 추적한 후 서로 가까이 위치한 윈도우에 클러스터링 기법을 적용 하여 중복 영역을 제거하여 하나의 윈도우로 처리하는 방법을 적용할 수 있다.

본 발명은 운전과정에서 전방의 보행자를 인식하여 위험을 알리거나 특정한 지점을 지나는 사람의 수를 세어 안전운전 하도록 하는 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법을 제공하는 데 그 목적이 있다.

전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법은 이미지 및 동영상 정보에서 보행자를 인식하기 위한 방법에서 보행자의 인식 율을 유지하면서 다양한 환경에 대해서도 보행자가 이동 시에도 추적하면서 인식하는 방법에서 주변 사물 및 주변 환경에 대한 정보를 바탕으로 영상 취득 장치와 보행자와의 거리를 추정하는 방법과 시간에 따라서 이동거리를 추정하는 방법을 포함한다.

본 발명에 따르면, 보행자 영상 (640*360)에서 ROI영역 이내에 들어있는 보행자 인식. 상단에서 177 pixel, 하단에서 183 pixel 떨어진 곳에 그려진 검은색 라인을 기준으로, 라인에 걸리는 도로상의 차량 전방의 보행자 수를 카운트 한다. (라인의 경계선과 잇닿은 경우 제외). 추적+비교 영상을 만들 때에는 보행자 영상 (640*170)에서 ROI영역 이내에 들어있는 보행자 인식, 상단에서 97 pixel, 하단에서 73 pixel 떨어진 곳에 그려진 검은색 라인을 기준으로, 라인에 걸리는 도로상의 차량 전방의 보행자를 인식한 결과를 기준 영상에서 인식한 결과와 비교한다.

테스트 결과 주행 중 촬영된 동영상(640*360) 데이터에서 모든 프레임에 대한 이미지 정보를 추출하고, 총 661장 이미지 중에서 보행자가 존재하는 656개 프레임에 대해서 평가한 결과, 총 보행자 인식율은 91.02%, 정확도는 99.29%로서 실시간 보행자 검출이 가능함을 보여주었다. 이는 추적 알고리즘을 적용하지 않은 경우에 비해 인식률상 12.48%, 정확도상 5.65% 상승한 효과이다.

도 1은 본 발명의 보행자 인식 시스템의 알고리즘 흐름도.
도 2는 블랙박스 영상 촬영 이미지에 대한 도면.
도 3은 보행자 검출 기준라인이 적용된 이미지에 대한 도면.
도 4는 추적 알고리즘 적용 시 보행자 인식 결과 영상에 대한 도면.
도 5는 추적 알고리즘 제외 시 보행자 인식 결과 영상에 대한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법을 설명한다. 도 1은 본 발명의 보행자 인식 시스템의 알고리즘 흐름도이고, 도 2는 블랙박스 영상 촬영 이미지에 대한 도면이며, 도 3은 보행자 검출 기준라인이 적용된 이미지에 대한 도면이고, 도 4는 추적 알고리즘 적용 시 보행자 인식 결과 영상에 대한 도면이며, 도 5는 추적 알고리즘 제외 시 보행자 인식 결과 영상에 대한 도면이다.

영상 보행자 인식에서 검출 성능이 높고, 연산 속도가 빠른 알고리즘 개발을 위해 기존의 보행자 인식 방법에 대해 분석하였다. 우선 보행자 인식 기술의 종류, 보행자를 검출하기 위한 영상 획득 방법의 종류, 보행자 검출 성능 지표 그리고 보행자 인식 기술의 발전 동향에 대해 알아보았다. 다음으로 HOG, SVM, Haar-like 특징, Adaboost, HOG연속 기법 등 보행자 인식에 관한 주요 알고리즘을 분석하였다.

관련 논문 조사를 통해 보행자 인식 관련 기술에 대해 학습을 진행하였다. 차량에 정착된 카메라로부터 보행자의 위치 및 크기를 예측 하는 방법, HOG를 이용한 선형 SVM기반의 보행자 검출방법, Co-HOG를 이용한 보행자 검출, 4D 컬러 히스토그램과 Kalman Filter의 결합, 근사화된 HOG를 이용해 보행자를 검출하는 방법, 곡률과 HOG에 의한 연속방법에 기반한 아다부스트 알고리즘, HOG적용이전에 좌우 대칭 값 판별과 gray히스토그램 등 다단 구조를 이용하는 방법, 복잡한 도로 환경에서 다중 보행자 검출을 위한 모델 생성 알고리즘, Haar-like특징의 이용, 확률 밀도를 이용한 보행자 추적 등 여러 가지 보행자 관련 인식 기술에 관해 조사하였고 각 방법의 장단점을 정리 하였다. INRIA person database를 이용한 HOG Inria, Daimler Pedestrian Dataset 을 이용한 HOG Daimler, HOG와 cascade의 결합, Haar-like와 cascade의 결합 등 방법 들에 대한 대비 분석을 통해 인식률, 연산속도가 모두 비교적 우수한 HOG Cascade 기법을 선택하였다.

이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (2)

1. 이미지 및 동영상 정보에서 보행자를 인식하기 위한 방법에서 보행자의 인식 율을 유지하면서 다양한 환경에 대해서도 보행자가 이동 시에도 추적하면서 인식하는 방법에서 주변 사물 및 주변 환경에 대한 정보를 바탕으로 영상 취득 장치와 보행자와의 거리를 추정하는 방법과 시간에 따라서 이동거리를 추정하는 방법.
2. 제1항에 있어서,
   인식된 주변 환경 정보인 차선 및 주변 차량, 신호등의 차선, 표지판, 도면의 색상 등의 정보를 고려해서 정보 단말기에 기록 및 경고 알림 장치에서 보행자의 이동 추정 경로를 예측하고, 추정된 보행자의 위치 정보를 이용하여 다음 예측 경로를 도출하여 보행자의 행동 패턴과 신호등의 남은 시간을 고려한 주행 중 안전 기록 장치를 구성하는 모든 방법.

Images