KR20150101205A - 적분 세로 에지를 이용한 보행자 영역 추출 장치 및 그 방법 - Google Patents

Abstract

보행자 영역을 추출하는 장치가 제공된다. 이 장치는 이미지의 세로방향의 에지를 누적하여 적분 세로 에지 맵을 추출하는 에지 맵 추출부와 상기 이미지로부터 보행자가 존재하는 관심영역을 추출하는 관심영역 추출부와 추출된 상기 관심영역과 상기 적분 세로 에지 맵을 매칭하는 공간 정합부와 상기 관심영역 내의 에지 값과 기 설정된 값을 비교한 결과에 기초해, 상기 관심영역을 보행자 후보 영역으로 판단하여, 상기 보행자 후보영역 내의 보행자 특징을 추출하는 특징 추출부와 추출된 상기 특징을 기반으로 상기 보행자의 신체 부위를 분류하는 부위별 보행자 분류부 및 상기 이미지 내에 보행자의 존재 여부를 검증하기 위해, 상기 분류된 신체 부위의 위치와 기 학습된 신체 부위의 위치를 매칭하여 상기 이미지 내에 보행자가 존재하는지 여부를 판단하는 부위별 위치 판단부를 포함한다.

Description

적분 세로 에지를 이용한 보행자 영역 추출 장치 및 그 방법{Pedestrian Recognition Apparatus and the Method of Using Integral Vertical Edge}

본 발명은 보행자 영역 추출 장치 및 그 방법에 관한 것으로서 구체적으로, 입력된 이미지로부터 보행자 영역을 추출하는 장치 및 그 방법에 관한 것이다.

영상을 통한 정보 처리 기술에 대한 관심이 날로 증가되고 있다. 특히, 자동차 전방 또는 후방에 탑재된 카메라를 통해 획득하는 영상을 이용하여 보행자 충돌사고를 방지를 하기 위한 노력이 계속되고 있다.

보행자 탐지는 이전부터 활발하게 연구되어 오던 기술이다. 보행자 탐지 알고리즘은, 크게 정지되어 있는 카메라(예컨대, CCTV)와 움직이는 카메라(예컨대, 차량에 장착된 카메라)에서의 기술로 나눌 수 있다.

차량 전방에 장착된 카메라를 통해 주행에 방해를 줄 수 있는 물체(예컨대, 보행자 또는 동물)의 존재 유무 및 주행에 방해를 주는 물체의 위치를 알 수 있으면, 대형 교통 사고를 방지할 수 있다.

하지만, 차량 전방의 물체를 인식하는데 필요한 연산량이 많아, 입력된 이미지로부터 차량 전방에 위치하는 물체의 정보를 실시간으로 운전자에게 제공하기 어렵다.

구체적으로, 차량 전방에 위치하는 물체의 크기 변화, 움직이는 카메라 환경 그리고 일정하지 않은 보행자의 외곽 형태 때문에 보행자 특징 추출 시 연산량이 많아지게 된다. 이 때문에, 종래 기술을 통한 보행자 영역 추출은 PC 기반에서도 실시간 구현이 어려운 실정이다.

또한, 환경에 따라서 보행자 탐지 알고리즘의 목적 또한 달라진다.

일반적으로 정지되어 있는 환경에서는 주로 보안 목적으로 보행자를 탐지하고, 움직이는 환경에서는 충돌을 감지하여 보행자의 안전을 보장하려는 목적으로 보행자를 탐지한다.

따라서 전술한 보행자 탐지 목적에 따라, 보행자 탐지 장치가 충족시켜야 하는 성능이 다르고, 이 때문에 보행자 탐지 장치에 적용되는 알고리즘과 이용되는 센서도 다르다.

자동차에 적용되는 보행자 탐지 기술은 운전자 및 보행자의 안전에 관련되어 고신뢰성 및 실시간성이 요구되므로, 초음파센서, 레이더센서(Radar Sensor), 라이다센서(Ridar Sensor), 비전센서(Vision Sensor)(예컨대, 모노, 스테레오) 등 다양한 센서들이 이용되고 있고 각 센서마다 장단점이 있다.

이중에서, 모노 비전 센서를 사용한 방법은 단일 카메라로 큰 영역에 대응이 가능한 장점이 있지만 거리 및 위치 정보를 직접적으로 얻지 못하여 연산을 통해 추론해야 하므로 연산량이 많고 빛과 같은 외부 환경 변화에 민감한 단점이 있다.

종래의 모노영상을 이용하는 시스템에서는 기울기 히스토그램을 통해 다양한 영역을 대상으로 보행자 분류를 수행한다. 보행자 분류를 수행할 때, 특정 간격으로 반복하여 다양한 크기의 관심영역을 추출하게 된다. 이러한 이유 때문에, 종래의 모노영상을 이용하는 시스템은 영상에서 보행자가 포함되지 않은 과도한 후보영역을 생성하여 해당 영역에 기울기 히스토그램을 구하는 등 불필요한 연산이 수행되어 보행자 영역 추출의 시간 효율성이 낮은 단점이 있다.

본 발명의 목적은 상술한 종래 기술의 문제점을 해결하기 위하여, 적은 연산으로 보행자를 검출하는 보행자 영역 추출 장치 및 그 방법을 제공하는 데 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한, 본 발명의 일면에 따른 입력된 이미지로부터 보행자 영역을 추출하는 장치는, 상기 이미지의 세로방향의 에지를 누적하여 적분 세로 에지 맵을 추출하는 에지 맵 추출부와, 상기 이미지로부터 보행자가 존재하는 관심영역을 추출하는 관심영역 추출부와, 추출된 상기 관심영역과 상기 적분 세로 에지 맵을 매칭하는 공간 정합부와, 상기 관심영역 내의 에지 값과 기 설정된 값을 비교한 결과에 기초해, 상기 관심영역을 보행자 후보 영역으로 판단하여, 상기 보행자 후보영역 내의 보행자 특징을 추출하는 특징 추출부와 추출된 상기 특징을 기반으로 상기 보행자의 신체 부위를 분류하는 부위별 보행자 분류부 및 상기 분류된 신체 부위의 위치와 기 학습된 신체 부위의 위치를 매칭하여 상기 이미지 내에 보행자가 존재하는지 여부를 판단하는 부위별 위치 판단부를 포함한다.

본 발명에 따르면, 영상에서 보행자를 추출할 때 보행자가 존재할 확률이 낮은 곳과 세로 에지 성분이 부족한 영역을 특징 추출 연산 전에 걸러냄으로써, 보행자 특징추출 시 연산 수행시간을 줄일 수 있다.

또한, 보행자 인식 결과를 신체파트별 위치에 따라 추가적으로 필터링 하여, 보행자 인식률을 향상 시킬 수 있다.

도 1은 본 발명의 일실시예에 따라 적분 세로 에지 및 기울기 히스토그램 기반 보행자 탐지 장치 구성을 나타낸 블록도이다.
도 2a는 본 발명의 일실시예에 따라 보행자 세로 에지를 나타낸 도면이다.
도 2b는 본 발명의 일실시예에 따라 에지 데이터의 예를 나타낸 도면이다.
도 2c는 본 발명의 일실시예에 따라 적분 세로 에지 맵의 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따라 관심영역과 적분 세로 에지 맵이 매칭된 예를 나타낸 도면이다.
도 4a는 본 발명의 일실시예에 따라 관심영역의 보행자를 도시한 도면이다.
도 4b는 본 발명의 일실시예에 따라 SVM을 이용하여 분류된 특징의 위치를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 적분 세로 에지 맵을 이용한 파트기반 보행자 영역 추출 알고리즘의 시퀀스 다이어그램이다.

본 발명에서는 입력된 영상의 세로 에지 성분이 부족한 영역을 필터링 함으로써, 비보행자 영역을 1 차적으로 걸러낸 이후, 나머지 영역에 대해 보행자의 특징추출을 하여 불필요한 연산을 줄인다. 이를 위해, 본 발명은 상기 이미지의 세로방향의 에지를 누적하여 적분 세로 에지 맵을 추출하는 에지 맵 추출부와, 상기 이미지로부터 보행자가 존재하는 관심영역을 추출하는 관심영역 추출부와 추출된 상기 관심영역과 상기 적분 세로 에지 맵을 매칭하는 공간 정합부와 상기 관심영역 내의 에지 값과 기 설정된 값을 비교한 결과에 기초해, 상기 관심영역을 보행자 후보 영역으로 판단하여, 상기 보행자 후보영역 내의 보행자 특징을 추출하는 특징 추출부와 추출된 상기 특징을 기반으로 상기 보행자의 신체 부위를 분류하는 부위별 보행자 분류부 및 상기 이미지 내에 보행자의 존재 여부를 검증하기 위해, 상기 분류된 신체 부위의 위치와 기 학습된 신체 부위의 위치를 매칭하여 상기 이미지 내에 보행자가 존재하는 지 여부를 판단하는 부위별 위치 판단부를 포함한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명의 일실시예에 따라 적분 세로 에지 및 기울기 히스토그램 기반 보행자 탐지 장치 구성을 나타낸 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 보행자 영역 추출 장치(100)는 보행자 인식까지의 위한 연산 시간을 줄이기 위해, 카메라부(110), 전처리부(120: Pre-processing unit), 에지 맵 추출부(130), 관심영역 추출부(140), 공간 정합부(150), 특징 추출부(160), 부위별 보행자 분류부(170) 및 부위별 위치 판단부(180)를 포함한다.

카메라(110)는 차량과 같은 이동체에 구비된 촬영수단으로서, 탐지 물체(예컨대, 보행자)를 포함하는 전방 영역을 촬영한 영상 이미지를 생성한다. 본 실시 예에서는 이동체에 구비된 촬영수단을 통해 획득한 이미지를 예로 들어 설명하고 있으나, 이에 본 발명이 한정되는 것은 아니고, 비디오 영상을 촬영하기 위하여 사용되는 폐쇄회로 TV(CC-TV) 또는 CCD(Charged Couple Device)카메라를 통해 이미지를 획득하는 것도 가능하다.

전처리부(120)는 카메라부(110)로부터 획득한 영상 이미지를 디지털 데이터로 변환하고, 상기 카메라(110)로부터 획득한 이미지를 전처리 하는 과정을 수행한다.

전처리부(120)에서 처리된 이미지는, 에지 맵 추출부(130)와 관심영역 추출부(140)에 입력된다.

에지 맵 추출부(130)는 입력된 상기 이미지의 세로방향 에지를 누적하여, 상기 이미지의 적분 세로 에지 맵(Edge map)을 추출한다. 에지 맵 추출부(130)는 입력된 이미지의 적분 세로 에지 맵을 추출하기 위해, 세로 에지 추출 과정, 에지 데이터 변환 과정 및 적분 세로 에지 맵 생성 과정을 수행한다.

이하, 도 2a, 도 2b 및 도 2c 를 이용하여 적분 세로 에지 맵 생성 과정에 대해 보다 자세히 설명한다.

도 2a에는 본 발명의 일실시예에 따라 보행자 세로 에지를 추출한 예를 나타낸 도면이다. 에지(Edge)는, 영상 내 인접한 픽셀 간에 밝기 차이가 상대적으로 큰 부분을 의미한다. 즉, 에지는 영상 안에 있는 객체의 경계(Boundary)이다.

에지를 통해 이미지에 포함된 객체의 모양(Shape), 방향성(Direction)등을 탐지할 수 있다. 이러한, 에지를 추출하는 기법에는 유사 연산자 기법, 차 연산자 기법 등이 있다. 도 2에는 기재한 에지 추출 기법을 통해 획득한 보행자 경계(21)가 도시되어 있다.

도 2b는 본 발명의 일실시예에 따른 에지 데이터의 예를 나타낸 도면이다 에지 맵 추출부(130)는 이미지의 세로 에지를 추출한 이후, 상기 추출된 세로 에지를 이진 데이터로 변환한다. 도 2b에는 입력된 이미지에서 추출한 세로 에지를 이진 데이터로 변환된 예가 도시되어 있다. 구체적으로, 도 2b에는 이미지의 최소 구성 단위인 픽셀에 에지가 검출된 부분은 1로 에지가 검출되지 않은 부분은 0으로 도시되어 있다.

도 2c는 본 발명의 일실시예에 따른 적분 세로 에지 맵의 예를 나타낸 도면이다. 에지 맵 추출부(130)는 입력된 이미지의 세로 에지 이진 데이터를 기반으로 적분 세로 에지 맵을 생성한다. 에지 맵 추출부(130)는 세로방향 에지 데이터를 획득한 후, 상기 세로방향 에지 데이터에 대하여 수직방향으로 누적하여 내려감으로써 적분 세로 에지 맵을 생성한다.

이하에서 후술하겠지만, 에지 맵 추출부(130)에서 생성한 적분 세로 에지 맵을 이용하여 세로 에지 성분이 부족한 영역을 보행자 특징 추출 연산 전에 걸러냄으로써 보행자 추출의 수행 시간을 줄일 수 있다.

관심영역 추출부(140)는 전처리부(120)로부터 입력된 이미지에서 보행자가 존재하는 관심영역을 추출한다. 구체적으로, 관심영역 추출부(140)는 입력된 이미지에서 탐지된 객체의 움직임 벡터, 에지 등의 데이터를 기초로 추출 윈도우의 크기를 다양하게 변화 시키면서 보행자가 존재할 가능성이 있는 모든 영역의 좌표를 추출한다.

관심영역(ROI, Region Of Interest)은 영상 전체에 영상 처리를 적용하지 않고 필요한 부분 영역에만 영상 처리를 적용하는 영역으로 정의되고, 입력된 영상에서 보행자가 존재할 가능성이 높은 영역으로 정의된다.

공간정합부(150)는 추출된 관심영역과 적분 세로 에지 맵을 매칭한다. 즉, 공간정합부(150)는 관심영역과 적분 세로 에지 맵을 매칭시켜, 상기 추출된 관심영역에 해당하는 적분 세로 에지 맵을 생성한다. 이때, 공간정합부(150)는 도 3에 도시된 바와 같이, 관심영역의 하단 누적 에지(10) 에서 상단 누적 에지(20)를 빼줌으로써, 겹치는 영역의 반복적인 에지 연산을 피하면서 관심영역의 적분 세로 에지 맵을 추출 할 수 있다. 즉, 공간정합부(150)에서 기 생성된 적분 세로 에지 맵으로부터 관심영역의 적분세로 에지 맵을 획득함으로써 불필요한 연산을 크게 줄일 수 있다.

공간 정합부(150)에 의해 상기 관심영역에 매칭된 적분 세로 에지 맵은 특징 추출부(160)로 입력된다. 즉, 공간정합부(150)는 기생성된 적분 세로 에지 맵으로부터 관심영역의 적분세로 에지 맵을 획득함으로써 불필요한 연산을 크게 줄일 수 있다.

이미지의 적분 세로 에지 맵과 관심영역은 공간정합부(150)에서 매칭되어 특징 추출부(160)로 입력된다.

특징 추출부(160)는 관심영역내의 적분 세로 에지 값이 기 설정된 임계값 이상인 경우, 상기 관심영역을 보행자 후보영역으로 판단한다. 여기서, 보행자 후보영역이란 관심영역의 적분 세로 에지 값이 기 설정된 임계값 이상인 영역으로, 적분 세로 에지 맵에 의해 비 보행자 영역이 1차적으로 필터링 된 이후의 영역이다. 세로 에지 값에 의해 필터링 된 보행자 후보영역에 보행자가 존재할 확률은 관심영역에 보행자가 존재할 확률보다 크다. 즉, 특징 추출부(160)는 세로에지 성분이 부족한 영역을 특징 추출 연산 전에 걸러냄으로써 특징 추출 수행 시 연산의 수행시간을 줄이게 된다.

특징 추출부(160)는 관심영역의 세로 에지 분포를 비교하여 일정 이상의 세로 에지를 지니는 관심영역에서만 특징을 추출한다. 여기서, 특징(Feature)이란, 영역에 포함된 점, 경계선, 모서리, 질감, 색 등 영상의 다른 영역과 구분이 되어 두드러지는 성질을 의미한다.

특징추출 방법에는 특징기반(feature-based), 지식기반(knowledge-based), 템플릿기반(template-based), 색상기반(color-based) 특징추출방법 및 기울기 히스토그램(Histogram of Oriented Gradients, 이하, HOG)을 이용하여 특징을 추출하는 방법 등이 있다.

일반적으로, 보행자 검출을 위한 특징추출 시 필요한 연산량이 매우 많다. 이 때문에, 특징을 추출해야 하는 영역이 많으면 연산 수행시간이 오래 걸린다.

한편, 본 발명에서는 보행자가 존재할 확률이 낮은 영역을 적분 세로 에지 맵을 이용해 필터링 함으로써, 특징 벡터 추출 시 걸리는 연산 시간을 단축할 수 있다. 즉, 본 발명을 통해 정확한 보행자 검출을 위한 특징의 수를 유지하면서도, 특징 계산에 필요한 대상을 줄임으로써, 영상을 입력 받은 후 짧은 시간 내에 보행자 정보를 제공하는 실시간성을 확보하게 된다.

특징 추출부(160)는 관심영역내의 적분 세로 에지 값이 기 설정된 임계값 이상인 경우, 보행자 후보영역 내의 특징을 추출하고, 추출된 특징은 부위별 보행자 분류부(170)로 전달된다. 여기서, 추출된 특징은 특징점에 의해 생성된 특징벡터를 포함할 수 있다.

부위별 보행자 분류부(170)는 추출된 특징을 입력 받아, 파트 별로 분류한다. 파트란, 보행자의 신체를 구성하는 머리, 몸통, 팔, 다리 등과 같은 신체영역을 의미한다. 구체적으로, 부위별 보행자 분류부(170)는 기 학습된 파트 기반의 보행자 분류기를 사용하여 각 파트의 특징을 분류한다.

이하, 도 4a 및 도 4b를 더 참조하여 추출된 특징 또는 특징벡터를 통해 보행자 신체 영역을 분류하는 과정을 설명한다.

부위별 보행자 분류부(170)는 추출된 특징을 입력 받아, 파트별로 분류한다. 파트란, 보행자(40)의 신체를 구성하는 머리, 몸통, 팔, 다리 등과 같은 신체영역을 의미한다. 구체적으로, 부위별 보행자 분류부(170)는 기학습된 파트 기반의 보행자 분류기를 사용하여 각 파트의 특징을 분류한다. 여기서 보행자 분류기는, 서포트 벡터 머신(Support Vector Machine, 이하, SVM)으로 구현 될 수 있다. 서포트 벡터 머신이란, 결정트리, 신경망 등의 분류 알고리즘보다 일반화 능력 및 분류율이 우수한 분류 알고리즘 중의 하나이다. 일반적으로, 분류 부분에서 주로 사용되는 SVM(Support Vector Machine)은 학습 데이터인 양성데이터(positive data)와 입력되는 음성 데이터(negative data) (실시예에는, 추출된 특징 및 특징벡터)사이의 거리를 구하고, 그 가운데에서 마진(margin)이 최대가 되는 최적의 초평면(hyper plane)을 산출하여 판단하는 알고리즘이다. 예컨대, 부위별 보행자 분류부(170)는 추출된 특징벡터의 값과 서포트 벡터(Support Vector)들의 값을 서로 비교하여, 특징벡터와 서포트벡터가 기 학습된 파트에 대해 소정 확률값 이상으로 유사할 경우, 상기 특징벡터들의 집합을 분류하여 보행자의 신체파트로 인식한다. 예컨대, 부위별 보행자 분류부(170)는 SVM에 의해 분류된 머리특징 영역의 특징 값과 기 학습된 머리형상에 대응하는 기준값을 비교하여, 분류된 머리특징 영역에 포함된 특징 값과 머리형상에 대응하는 기준값의 차이가 일정한 값 이하이면, 상기 머리특징 영역을 보행자의 머리로 인식한다.

또한, 부위별 보행자 분류부(170)는 SVM에 의해 분류된 다리특징 영역에 포함된 특징값과 기 학습된 다리형상에 대응하는 기준값을 비교하여, 분류된 다리특징 영역의 특징값과 머리형상에 대응하는 기준값의 차이가 일정한 값 이하이면, 상기 다리특징 영역을 보행자의 다리로 인식한다.

그 다음, 부위별 위치 판단부(180)는 부위별 보행자 분류부(170)에 의해 분류된, 머리, 몸통, 다리 등을 위치에 따른 검증을 수행한다. 예컨대, 머리의 특징(41)이 다리의 특징(43)보다 위에 있어야 하는 등 기 학습된 파트의 보행자 특징의 위치와 상기 부위별 보행자 분류부(170)에서 인식된 해당 파트 위치에 따른 보행자 특징의 위치 간의 매칭 여부에 따라 보행자 존재를 검증 할 수 있다. 실시예에서, 부위별 보행자 분류부(170)에 의해 분류되는 파트는 머리, 몸, 팔, 다리, 머리와 몸 등을 포함하며, 이러한 파트는 부위별 보행자 분류부(170)의 파트별 인식률에 따라 파트의 조합이 조정될 수 있다. 아울러, 부위별 보행자 분류부(170)에 의해 분류되는 파트는 각 파트를 분류할 때 요구되는 연산량에 따라 파트의 조합이 조정될 수 있다.

부위별 위치 판단부(180)는 분류된 파트들의 위치를 기반으로 보행자 존재 여부를 최종적으로 검증한다. 부위별 보행자 분류부(170)와 부위별 위치 판단부(180)를 통해 보행자의 신체파트로 인식한 결과를 보행자 신체파트 위치에 따라 추가적으로 필터링을 수행함으로써 보행자 인식률을 향상시킬 수 있다.

본 발명의 다른 실시예에 따른 보행자 영역 추출 방법은 입력된 영상의 세로방향 에지를 누적하여 상기 영상의 세로방향 적분 세로 에지 맵을 추출하는 하는 단계, 상기 입력된 영상으로부터 보행자가 존재하는 관심영역을 추출하는 단계, 추출된 상기 관심영역과 상기 적분 세로 에지 맵을 매칭하는 단계, 상기 관심영역내의 적분 세로 에지 값이 기 설정된 임계값 이상인 경우, 상기 관심영역을 보행자 후보영역으로 판단하여, 판단된 상기 보행자 후보영역 내의 보행자 특징을 추출하는 단계를 포함한다.

도 5는 본 발명의 일실시예에 따른 적분 세로 에지 맵을 이용한 파트기반 보행자 영역 추출 알고리즘의 시퀀스 다이어그램이다.

먼저 카메라(110)부는 탐지 물체(예컨대, 보행자)를 포함하는 전방 영역의 이미지를 획득한다. 이때, 비디오 영상을 촬영하기 위하여 사용되는 폐쇄회로 TV(CC-TV) 또는 CCD카메라를 통해 이미지를 획득할 수도 있다(S510).

전처리부(120)는 카메라(110)부로부터 획득한 화상데이터를 디지털 데이터로 변환하고, 상기 카메라(110)부로부터 획득되는 이미지를 전처리한다. 여기서, 전처리는 획득된 이미지의 노이즈(Noise) 제거와 영상의 색상 변환을 위한 과정이다. 전처리된 이미지는 에지 맵 추출부(130)와 관심영역 추출부(140)에 입력된다(S520).

에지 맵 추출부(130)는 입력된 상기 이미지의 세로방향 에지를 누적하여 상기 이미지의 적분 세로 에지 맵(Edge map)을 추출한다. 상기 적분 세로 에지 맵을 통해, 세로 에지 성분이 부족한 영역을 보행자 특징 추출 연산 전에 걸러냄으로써 보행자 검출 시간을 줄일 수 있다(S530).

관심영역 추출부(140)는 입력된 이미지로부터 보행자가 존재하는 관심영역을 추출한다. 구체적으로, 관심영역 추출부(140)는 입력된 영상에서 탐지된 객체의 움직임 벡터, 복잡도, 에지 등의 데이터를 기초로 추출 윈도우의 크기를 다양하게 변화 시키면서 보행자가 존재할 가능성이 있는 가능한 모든 영역의 좌표를 추출한다(S540).

공간정합부(150)는 추출된 상기 관심영역과 상기 적분 세로 에지 맵을 매칭한다. 공간정합부(150)에서는 관심영역과 상기 적분 세로 에지 맵을 매칭시켜, 상기 관심영역의 적분 세로 에지 맵을 생성한다(S550). 이때, 공간정합부(150)에서는 도 3에 도시된 바와 같이, 관심영역의 하단 누적 에지(10) 에서 상단 누적 에지(20)를 빼줌으로써, 겹치는 영역의 반복적인 에지 연산을 피하면서 관심영역의 적분 세로 에지 맵을 추출 할 수 있다. 즉, 공간정합부(150) 에서는 기생성된 적분 세로 에지 맵으로부터 관심영역의 적분세로 에지 맵을 획득함으로써 불필요한 연산을 크게 줄일 수 있다. 적분 세로 에지 맵과 관심영역은 공간정합부(150)에서 매칭되어 특징 추출부(160)로 입력된다.

특징 추출부(160)는 상기 관심영역내의 적분 세로 에지 값을 이용하여 특징추출 이전에 보행자가 존재할 확률이 낮은 영역을 필터링한다. 구체적으로, S560 단계에서 특징 추출부(160)는 관심영역 내의 적분 세로 에지 값이 기 설정된 임계값 이상인지 판단한다(S560). 만약, S560 단계에서 관심영역내의 적분 세로 에지 값이 기 설정된 임계값 이상이면, 상기 관심영역을 보행자 후보영역으로 판단한다. 반면에, 관심영역 내의 적분 세로 에지 값이 기 설정된 임계값 보다 작다면, 보행자가 상기 관심영역에 존재할 확률이 낮으므로 S590단계에서 보행자 불인식으로 알고리즘을 종료한다.

특징 추출부(160)는 보행자 존재 확률이 높은 보행자 후보영역에서 보행자 특징을 추출한다(S570). 예컨대, 특징 추출부(160)에서는 복수의 특징점들을 중심으로 하는 복수의 영역에서 특징벡터를 추출한다. 이때, 특징점으로는 에지나 모서리 등이 이용된다. 특징벡터를 추출하기 위한 방법에는 시프트(Scale Invariant Feature Transform; SIFT) 방법과 서프(Speeded Up Robust Feature; SURF)등이 있다. 일반적인 특징벡터 추출 시 연산시간이 오래 걸리기 때문에, 본 발명에서는 영역을 적분 세로 에지 맵을 이용해 보행자가 존재할 확률이 낮은 영역을 특징벡터 추출 이전에 필터링 함으로써, 연산 시간을 단축한다. 즉, 본 발명을 통해 정확한 보행자 검출을 위한 특징의 수를 유지하면서도, 특징 계산에 필요한 대상을 줄임으로써, 영상을 입력 받은 후 짧은 시간 내에 보행자 정보를 제공하는 실시간성을 확보하게 된다.

부위별 보행자 분류부(170)는 추출된 특징벡터를 보행자 분류기를 사용하여 분류한다(S570). 구체적으로, 도 4b에 도시된 것과 같이, 머리특징에 해당하는 부분과 다리특징에 해당하는 영역을 분류한다. 여기서 보행자 분류기는, 서포트 벡터 머신(Support Vector Machine, 이하, SVM)으로 구현 될 수 있다. 서포트 벡터 머신이란, 결정트리, 신경망 등의 분류 알고리즘보다 일반화 능력 및 분류율이 우수한 분류 알고리즘의 하나이다. 예컨대, S570 단계에서 부위별 보행자 분류부(170)는 추출된 특징벡터의 값과 서포트 벡터(Support Vector)들의 값을 서로 비교하여, 특징벡터와 서포트 벡터가 기 학습된 신체파트에 대해 일정한 확률값 이상으로 유사할 경우, 상기 특징벡터들의 집합을 분류하여 보행자 신체파트 영역으로 인식한다.

Part SVM 1 은 추출된 특징벡터의 머리영역을 분류한다(S571). 구체적으로, S571 단계에서 Part SVM 1 은 추출된 특징벡터의 값과 학습된 머리부분의 서포트 벡터의 값을 서로 비교하여, 특징벡터와 서포트 벡터가 일정한 확률 이상으로 유사하면, 상기 추출된 특징 벡터가 포함된 영역을 머리영역으로 분류하여 출력한다.

Part SVM 3은 추출된 특징벡터의 다리영역을 분류한다(S573). 구체적으로 S573 단계에서 Part SVM 3 은 추출된 특징벡터 값과 학습된 다리부분의 서포트 벡터 값을 서로 비교하여, 추출된 특징벡터 값과 학습된 서포트 벡터값이 일정한 확률 이상으로 유사하면, 상기 추출된 특징 벡터가 포함된 영역을 다리영역으로 분류하여 출력한다.

전술한 바와 같이, Part SVM n는 추출된 특징벡터 값과 학습된 보행자 임의의 신체부분 특징벡터 값을 서로 비교하여, 추출된 특징벡터와 임의의 신체 부분 서포트 벡터의 값이 일정한 확률 이상으로 유사하면, 상기 추출된 특징 벡터가 포함된 영역을 임의의 신체 영역으로 분류하여 출력한다(S575).

예컨대, S570단계에서 부위별 보행자 분류부(170)는 Part SVM 1에 의해 분류된 머리특징 영역과 기 학습된 머리위치에 대응하는 기준값을 비교하여, 분류된 머리특징 영역과 머리위치에 대응하는 기준값의 차이가 소정 이하이면, 상기 머리특징 영역을 보행자의 머리로 인식한다.

또한, Part SVM 2에서 획득한 몸통영역과 기 학습된 몸통위치에 대응하는 기준값을 비교하여, 상기 몸통영역과 기준값의 차이가 소정 이하이면 상기 몸통영역을 보행자의 몸통으로 인식한다.

또한, 부위별 보행자 분류단계에서는 Part SVM n에서 획득한 임의의 신체영역과 기 학습된 임의의 신체위치에 대응하는 기준값을 비교하여, 상기 신체영역과 신체 위치 기준값의 차이가 소정 이하이면 상기 신체 영역을 보행자의 신체로 인식한다.

부위별 위치 판단부(180)는 분류된 파트들의 위치를 기반으로 보행자 존재 여부를 최종적으로 인식한다(S580). S580단계에서 부위별 위치 판단부(180)는 Part SVM 1, Part SVM 2, Part SVM n 에 의해 분류된 신체의 모든 영역이 보행자의 신체 영역으로 검출되어야만 S581 단계에서 보행자가 존재하는 것으로 인식한다. 즉, S580단계에서 머리영역, 몸통영역, 팔영역, 다리영역 등이 모두 보행자의 신체 부분으로 검출되어야 보행자가 존재하는 것으로 인식한다. 하지만, 다른 실시예에서는 S580단계에서 머리, 몸통, 팔, 다리 등 보행자의 신체 중 적어도 2가지 이상의 신체영역을 보행자의 신체부분으로 검증하는 경우, 보행자가 존재하는 것으로 인식할 수 있다.

아울러, S580단계 에서는 도 4b에 도시된 바와 같이, 머리의 특징이 다리의 특징보다 위에 있어야 하는 등 기학습된 신체파트의 위치와 인식된 신체파트 위치에 따른 보행자 특징을 매칭함으로써, 보행자 존재를 검증 할 수 있다.

S580단계에서 보행자의 신체파트로 인식한 결과를 보행자 신체파트 위치에 따라 추가적으로 필터링함으로써 보행자 인식률을 향상시킬 수 있다.

전술한 본 발명을 통해 영상에서 보행자를 찾을 때, 보행자가 존재할 확률이 영역을 영상의 세로에지 성분을 통해 특징추출 연산 전에 걸러냄으로써, 연산 수행 시간을 줄이는 이점을 제공한다. 또한, 보행자 신체 파트 기반 보행자 인식 결과를 신체 위치에 따라 한번 더 필터링 함으로써, 보행자 인식률을 향상시키는 이점도 제공한다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (1)

1. 입력된 이미지로부터 보행자 영역을 추출하는 장치에 있어서,
   상기 이미지의 세로방향의 에지를 누적하여 적분 세로 에지 맵을 추출하는 에지 맵 추출부;
   상기 이미지로부터 보행자가 존재하는 관심영역을 추출하는 관심영역 추출부;
   추출된 상기 관심영역과 상기 적분 세로 에지 맵을 매칭하는 공간 정합부;
   상기 관심영역 내의 에지 값과 기 설정된 값을 비교한 결과에 기초해, 상기 관심영역을 보행자 후보 영역으로 판단하여, 상기 보행자 후보영역 내의 보행자 특징을 추출하는 특징 추출부;
   추출된 상기 특징을 기반으로 상기 보행자의 신체 부위를 분류하는 부위별 보행자 분류부; 및
   상기 이미지 내에 보행자의 존재 여부를 검증하기 위해, 상기 분류된 신체 부위의 위치와 기 학습된 신체 부위의 위치를 매칭하여 상기 이미지 내에 보행자가 존재하는 지 여부를 판단하는 부위별 위치 판단부
   를 포함하는 보행자 영역 추출 장치.
   
   
   
   

Images