KR101395094B1 - 개체 검출 방법 및 시스템 - Google Patents

Abstract

입력 영상에 포함되는 개체를 검출하기 위한 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따르면, 검출하고자하는 개체가 포함된 배경의 복잡도에 따라, 분할되는 영역의 수가 적은 거시적 스캔 모드 또는 분할되는 영역의 수가 많은 미시적 스캔 모드를 선택하는 단계; 선택된 상기 스캔 모드에 따라 입력 영상을 하나 이상의 영역으로 분할하는 단계; 분할된 영역들 중 서로 유사한 특성을 갖는 인접 영역을 병합하는 단계; 분할 또는 병합된 영역 중 검출하고자하는 특정 개체가 존재하지 않을 가능성이 높은 영역을 제외하여, 탐색 영역을 추출하는 단계; 상기 탐색 영역에서 상기 특정 개체를 검출하기 위한 특징 벡터를 포함하는 특징 데이터를 추출하는 단계; 및 추출된 상기 특징 데이터를 통해 상기 탐색 영역으로부터 상기 개체를 검출하는 단계를 포함하는 개체 검출 방법이 제공된다.

Description

개체 검출 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING OBJECT IN INPUT IMAGE}

본 발명은 입력 영상에 포함되는 개체를 검출하기 위한 방법 및 시스템에 관한 것으로, 보다 상세하게는, 입력 영상을 소정 기준에 따라 분할 및 병합하고, 검출하고자 하는 개체가 존재할 가능성이 있는 부분만을 탐색함으로써 고속 처리를 가능하게 하는 방법 및 시스템에 관한 것이다.

본 발명은 지식경제부의 정보통신산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2009-MB-3810, 과제명: SoC 플랫폼용 고속 영상인식 핵심엔진].

최근 카메라 등 영상 생성 장치의 발달로, 영상을 통한 정보 처리 기술에 대한 관심 또한 날로 증대되고 있는 추세이다. 특히, 자동차 분야에 있어서는, 자동차 전방 또는 후방에 달려있는 카메라를 통해 얻어지는 실시간 영상을 통해 첨단 차량 제어를 하거나 추돌방지를 하기 위한 노력이 계속되고 있다. 자동차 전방에 다른 자동차나 보행자 또는 동물 등 주행에 방해를 줄 수 있는 물체의 존재 유무 및 위치를 알 수 있으면, 대형 교통 사고를 방지할 수 있을 뿐만 아니라 장애인의 주행 도우미 등에도 활용할 수 있다. 선진국에서도 대형 자동차 생산 회사를 중심으로 지능형 첨단 차량 제어 장치에 대한 많은 연구가 이루어지고 있다. 한편, 이러한 연구와 함께 주행 중 운전자의 과실로 인해 발생할 수 있는 교통사고를 미연에 방지하기 위한 각종 센서 및 장비에 대한 개발과 이를 활용하기 위한 효과적인 알고리즘 개발에 관한 연구 또한 활발히 진행중이다.

일반적으로, 각종 운행 수단에 내장되어 운행 위치 탐색을 통해 자동 주행을 하는 자동 주행 시스템은 주로 선박이나 항공기 등에 적용되어 왔는데, 최근 들어 도로를 주행하는 차량에도 적용되어 주행 경로 및 도로 혼잡도 등과 같은 다양한 정보를 모니터를 통해 운전자에게 알려주거나, 스스로 작동되어 차량을 운전하거나 주행 상태를 제어하게 된다.

그러나 자동 주행 시스템이나 이에 적용되는 알고리즘은 아직 상용화되고 있지 못하고 있는 실정이다. 차량과 같이 고속으로 움직이는 이동체의 경우, 주행 환경(예를 들면, 갑자기 진입한 전방 차량 인식 등)을 실시간으로 인식하여 운전자에게 알려주거나, 주행 환경을 실시간으로 판단하여 시스템이 스스로 응급조치를 바로 취해야 하는데, 이를 위해서는 많은 데이터 량을 실시간으로 처리할 수 있는 방법 또는 고성능의 프로세서가 필요하다. 그러나 이러한 알고리즘 또는 프로세서를 제작 및 설계에 있어 상당히 어려움이 뒤따르며, 제조 단가 역시 매우 높아 상용화하는 데는 어려움이 있다.

또한 이동하고 있는 상태에서 주행 환경을 인식하고 차량을 검출하여야 하기 때문에, 차량 등의 물체와 배경을 제대로 분할하지 못해서 물체 추적 시 오차가 자주 발생하며, 조명의 변화에 의하여 움직이는 물체를 잘못 인식하는 경우가 빈번하다.

따라서, 차량의 고속 주행시 주행 환경을 실시간으로 빠르게 파악하고, 이에 대한 정보를 정확하게 처리함으로써 운전자의 운전을 도와주거나 스스로 현재 상황에 맞는 조치를 취할 수 있도록 하는 기술에 대한 개발이 시급한 실정이다.

본 발명은 상술한 종래 기술의 문제를 해결하기 위한 것으로, 영상에서 특정 종류의 개체를 검출함에 있어서, 영상을 일정 조건에 따라 하나 이상의 영역으로 분할한 후, 검출하고자 하는 개체가 존재할 가능성이 없는 영역을 제외하고 나머지 영역에 대해서만 개체 검출 알고리즘을 수행함으로써 고속으로 개체 검출을 수행할 수 있도록 하는 것을 그 목적으로 한다.

또한, 본 발명의 다른 목적은 본 제안 기술을 자동차의 첨단 제어 또는 추돌방지 시스템에 적용시킴으로써 실시간으로 변화하는 교통 상황에서도 빠르고 정확한 정보의 제공 및 응급 조치가 가능해지도록 하는 것이다.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 검출하고자하는 개체가 포함된 배경의 복잡도에 따라, 분할되는 영역의 수가 적은 거시적 스캔 모드 또는 분할되는 영역의 수가 많은 미시적 스캔 모드를 선택하는 단계; 선택된 상기 스캔 모드에 따라 입력 영상을 하나 이상의 영역으로 분할하는 단계; 분할된 영역들 중 서로 유사한 특성을 갖는 인접 영역을 병합하는 단계; 분할 또는 병합된 영역 중 검출하고자하는 특정 개체가 존재하지 않을 가능성이 높은 영역을 제외하여, 탐색 영역을 추출하는 단계; 상기 탐색 영역에서 상기 특정 개체를 검출하기 위한 특징 벡터를 포함하는 특징 데이터를 추출하는 단계; 및 추출된 상기 특징 데이터를 통해 상기 탐색 영역으로부터 상기 개체를 검출하는 단계를 포함하는 개체 검출 방법이 제공된다.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 검출하고자하는 개체가 포함된 배경의 복잡도에 따라, 분할되는 영역의 수가 적은 거시적 스캔 모드 또는 분할되는 영역의 수가 많은 미시적 스캔 모드를 선택하는 스캔 모드 선택부; 선택된 상기 스캔 모드에 따라 입력 영상을 하나 이상의 영역으로 분할하는 영역 분할부, 분할된 영역들 중 서로 유사한 특성을 갖는 인접 영역을 병합하는 영역 병합부, 분할 또는 병합된 영역 중 검출하고자하는 특정 개체가 존재하지 않을 가능성이 높은 영역을 제외하여 탐색 영역을 추출하는 영역 추출부를 포함하는 탐색 영역 추출부; 상기 탐색 영역에서 상기 특정 개체를 검출하기 위한 특징 벡터를 포함하는 특징 데이터를 추출하는 특징 데이터 추출부; 및 추출된 상기 특징 데이터를 통해 상기 탐색 영역으로부터 상기 개체를 검출하는 개체 검출부를 포함하는 개체 검출 시스템이 제공된다.

본 발명에 따르면, 영상에서 특정 종류의 개체를 검출함에 있어서, 일정 조건에 따라 일 이상으로 분할된 영역 중, 검출하고자 하는 개체가 존재할 가능성이 없는 영역을 제외한 나머지 영역에 대해서만 개체 검출 알고리즘이 수행되기 때문에, 고속 처리가 가능해진다.

또한, 본 발명을 자동차의 첨단 제어 또는 추돌방지 시스템에 적용하면, 실시간으로 빠르게 변화하는 교통 상황 하에서도 신속하고 정확한 정보의 제공 및 응급 조치가 가능해질 수 있다.

도 1은 본 발명의 일 실시예에 따른 개체 검출 시스템의 전체적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 탐색 영역 추출부의 상세 구성을 나타내는 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따라 영상이 분할 및 병합된 일례를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 개체를 검출 과정을 설명하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 개체 검출부에서 분류기 생성 시 사용된 학습 영상의 일부를 나타내는 도면이다.
도 6a 내지 도 6d는 학습 영상 및 비학습 영상에 대한 개체 검출 결과 및 오차율을 나타내는 그래프이다.
도 7a는 본 발명의 일 실시예에 따라 소정 영상에 대해 영역 분할을 수행하였을 때 분할된 영역의 화소수를 나타내는 도면이다.
도 7b는 본 발명의 일 실시예에 따라 영역 분할을 하기 위해 특정된 평균 문턱값 변화에 따른 탐색하여야 할 화소수와 분할 영역의 수를 나타내는 그래프이다.
도 8 내지 도 11은 본 발명의 일 실시예에 따른 개체 검출 방법을 시뮬레이션 한 결과를 나타낸다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

[본 발명의 바람직한 실시예]

전체 시스템의 구성

도 1은 본 발명의 일 실시예에 따른 개체 검출 시스템의 전체적인 구성을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 개체 검출 시스템(100)은 영상 정보 수신/인식부(110), 탐색 영역 추출부(120), 특징 데이터 추출부(130), 개체 검출부(140), 제어부(150) 및 통신부(160)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 영상 정보 수신/인식부(110), 탐색 영역 추출부(120), 특징 데이터 추출부(130), 개체 검출부(140), 제어부(150) 및 통신부(160)는 그 중 적어도 일부가 개체 검출 시스템(100)과 통신하는 프로그램 모듈들일 수 있다(다만, 도 1에서는 영상 정보 수신/인식부(110), 탐색 영역 추출부(120), 특징 데이터 추출부(130), 개체 검출부(140), 제어부(150) 및 통신부(160)가 개체 검출 시스템(100)에 포함되어 있는 것으로 예시하고 있다). 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈로서 개체 검출 시스템(100)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 개체 검출 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

본 발명의 일 실시예에 따른 개체 검출 시스템(100)은 후술하는 바와 같이 소정 방식에 의해 얻어지는 영상 정보에서 이동하는 개체를 검출해내기 위한 시스템으로서, 자동차 등에 구비되는 카메라 등과 같은 영상 데이터 생성 장치에 직접 포함되거나, 이와 연결되는 시스템일 수 있다.

먼저, 본 발명의 일 실시예에 따른 영상 정보 수신/인식부(110)는 카메라 등과 같은 영상 데이터 생성 장치에 의해 생성된 영상 정보를 수신하고 이를 인식하는 기능을 수행한다. 예를 들면, 자동차에 구비되는 카메라가 이동 중 자동차 주변 환경을 촬영하면, 이에 해당하는 영상 정보가 수신 및 인식될 수 있다.

본 발명의 일 실시예에 따른 탐색 영역 추출부(120)는 영상 정보 수신/인식부(110)에 의해 수신 및 인식된 영상 정보를 분할 및 병합하여 검출할 개체를 탐색하기 위한 영역을 추출하는 기능을 수행한다.

도 2는 탐색 영역 추출부(120)의 상세 구성을 나타내는 도면이다. 이하에서는 도 2를 참조하여 탐색 영역 추출부(120)의 구성 및 그 동작에 대해 상세히 설명하기로 한다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 탐색 영역 추출부(120)는 스캔 모드 선택부(121), 영상 분할부(122), 영상 병합부(123) 및 영역 추출부(124)를 포함하여 구성될 수 있다.

먼저, 스캔 모드 선택부(121)는 탐색 영역을 추출하기 위한 스캐닝의 방식을 선택하는 기능을 수행한다. 본 발명의 일 실시예에 따르면, 스캔 모드는 거시적 스캔 모드와 미시적 스캔 모드로 나뉘어 질 수 있다. 거시적 스캔 모드는 영상 분할을 위한 설정변수인 평균 또는 분산값 등을 크게 하여 분할되는 영역의 수는 줄이고, 분할되는 영역 내의 화소 수는 증가시키는 방식이다. 이와 반대로, 미시적 스캔 모드는 영상 분할을 위한 설정변수인 평균 또는 분산값 등을 작게 하여 분할되는 영역의 수는 증가시키고, 분할되는 영역 내의 화소 수는 감소시키는 방식일 수 있다. 예를 들어, 자동차가 고속도로를 주행하는 경우에는 카메라에 의해 촬영되는 주변 배경이 단순해지는데, 이러한 경우에는 거시적 스캔 모드가 적합할 수 있다. 반대로, 시내 주행 등 주변 배경이 복잡한 환경에서의 주행시에는 분할되는 영역의 수가 많아져야 하므로 미시적 스캔 모드가 적합할 수 있다.

다음으로, 영상 분할부(122)는 스캔 모드 선택부(121)에 의해 선택된 모드에 따라 영상을 분할하는 기능을 수행한다. 도 3a 및 도 3b는 영상 분할부(122)에 의해 영상이 분할 및 병합되는 일례를 나타내는 도면이다. 먼저, 도 3a는 영상에서의 영역 분할 및 병합의 예를 나타내는 도면이고, 도 3b는 도 3a의 영상 분할을 트리구조로 나타낸 것이다. 도 3a 및 도 3b에 도시되는 바와 같이, 영상 분할은 기본적으로 영상을 하나 이상의 영역으로 나누는 것으로부터 시작된다. 예를 들면, 도 3a 및 도 3b와 같이 영상을 4개의 영역(a, b, c, d)으로 나눌 수 있다. 그 후, 4개의 영역(a, b, c, d) 각각에 대해 소정의 기준에 따라 계속적으로 영상 분할을 수행할 수 있다. 영상 분할은 해당 영역이 균일한 특성을 가지는 경우에 중단될 수 있다. 균일한 특성을 가지는 지에 대한 여부는 해당 영역의 평균, 분산, 모멘트, 컬러 또는 텍스쳐 등의 척도에 의해 결정될 수 있다. 예를 들어, 기준 분산 값 이상의 분산을 갖는 영역은 비균일한 영역으로 판단할 수 있다. 비균일한 영역으로 판단되는 영역에 대해서는 분할을 계속적으로 수행한다. 도 3a 및 도 3b는 영역(a, c, d)이 비균일 영역으로 판단되어 분할이 이루어진 모습을 나타낸다. 전술한 바와 같이 분할된 영역 또한 비균일 영역으로 판단되는 경우에는 영역(a, d)과 같이 하부 영역(010, 011, 012, 013, 310, 311, 312, 313)으로 계속적 분할이 이루어질 수 있다. 여기서 각 영역에 쓰여진 숫자는 분할의 단계마다 부여된 인덱스를 나타낸다. 예를 들어, 312라고 표시된 영역은 계층적으로 첫 단계에서는 3번째 영역, 다음 단계에서는 1번째 영역, 마지막 단계에서는 2번째 영역이라는 의미를 나타낸다. 이러한 과정에 따라 모든 분할 영역이 균일한 특성을 가지는 것으로 판단되면 분할이 중단된다.

영상 병합부(123)는 영상 분할부(122)에 의해 분할된 영역을 역으로 병합하는 기능을 수행한다. 이 때에는 인접하는 분할 영역이 병합시 균일 영역이 될 수 있는 경우, 즉, 인접하는 영역이 동일한 영역으로 볼 수 있는 경우에 병합이 이루어질 수 있다. 예를 들어, 인접 분할 영역 간의 화소 차이 등 그 특성 차이를 계산하여 그 범위가 소정 기준 값 이하인 경우에 해당 인접 영역을 병합할 수 있다. 이러한 병합 또한 한 번으로 끝나는 것이 아니라 병합된 영역 간에도 계속적인 병합이 이루어질 수 있다. 도 3a에서 같은 무늬로 표시되는 영역은 영상 병합부(123)에 의해 병합된 영역들을 나타낸다.

영역 추출부(124)는 영상 분할부(122) 및 영상 병합부(123)에 의해 분할되고 병합된 영상에 있어서, 개체 탐색을 할 필요성이 있는 부분만을 추출하는 기능을 수행한다. 예를 들어, 주행 시 촬영된 영상에서 자동차라는 개체를 검출하는 경우를 가정하면, 해당 영상은 아스팔트, 차량, 중앙선, 나무, 숲, 가드레일, 하늘 등을 포함하고 있을 수 있다. 이 때, 분할 및 병합된 영상에 있어서 동일한 색상으로 넓게 분포되는 영역은 아스팔트 또는 하늘 등 자동차와 관련없는 부분일 가능성이 높으므로 해당 영역을 탐색 영역에서 제외시킬 수 있다. 이러한 방식, 즉, 검출하고자 하는 개체가 존재하지 않을 가능성이 큰 영역을 제외함으로써 최종적인 탐색 영역을 추출해낼 수 있다. 이에 따르면, 개체가 존재할 가능성이 큰 영역만이 탐색의 대상이 되므로 고속 알고리즘을 구현할 수 있게 된다.

본 발명의 일 실시예에 따른 영상 분할부(122) 및 영상 병합부(123)는 최소영역의 단위를 2×2로 하여 계층적 구조로 분할 및 병합할 수 있으며, 이에 따르면 하드웨어로 용이하게 구현할 수 있게 되고, SoC(System On Chip)로도 구현이 가능해진다.

본 발명의 일 실시예에 따른 특징 데이터 추출부(130)는 탐색 영역 추출부(120)에 의해 추출된 영역에서 개체를 검출해내기 위한 특징 데이터, 즉, 특징 벡터를 포함하는 정보를 추출하는 기능을 수행한다. 특징 데이터를 추출하는 방식으로서는 통상의 여러가지 방식(예를 들면, HOG(Histogram of Oriented Gradient) 알고리즘, 가버(Gabor) 필터, 할라이크(Haar-like) 변환, 웨이브렛 변환, 컬러, 텍스쳐, 스테레오 등을 이용하는 방식 등)이 이용될 수 있으나, 본 발명에서는 HOG 알고리즘을 사용하는 방식이 이용될 수 있다.

HOG 알고리즘은 이미지를 바둑판 모양의 정사각형 형태로 나누어 그 각각의 정사각형 그리드(Grid) 내에서 밝기의 분포 방향을 로컬 히스토그램으로 계산하여 이를 특징 벡터로 사용하는 알고리즘이다.

특징 벡터를 구하기 위해서는 먼저 밝기 분포에 대한 기울기 값과 방향성 값을 계산하여야 한다. 각 화소의 밝기 값을 f(i,j)라고 하면 기울기 m(i,j) 및 방향성 θ(i,j)은 다음과 같이 표현된다.

여기서, H(i, j), V(i, j)는 다음과 같이 표현될 수 있다.

이러한, 기울기 m(i,j) 및 방향성 θ(i,j)에 관한 정보를 알고 있으면 이를 이용하여 소정 영역(예를 들면, 8×8 셀 영역)에 대해 밝기 변화에 대한 방향성 히스토그램을 구할 수 있다. 방향성 θ(i,j) 값은 0°~360°범위의 값일 수 있지만 기울기 m(i,j)의 방향성만을 고려하면 방향성 θ(i,j) 값은 0°~180°까지만 계산하면 되므로 9개 방향으로 등분하여 히스토그램을 계산할 수 있다.

히스토그램을 구한 후에는 정규화를 수행한다. 특징 벡터는 국소 영역에 대해 계층적인 처리 방법을 수행함으로써 구해지는데, 정규화 과정이 그 마지막 단계가 될 수 있다. 먼저, 소정수만큼의 셀(예를 들면, 3×3셀)을 묶에서 하나의 블록으로 나타낸다. 하나의 셀에 대해서 9개 방향의 방향성 히스토그램을 구하였고, 하나의 블록이 3×3셀로 이루어지는 경우에는 모두 9개의 셀이 존재하게 되는 것이기 때문에, 한 블록에 대한 특징 벡터는 81차원이 된다. 각 블록에 대한 특징 벡터는 다음과 같은 수학식 3에 의해 정규화될 수 있다.

여기서, k는 블록 내 특징 벡터의 차원수이고, ε은 분모가 0이 되었을 때 계산 불능을 방지하기 위한 값으로 1의 값을 갖는다. 그리고 각 블록에 대한 특징 벡터 값은 스캔 방향을 따라 하나의 셀씩 이동 하면서 계산될 수 있다. 예를 들어, 영상의 크기가 64×64×8비트인 경우, 블록의 수는 36개이고, 한 블록의 특징 벡터 차원수는 81이므로 총 특징 벡터의 수는 매 입력 영상마다 15876(=81×36)개가 된다.

한편, 본 발명의 일 실시예에 따른 개체 검출부(140)는 특징 데이터 추출부(130)에 의해 추출된 특징 데이터를 기초로 하여 최종적으로 영상에서 개체를 검출하는 기능을 수행한다. 개체 검출에 사용되는 알고리즘은 여러가지가 있으나, 본 발명에서는 부스팅 분류 기반 모델, 특히, Freund와 Schapire에 의해 제안된 아다부스트(AdaBoost) 알고리즘을 사용한다.

아다부스트 알고리즘은 검출 목표 대상이 되는 개체의 영상들과 반례 영상들을 이용함으로써 최종적으로 목표로 하는 개체를 검출해내는 알고리즘이다. 아다부스트 학습 분류기의 목표 대상 학습 방법 및 목표 대상 검출방법은 공지의 논문인 「P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features." In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, 12-14, 2001」을 참조할 수 있다.

아다부스트 알고리즘은 약한 분류기(weak classifier)와 강한 분류기(strong classifier)를 사용하여 개체를 검출하는 알고리즘이다. 통상적으로 아다부스트 알고리즘은 개체를 검출하는 데에 있어서 그 오류 값을 낮추기 위해 많은 단계를 포함할 수 있으며, 각 단계에 강한 분류기가 배치될 수 있다. 각각의 강한 분류기에서는 목표 대상으로 분류된 개체의 위치와 크기를 검출 결과로 기억하는데 이러한 강한 분류기는 약한 분류기의 선형 결합으로 구성되며 일반적으로 두 종류의 클래스를 분류하기 위한 분류기로 사용된다. 약한 분류기는 검출하고자 하는 개체와 비개체(예를 들면, 자동차 영상과 비자동차 영상)가 포함된 학습 데이터들을 분류하는 데에 있어서 이들을 가장 잘 분류할 수 있는 특징 하나를 선택하는 분류기이다. 이러한 약한 분류기는 다음과 같은 수학식 4로 표현될 수 있다.

여기서, h_j(x)는 약한 분류기, p_j(x)는 특징값, δ_j는 문턱치, x는 학습영상이다. 전술한 바와 같이 강한 분류기는 여러 개의 약한 분류기의 선형 결합으로 이루어지며, 이와 함께 특징 데이터 추출부(130)에 의해 추출된 특징 데이터를 참조하여 검출 대상 개체와 비검출 대상 개체(예를 들면, 자동차와 비자동차 영상)를 구분하게 된다. 즉, 약한 분류기를 학습시킨 후 올바르게 분류된 데이터에 대해서는 낮은 에러 가중치를 부과하고 올바르지 않게 분류된 데이터에 대해서는 높은 에러 가중치를 부과하여 조건이 만족될 때까지 반복적으로 가중치의 값을 갱신한다.

본 발명에서 사용되는 아다부스트 알고리즘의 학습 과정을 설명하면 다음과 같다. 설명의 편의를 위해 검출하고자 하는 개체는 자동차인 것으로 가정한다.

먼저, N개의 입력 영상을 준비한다. N개의 입력 영상은 (x₁, y₁),…,(x_N, y_N)와 같이 표현될 수 있으며, 여기서, x_i∈X, y_i∈Y이다. 입력값 x는 64×64 크기의 학습 영상인 것으로 가정하고, y_i는 자동차 영상 및 비자동차 영상을 나타내는 것으로 자동차 영상인 경우에는 +1, 비자동차 영상인 경우에는 -1의 값을 갖는 것으로 한다. 즉, Y={-1, +1}로 표현할 수 있다.

그 후, 초기 가중치 D₁을 계산한다. i번째 가중치는 수학식 D_i(i)=1/m으로 표현될 수 있고, 여기서, i=1,…,N 이고, m은 Y 값에 있어서 양수의 개수이다.

다음으로, 최소의 에러값을 갖는 약한 분류기를 선택하고, 선택된 약한 분류기에 대해 가중치를 갱신함으로써 약한 분류기를 생성한다. 이 단계는 다음의 과정을 T번 반복 수행함으로써 이루어질 수 있다. 먼저, 아래의 수학식 5로 표현되는 에러값 ε_j가 최소값이 되는 h_j 값을 계산한다.

여기서, t=1,…,T 이고, j=1,…,"초기 특징의 개수" 이다. ε_j가 최소값이 되는 h_j 값에 대해, (ε_t, h_t)라고 표현하기로 한다.

그 후, 가중치를 아래와 같이 계산한다.

가중치 계산 후에는 가중치 D_t+1를 아래의 수학식 7과 같이 갱신한다.

위의 과정을 T번 반복한 후에는 최종적인 강한 분류기를 아래의 수학식 8과 같이 형성해낸다.

이러한 방식에 의해 검출하고자 하는 개체와 비개체를 구별하는 데에 결정적인 역할을 하는 특징들을 선택할 수 있고, 상기한 바와 같은 강한 분류기는 이러한 특징들의 선형적 결합이라고 볼 수 있다. 따라서, 위의 방법으로 얻어지는 강한 분류기를 통해 소정 영상이 검출하고자 하는 개체를 포함하고 있는 지 여부를 판단해낼 수 있게 된다.

본 발명의 일 실시예에 따른 개체 검출부(140)는 위와 같이 얻어지는 강한 분류기를 이용하여 실시간으로 영상에 있어서의 개체를 찾아낸다. 일례로서, 개체는 자동차일 수 있는데, 개체 검출부(140)는 강한 분류기를 통해 소정 형상(예를 들면, 사각형 형상)의 마스크를 만들어내고 이를 이용하여 입력 패턴에 대한 특징값을 찾아낸다. 찾아낸 특징값이 소정의 임계값을 만족하면 개체 검출부(140)는 해당 입력 패턴이 검출하고자 하는 개체인 것으로 판단할 수 있다.

본 발명의 일 실시예에 따른 제어부(150)는 영상 정보 수신/인식부(110), 탐색 영역 추출부(120), 특징 데이터 추출부(130), 개체 검출부(140) 및 통신부(160) 간의 데이터의 흐름을 제어하는 기능을 수행한다.

또한, 본 발명의 일 실시예에 따른 통신부(160)는 본 발명에 따른 개체 검출 시스템(100)이 외부 장치 등과 통신할 수 있도록 하는 기능을 수행할 수 있다.

개체 검출 과정

이하에서는, 도 4를 참조하여 본 발명의 일 실시예에 따른 개체 검출 시스템(100)이 개체를 검출하는 과정에 대해 설명하기로 한다. 설명의 편의를 위해 개체 검출 대상이 되는 영상은 자동차의 전방 또는 후방에 구비되는 카메라 등의 장치에 의해 촬영된 영상이고, 검출 대상 개체는 해당 영상에서의 자동차인 것으로 가정한다.

도 4a를 참조하면, 먼저 영상이 개체 검출 시스템(100)으로 입력된다(S410). 영상은 개체 검출 시스템(100)의 영상 정보 수신/인식부(110)에 입력될 수 있다. 다음으로, 입력된 영상을 대상으로 탐색 영역을 추출해낸다(S420). 탐색 영역의 추출은 탐색 영역 추출부(120)에 의해 이루어질 수 있다.

도 4b는 탐색 영역 추출부(120)가 입력된 영상에서 탐색 영역을 추출하는 과정을 나타내는 도면이다. 먼저, 탐색 영역을 추출하기 위한 스캐닝 방식, 즉, 스캔 모드를 선택한다(S421). 스캔 모드는 거시적 스캔 모드와 미시적 스캔 모드로 나뉘어 질 수 있다. 각 모드에 대한 설명은 전술한 바 있으므로 여기에서는 그 설명을 생략하기로 한다. 모드 선택 후에는 선택된 모드에 따라 변수를 설정하고 영상을 분할한다(S422, S423). 그 후, 분할된 영역 중 동일한 특성을 갖는 영역으로 판단되는 인접 영역을 다시 역으로 병합한다(S424). 병합 후에는 검출하고자 하는 개체가 존재할 가능성이 낮은 영역을 제외함으로써 최종적으로 탐색할 영역만을 추출해내는 동작을 수행한다(S425).

탐색 영역 추출이 완료된 후에는 해당 영상에서 개체 검출해내기 위한 특징 데이터를 추출하는 동작을 수행한다(S430). 전술한 바와 같이 본 발명에서는 HOG 알고리즘을 이용하여 특징 데이터를 추출해낸다. 특징 데이터 추출 후에는 아다부스트 알고리즘 등을 통해 최종적으로 개체를 검출해내는 동작을 수행한다(S440).

성능 및 구현예

본 발명에서에서 제안되는 개체 검출 알고리즘의 성능을 평가하기 위해 도로위를 주행하고 있는 자동차 영상과 주차된 자동차의 전후면 영상을 사용하여 시뮬레이션을 수행하였다. 본 발명의 일 실시예에 따른 개체 검출부(140)에서 수행하는 아다부스트 알고리즘에 있어서, 분류기 생성 시 학습에 사용된 자동차 영상은 전면 영상 137개와 후면 영상 100개를 포함하여 모두 237개이고, 인식률 평가를 위해 비자동차 영상 300개를 사용하였다. 따라서, 전체 학습영상은 537개로 하였다. 또한, 64×64×8 비트 크기를 갖는 영상을 사용하였다. 도 5는 본 발명의 일 실시예에 따른 개체 검출부(140)에서 분류기 생성 시 사용된 학습 영상의 일부를 나타낸다.

개체 검출기(140)가 생성해낸 분류기의 성능평가를 위해 1037개의 영상을 사용하였다. 이 중 앞서 언급한 537개 영상에 대해서는 학습을 실시하였고, 나머지 500개 영상에 대해서는 학습을 실시하지 아니하였다.

다음의 표 1 및 표 2는 각각 학습 영상과 비학습 영상을 입력 영상으로 하여 개체를 분류한 결과를 나타내는 표이다.

학습 영상 및 15876개 HOG 특징 사용		분류 결과(%)
		지동차	비자동차
학습영상 (537개)	자동차(237)	100	0.0
	비자동차(300)	0.0	100

비학습 영상 및 15876개 HOG 특징 사용		분류 결과(%)
		지동차	비자동차
비학습영상 (500개)	자동차(200)	97.00	3.00
	비자동차(300)	0.33	99.67

표 1 및 표 2를 참조하면, 학습 영상을 사용하여 분류한 결과는 진양성(True Positive; 자동차를 자동차로 인식해낸 경우) 및 진음성(True Negative; 비자동차를 비자동차로 인식해낸 경우) 모두 100% 인식률을 얻었음을 알 수 있다. 한편, 비학습 영상을 사용한 결과는 가양성(False Positive; 비자동차를 자동차로 인식해낸 경우)이 0.33%이고, 가음성(False Negative; 자동차를 비자동차로 인식해낸 경우)이 3.0%로 나타났으며, 진양성 및 진음성은 각각 97.00%, 99.67%를 나타내었다는 것을 알 수 있다.

도 6는 학습 영상 및 비학습 영상에 대한 개체 검출 결과 및 오차율을 나타내는 그래프이다. 먼저, 도 6a 내지 도 6d는 각각 학습 영상과 비학습 영상에 있어서 특징 벡터의 수에 대한 진양성, 진음성, 가음성, 가양성 비율을 나타내는 그래프이고, 도 6e는 학습 영상 및 비학습 영상에 대한 검출율 및 오차율을 나타내는 그래프이다.

도 6a 내지 도 6e를 통해 알 수 있는 바와 같이, 학습 영상에 대한 검출 결과가 비학습 영상에 대한 검출 결과에 비해 우수함을 알 수 있다. 즉, 학습 영상에 대해서는 특징 벡터가 충분하면 진양성과 진음성 비율이 100%를 보이는 반면, 비학습 영상에 대해서는 특징 벡터가 충분하더라도 100%의 진양성 및 진음성 비율을 보이지 않고, 그 인식율 또한 학습 영상에 비해 저조함을 알 수 있다. 구체적으로, 특징 벡터의 수가 400개 정도일 때 학습 영상의 경우에는 100%의 인식율을 보였으나, 비학습 영상의 경우에는 93%의 인식률을 나타내었고, 특히 가양성에 대해서는 학습 영상의 특징 벡터 수가 240개부터 0%값을 나타낸다는 것을 알 수 있다.

도 7a는 소정 영상에 대해서 탐색 영역 추출을 위해 영역 분할을 하였을 때 분할된 영역의 화소수를 나타내는 도면이다. 여기서 가로축은 영역 번호를 나타내며, 영역의 크기를 정렬하기 전과 후의 분포를 함께 나타내었다. 화소수가 소정값 이상인 영역은 개체 검출과 관련 없는 부분(예를 들면, 아스팔트 또는 하늘 부분)일 가능성이 크므로 본 발명에서는 이러한 부분을 제외하여 탐색 영역을 추출해낸다.

한편, 도 7b는 영역 분할을 위한 평균 문턱값 변화에 따른 탐색하여야 할 화소수와 분할 영역의 수를 나타내는 그래프이다. 도 7b에서 알 수 있는 바와 같이, 영역의 수가 증가할수록 개체 검출을 위해 탐색하여야 할 화소수도 증가하고, 반대로 영역의 수가 감소할수록 탐색 대상 화소수가 감소한다. 영역의 수가 감소한다는 것은 개체 검출과 관련 없는 영역이 그만큼 많다는 것이고, 이러한 영역이 탐색 영역에서 제외되면 탐색하여야 할 화소수가 자연스럽게 감소되는 이유 때문이다.

도 8 내지 도 11은 본 발명의 일 실시예에 따른 개체 검출 방법을 시뮬레이션 한 결과를 나타낸다.

도 8a, 도 9a, 도 10a, 도 11a는 탐색 영역 추출을 위해 소정 스캔 모드에 따라 영상을 분할한 결과를 나타내며, 도 8b, 도 9b, 도 10b, 도 11b는 각각 도 8a, 도 9a, 도 10a, 도 11a의 영상에서 분할된 영역의 경계를 나타내는 도면이다. 한편, 도 8c, 도 9c, 도 10c, 도 11c는 개체 검출을 위해 탐색할 부분만을 추출한 결과를 나타낸다. 탐색 영역에서 제외되는 부분은 면적이 가장 큰 순서대로 소정 개수의 영역(예를 들면, 2개의 영역)일 수 있다. 한편, 도 8d, 도 9d, 도 10d, 도 11d는 최종적으로 개체, 즉, 자동차가 검출된 영역을 원 영상과 함께 나타내는 도면이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다.　 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시 예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

110: 영상 정보 수신/인식부
120: 탐색 영역 추출부
130: 특징 데이터 추출부
140: 개체 검출부
121: 스캔 모드 선택부
122: 영상 분할부
123: 영상 병합부
124: 영역 추출부

Claims (16)

1. 검출하고자하는 개체가 포함된 배경의 복잡도에 따라, 영상분할을 위한 설정 변수인 평균 및 분산을 상대적으로 큰 값으로 설정하는 거시적 스캔 모드 또는 영상분할을 위한 설정 변수인 평균 및 분산을 상대적으로 작은 값으로 설정하는 미시적 스캔 모드를 선택하는 단계;
   선택된 상기 스캔 모드에 따라 입력 영상을 하나 이상의 영역으로 분할하는 단계;
   상기 분할된 영역들 중 서로 유사한 특성을 갖는 인접 영역을 병합하는 단계;
   상기 분할 또는 병합된 영역 중 화소수가 가장 큰 순서대로 소정 개수의 영역을 제외시켜, 상기 분할 또는 병합된 영역 중 탐색 영역을 추출하는 단계;
   상기 탐색 영역에서 상기 개체를 검출하기 위한 특징 벡터를 포함하는 특징 데이터를 추출하는 단계; 및
   상기 특징 데이터를 이용하여 상기 탐색 영역으로부터 상기 개체를 검출하는 단계
   를 포함하는 개체 검출 방법.
   
2. 제1항에 있어서,
   상기 분할 단계는,
   상기 분할된 영역이 균일한 특성을 가질 때까지 해당 영역에 대해 계속적으로 분할을 수행하는 개체 검출 방법.
   
3. 제1항에 있어서,
   상기 병합 단계는,
   상기 분할된 영역 중 인접하는 영역 간의 특성 차이가 임계값 이하인 경우 상기 병합을 수행하는 단계를 포함하는 개체 검출 방법.
   
4. 제2항 또는 제3항에 있어서,
   상기 특성은 화소, 평균, 분산, 모멘트, 컬러 또는 텍스쳐 중 선택되는 일 이상의 특성인
   개체 검출 방법.
   
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 특징 데이터 추출 단계는,
   HOG(Histogram of Oriented Gradient) 알고리즘을 이용하여 상기 탐색 영역에 대한 특징 벡터를 추출하는 단계를 포함하는 개체 검출 방법.
   
8. 제1항에 있어서,
   상기 개체 검출 단계는,
   아다부스트(Adaboost) 알고리즘을 이용하여 생성되는 분류기를 통해 상기 개체와 비개체를 검출하는 단계를 포함하는 개체 검출 방법.
   
9. 검출하고자하는 개체가 포함된 배경의 복잡도에 따라, 영상분할을 위한 설정 변수인 평균 및 분산을 상대적으로 큰 값으로 설정하는 거시적 스캔 모드 또는 영상분할을 위한 설정 변수인 평균 및 분산을 상대적으로 작은 값으로 설정하는 미시적 스캔 모드를 선택하는 스캔 모드 선택부;
   선택된 상기 스캔 모드에 따라 입력 영상을 하나 이상의 영역으로 분할하는 영역 분할부;
   상기 분할된 영역들 중 서로 유사한 특성을 갖는 인접 영역을 병합하는 영역 병합부;
   상기 분할 또는 병합된 영역 중 화소수가 가장 큰 순서대로 소정 개수의 영역을 제외시켜, 분할 또는 병합된 영역 중 탐색 영역을 추출하는 영역 추출부;
   상기 탐색 영역에서 상기 개체를 검출하기 위한 특징 벡터를 포함하는 특징 데이터를 추출하는 특징 데이터 추출부; 및
   추출된 상기 특징 데이터를 통해 상기 탐색 영역으로부터 상기 개체를 검출하는 개체 검출부
   를 포함하는 개체 검출 시스템.
   
10. 제9항에 있어서,
    상기 영역 분할부는,
    상기 분할된 영역이 균일한 특성을 가질 때까지 해당 영역에 대해 계속적으로 분할을 수행하는 개체 검출 시스템.
    
11. 제9항에 있어서,
    상기 영역 병합부는,
    상기 분할된 영역 중 인접하는 영역 간의 특성 차이가 임계값 이하인 경우 상기 병합을 수행하는 개체 검출 시스템.
    
12. 제10항 또는 제11항에 있어서,
    상기 특성은 화소, 평균, 분산, 모멘트, 컬러 또는 텍스쳐 중 선택되는 일 이상의 특성인 개체 검출 시스템.
    
13. 제9항에 있어서,
    상기 스캔 모드 선택부는,
    상기 거시적 스캔 모드는 영상분할을 위한 설정 변수인 평균 및 분산을 상대적으로 큰 값으로 설정하고, 상기 미시적 스캔 모드는 영상분할을 위한 설정 변수인 평균 및 분산을 상대적으로 작은 값으로 설정하는
    개체 검출 시스템.
    
14. 삭제
15. 제9항에 있어서,
    상기 특징 데이터 추출부는,
    HOG(Histogram of Oriented Gradient) 알고리즘을 이용하여 상기 탐색 영역에 대한 특징 벡터를 추출하는 개체 검출 시스템.
    
16. 제9항에 있어서,
    상기 개체 검출부는,
    아다부스트(Adaboost) 알고리즘을 이용하여 생성되는 분류기를 통해 상기 개체와 비개체를 검출하는 개체 검출 시스템.

Images