KR100316784B1 - 계층적신경망을이용한물체감지장치및방법 - Google Patents

Abstract

본 발명은 계층적 신경망을 이용한 물체 감지 장치 및 방법에 관한 것으로, 계층적 신경망을 이용한 물체 감지 장치는 입력 영상에 혼입된 잡음 및 주변 조명 변화의 영향을 감소하도록 입력 영상을 전처리하는 전처리부; 전처리된 영상을 저해상도를 갖는 영상으로 변환하는 저해상도 변환부; 저해상도 영상을 소정의 블록단위로 탐색하되, 블록내의 각 픽셀 값을 입력으로하는 제1신경망의 출력으로부터 물체가 있을 가능성이 있는 블록을 찾는 물체 후보 블록 검사부; 물체 후보 지역 검사부에서 찾아진 물체 후보 블록의 위치를 저장하는 물체 후보 블록의 위치 저장부; 전처리된 영상에서 위치 저장부에 저장된 위치에 해당하는 블록만을 선택하여 선택된 블록에 해당하는 영상을 저해상도 영상보다 높은 해상도를 갖는 영상으로 변환하는 고해상도 변환부; 및 고해상도로 변환된 영상의 각 픽셀값을 입력으로하는 제2신경망의 출력값에 따라 물체를 감지하는 물체 감지부를 포함한다.

본 발명에 의하면, 낮은 해상도의 영상에 대해 물체가 있을 가능성이 있는 블록을 탐색하고 탐색된 블록에 대해서만 해상도를 높여서 물체를 감지하게 되므로 영상에서 물체 감지 속도가 빠르다.

Description

계층적 신경망을 이용한 물체 감지 장치 및 방법

본 발명은 계층적 신경망을 이용한 물체 감지 장치 및 방법에 관한 것으로, 특히 계층적 신경망을 이용하여 입력영상내의 물체의 유무 및 위치를 감지하는 장치 및 방법에 관한 것이다.

컴퓨터를 사용한 물체 감지 기술은 컴퓨터에서 시각적으로 자동화된 기능을 부여하여 목표하는 물체를 스스로 발견하게하는 기술이다. 군사분야에서의 무인 정찰기, 무인 탱크, 로봇의 시각 제어부분, 일반 개인용 컴퓨터에서 사용자의 움직임을 발견하기 위한 시각적 인터페이스 또는 공장 자동화 등 많은 분야에서 인간의 시각과 유사한 기능을 필요로 하고있다. 근래에 들어 신경망을 이용한 패턴인식, 물체인식 또는 물체 감지 기술들이 실제로 제품에 응용되고있다. 신경망은 대상 물체의 부분적인 왜곡에도 강력한 성능을 발휘하며 다른 기술보다 고도로 발달된 일반화/추상화 능력(비슷한 예제들을 보고 공통되며 중요한 특징을 추출/파악하는 능력)을 지닌다.

신경망을 사용한 물체 감지에 있어서, 종래의 방법으로는 방(R, Bang) 등의 비디오 이미지에서 얼굴을 감지하는 장치 및 방법(Appratus and method for detecting a face in a video image, 미국 특허 5,715,325) 및 포지오(T. Poggio) 등의 네트웍을 기반으로하는 얼굴 감지 시스템 및 방법(Network-based system anf method for detection of faces and the like, 미국 특허번호 5,642,431) 등이 있다.

그러나, 방 등의 방법은 신경망을 사용하지않고 영상을 이진화한 후 목표 물체를 감지하는 방법이며, 주변의 심한 조명 변화로 인하여 물체 표면에 생기는 밝기 정보의 변화에 따라 감지 성능이 크게 좌우되는 문제점이 있다.

포지오 등의 방법은 신경망을 한 단계만 적용하므로 물체 감지의 정확도를 높이기위해서는 감지속도가 느려진다는 문제점이 있다. 왜냐하면 감지의 정확도를 높이기 위해서는 입력 영상의 해상도가 높아야하며 이와 함께 신경망이 처리해야할 영상 정보가 늘어나기 때문이다.

이를 좀 더 구체적으로 설명하면, MxN 해상도의 입력 영상에 mxn 해상도로 예상되는 목표물체를 찾는 경우, 신경망의 입력층을 mxn 해상도로 구성한다면 가장 고해상도의 신경망을 적용하는 것이다. 이 경우, MxN의 입력 영상에 특별히 잡음이 많지않다면 가장 정확한 감지 성능을 갖게된다. 그러나, mxn 신경망 필터를 이용하여 MxN 입력영상 전역을 탐색해야하므로 가장 많은 계산시간을 요하게 된다. 실제로 MxN 입력 영상에는 카메라 혹은 조명 특성에 기인한 잡음이 존재하여 영상 감지 및 인식 성능을 저하시키기도 한다. 따라서, 일반적으로 mxn보다 작은 pxq의 해상도를 처리하는 신경망을 이용한다. 이 경우, MxN 해상도의 입력 영상 전체를 수평방향으로 m/p. 수직방향으로 n/q 만큼 축소하여 신경망의 입력층에 입력한다. 그러나, 이러한 방법은 최소한 pxq 해상도의 신경망 필터를 MxN 해상도의 입력영상 전역에서 탐색하는 탐색시간이 요구되며 이는 시간당 처리해야 할 영상 프레임 수가 많아질수록 한계점에 다다른다.

본 발명이 이루고자하는 기술적 과제는 저해상도의 영상을 입력으로하는 제1신경망을 이용하여 물체가 있을 가능성이 있는 위치를 대략 감지한 다음, 감지된 위치에서 고해상도의 영상을 입력으로하는 제2신경망을 이용하여 물체를 감지하는 계층적 신경망을 이용한 물체 감지 장치 및 방법을 제공하는데 있다.

도 1은 본 발명에 따른 계층적 신경망을 이용한 물체 감지 장치에 대한 블록도이다.

도 2는 저해상도 영상을 탐색하는 과정을 도시한 것이다.

도 3은 목표 물체에 대해 서로 다른 해상도를 갖는 영상에 대한 신경망의 학습과정을 도시한 것이다.

도 4는 고해상도 영상에 대한 도 1의 물체 감지부의 동작을 도시한 것이다.

도 5는 세 단계의 신경망을 사용하여 물체를 감지하는 방법을 도시한 것이다.

상기 기술적 과제를 이루기 위한, 본 발명에 따른 계층적 신경망을 이용한 물체 감지 장치는 입력 영상에 혼입된 잡음 및 주변 조명 변화의 영향을 감소하도록 상기 입력 영상을 전처리하는 전처리부; 상기 전처리된 영상을 저해상도를 갖는 영상으로 변환하는 저해상도 변환부; 상기 저해상도 영상을 소정의 블록단위로 탐색하되, 상기 블록내의 각 픽셀 값을 입력으로하는 제1신경망의 출력으로부터 물체가 있을 가능성이 있는 블록을 찾는 물체 후보 블록 검사부; 상기 물체 후보 지역 검사부에서 찾아진 물체 후보 블록의 위치를 저장하는 물체 후보 블록의 위치 저장부; 상기 전처리된 영상에서 상기 위치 저장부에 저장된 위치에 해당하는 블록만을 선택하여 상기 선택된 블록에 해당하는 영상을 상기 저해상도 영상보다 높은 해상도를 갖는 영상으로 변환하는 고해상도 변환부; 및 상기 고해상도로 변환된 영상의 각 픽셀값을 입력으로하는 제2신경망의 출력값에 따라 물체를 감지하는 물체 감지부를 포함한다.

상기 기술적 과제를 이루기 위한, 본 발명에 따른 계층적 신경망을 이용한 물체 감지 방법은 입력영상에 혼입된 잡음 및 주변 조명 변화의 영향을 감소하도록 상기 입력 영상을 전처리하는 단계; 상기 전처리된 영상을 저해상도를 갖는 영상으로 변환하고 소정 크기의 블록단위로 상기 저해상도 영상을 탐색하되, 상기 블록의 각 픽셀값을 입력으로하는 제1신경망의 출력이 소정 값 이상이면 상기 블록의 위치를 저장하는 단계; 및 상기 전처리된 영상으로부터 상기 저장된 위치의 블록에 해당하는 영상을 추출하고 상기 추출된 영상을 상기 저해상도 영상보다 높은 해상도를 갖는 영상으로 변환하여 상기 변환된 영상의 각 픽셀값을 입력으로하는 제2신경망의 출력값에 따라 물체를 감지하는 단계를 포함한다.

상기 기술적 과제를 이루기 위한, 본 발명에 따른 계층적 신경망을 이용한물체 감지 방법은 입력영상에 혼입된 잡음 및 주변 조명 변화의 영향을 감소하도록 상기 입력 영상을 전처리하는 단계; 상기 전처리된 영상을 상기 전처리된 영상보다 저해상도를 갖는 영상으로 변환하고 소정 크기의 블록단위로 상기 저해상도 영상을 탐색하되, 상기 입력영상과 같은 크기의 저장부를 구비하여 상기 블록내의 각 픽셀값을 입력으로하는 제1신경망의 출력값이 소정 값 이상일 때 상기 출력값을 상기 블록의 중심 픽셀 위치에 해당하는 저장부에 저장하는 단계; 상기 저장된 값들이 소정의 범위내에서 이웃해있으면, 상기 이웃한 값들을 포함하도록 상기 블록을 형성하여 상기 블록 위치를 저장하는 단계; 및 상기 전처리된 영상으로부터 상기 저장된 위치의 블록에 해당하는 영상을 추출하고 상기 추출된 영상을 상기 저해상도 영상보다 높은 해상도를 갖는 영상으로 변환하여 상기 변환된 영상의 각 픽셀값을 입력으로하는 제2신경망의 출력으로부터 물체를 감지하는 단계를 포함한다.

이하에서 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명하기로 한다.

도 1은 본 발명에 따른 계층적 신경망을 이용한 물체 감지 장치에 대한 블록도이다. 도 1에 따른 장치는 전처리부(100), 저해상도 변환부(102), 물체 후보 블록 검사부(104), 후보 블록의 위치 저장부(106), 블록 선택부(108), 고해상도 변환부(110) 및 물체 감지부(112)를 포함한다.

그 동작은 다음과 같다. 전처리부(100)는 입력 영상에 혼입된 잡음 및 주변 조명 변화에 의한 영향을 줄이도록 히스토그램 평활화와 같은 전처리를 수행한다. 저해상도 변환부(102)는 전처리부(100)에서 전처리된 영상을 저해상도를 갖는 영상으로 변환한다. 물체 후보 블록 검사부(104)는 저해상도 영상을 소정의 블록단위로 탐색하여 믈체가 있을 가능성이 있는 블록을 찾는다. 탐색은 신경망을 이용한다. 상술한 블록을 이루는 각 픽셀값을 입력으로하는 신경망의 출력값으로부터 물체가 있는지를 결정한다. 탐색된 블럭에 물체가 있을 가능성이 있다면, 후보 블록의 위치 저장부(106)는 해당 블록의 위치를 저장한다. 저장되는 블록의 위치는 블록의 각 꼭지점에 해당하는 픽셀 위치이다. 블록 선택부(108)는 저장된 블록 위치에 해당하는 영상을 전처리된 영상으로부터 얻는다. 고해상도 변환부(110)는 블록 선택부(108)에서 선택된 블록 영상을 전처리된 영상의 해상도보다 낮고, 상술한 저해상도 영상보다는 높은 해상도를 갖는 영상으로 변환한다. 물체 감지부(112)는 고해상도의 블록 영상의 각 픽셀값을 입력으로하는 신경망의 출력값에 따라 물체를 감지한다.

각 구성요소의 동작을 좀 더 자세히 설명하면 다음과 같다. 저해상도 변환부(102)는 예를 들어 MxN 해상도의 전처리된 영상을 M'xN'(M'<M, N'<N) 해상도의 영상으로 변환한다. 물체 후보 블록 검사부(104)는 저해상도 변환부(102)에서 변환된 M'xN' 해상도의 영상을 LwxLh 크기의 블록단위로 탐색하여 물체가 있을 가능성이 있는 블록을 찾는다. 탐색은 소정의 픽셀씩 블록을 중첩(overlap)하여 이루어지도록 한다. 도 2는 이러한 과정을 도시한 것이다. 참조번호 200은 M'xN' 해상도로 변환된 영상이며, 202는 LwxLh 해상도의 블록이다. 204는 탐색한 결과 물체가 있을 가능성이 있는 블록을 나타낸다.

LwxLh 해상도의 블록내에 있는 각 픽셀값들은 물체 후보 블록 검사부(104)를구성하는 제1신경망(미도시)의 각 입력노드에 입력된다. 제1신경망은 이미 학습한 바에 따라 소정의 값을 출력한다.

학습은 공지된 역전파(Back Propagation) 방법 등에 따라 이루어진다. 도 3은 목표 물체에 대해 서로 다른 해상도를 갖는 영상에 대한 신경망의 학습과정을 도시한 것이다. 도 3(a)는 10x10 해상도의 입력노드를 갖는 신경망을 학습시키는 과정이고, 도 3(b) 및 도 3(c)는 차례로 해상도가 높은 영상에 대해 각각 입력노드를 증가시켜서 학습시키는 과정을 설명한 것이다.

물체가 있을 가능성에 대한 판단의 한 방법은 제1신경망의 출력값이 임계치보다 큰가 작은가에 따라 이루어진다. 즉, 신경망의 출력값이 임계치보다 크다면 물체가 있을 가능성이 있다고 판단하여 후보 블록의 위치 저장부(106)에 현재 탐색중인 블록 위치를 저장한다.

물체가 있을 가능성에 대한 판단의 다른 방법은 상술한 영상과 동일한 크기의 저장부를 구비하여 제1신경망의 출력값이 제2임계치보다 크면, 현재 탐색중인 블록의 중심에 해당하는 픽셀 위치에 상응하는 저장부의 위치에 그 출력값을 저장한다. 저해상도 영상에 대한 탐색이 완료되면, 저장된 값들이 소정의 범위내에서 이웃해있는지를 점검한다. 만일 이웃한 값들이 있다면, 이 부분에 물체가 있을 가능성이 있다고 판단하여 이웃한 값들을 중심으로 소정 크기의 블록을 형성하고 그 블록 위치를 후보 블록의 위치 저장부(106)에 저장한다.

블록 선택부(108)는 후보 블록의 위치 저장부(106)에 저장된 블록 위치를 읽어서 전처리부(100)의 출력 영상으로부터 해당 블록 영상을 얻는다. 고해상도 변환부(110)는 블록 선택부(108)에서 얻어진 영상으로부터 상술한 저해상도의 영상보다 높은 해상도를 갖는 영상으로 변환한다. 물체 감지부(112)는 고해상도로 변환된 영상의 각 픽셀값을 입력으로하는 제2신경망을 통해 물체를 감지한다. 제1신경망의 경우와 마찬가지로 그 출력값이 소정 이상이면 물체라고 판단된다. 제2신경망의 학습방법과 동작은 상술한 제1신경망의 경우와 동일하다.

도 4는 고해상도 영상에 대한 물체 감지부(112)의 동작을 도시한 것이다. 참조번호 402는 블록 선택부(108)에 의해 전처리된 영상으로부터 선택되고 고해상도로 변환된 영상이고, 404는 물체 감지부(112)이다.

도 5는 세 단계의 신경망을 사용하여 물체를 감지하는 방법을 도시한 것이다. 여기서, 감지하고자하는 물체는 사람의 얼굴이다. 도 5(a)는 전처리된 영상을 40x30의 해상도를 갖는 영상(500)으로 변환하고, 10x10 크기의 입력노드를 갖는 제1신경망(502)을 사용하여 물체가 있을 가능성이 있는 블록을 탐색하여 제1물체 후보위치(504)와 제2물체 후보위치(506)를 저장한다. 도 5(b)는 도 5(a)단계에서 저장된 물체 후보위치에 대해서 해상도를 80x60으로 높여서 20x20 크기의 입력노드를 갖는 제2신경망을 이용하여 물체를 얼굴을 감지한다. 감지결과 제1물체 후보(510)만이 물체로 감지된다. 512는 물체 후보에서 제외된다. 도 5(c)는 도 5(b)에 대해 좀 더 정확하게 감지하기위해 제1물체 후보에 대해서만 해상도를 320x240으로 높여서 80x80 크기의 입력노드를 갖는 제3신경망(520)을 이용하여 물체(520)를 감지한다.

본 발명에 의하면, 낮은 해상도의 영상에 대해 물체가 있을 가능성이 있는 블록을 탐색하고 탐색된 블록에 대해서만 해상도를 높여서 물체를 감지하게 되므로 영상에서 물체 감지 속도가 빠르다. 또한, 물체 감지에 신경망을 사용하므로 유지보수가 간편하고, 새로운 물체를 감지하기 위한 성능조절이 간단하며 제품별 감지성능을 제작자가 조정/정의할 수 있다.

본 발명은 사용자-컴퓨터의 시각 인터페이스에 사용되어 사용자의 움직임, 표정인식을 위한 기본 기술로 사용될 수 있다. 예를 들어, 자동차나 항공기 또는 우주선내에서 운전자/조종사의 눈 응시 방향 또는 눈의 개폐여부에 따른 졸음 감지 등과 같은 운전자/조종사의 상태를 감지한다. 또는 눈 응시에 따른 마우스 포인터 조정 등과 같은 일반 컴퓨터 사용자 인터페이스에 적용될 수 있고, 공항이나 은행에서 특정 인물 또는 물체 추적, 일정한 공간내에 무질서하게 위치해있는 개체수 파악과 같은 보안용으로도 적용가능하다.

Claims (3)

1. 입력 영상에 혼입된 잡음 및 주변 조명 변화의 영향을 감소하도록 상기 입력 영상을 전처리하는 전처리부;

   상기 전처리된 영상을 저해상도를 갖는 영상으로 변환하는 저해상도 변환부;

   제1신경망을 구비하고, 상기 저해상도 변환부에서 출력되는 영상의 각 픽셀 값을 소정 블록단위로 상기 제1신경망에 입력하여 그 출력값으로부터 물체가 있을 가능성이 있는 블록을 찾는 물체 후보 블록 검사부;

   상기 물체 후보 블록 검사부에서 찾아진 물체 후보 블록의 위치를 저장하는 물체 후보 블록의 위치 저장부;

   상기 전처리된 영상에서 상기 물체 후보 블록의 위치 저장부에 저장된 위치에 해당하는 블록의 영상만을 선택하여 상기 저해상도 영상보다 높은 해상도를 갖는 영상으로 변환하는 고해상도 변환부; 및

   제2신경망을 구비하고, 상기 고해상도로 변환된 영상의 각 픽셀값들을 상기 제2신경망으로 입력하여 그 출력값으로부터 물체를 감지하는 물체 감지부를 포함함을 특징으로하는 계층적 신경망을 이용한 물체 감지 장치.
2. 입력영상에 혼입된 잡음 및 주변 조명 변화의 영향을 감소하도록 상기 입력 영상을 전처리하는 단계;

   상기 전처리된 영상을 저해상도를 갖는 영상으로 변환하고 소정 크기의 블록단위로 상기 저해상도 영상을 탐색하되, 상기 블록의 각 픽셀값을 입력으로하는 제 1신경망의 출력이 소정 값 이상이면 상기 블록의 위치를 저장하는 단계; 및

   상기 전처리된 영상으로부터 상기 저장된 위치의 블록에 해당하는 영상을 추출하고 상기 추출된 영상을 상기 저해상도 영상보다 높은 해상도를 갖는 영상으로 변환하여 상기 변환된 영상의 각 픽셀값을 입력으로하는 제2신경망의 출력값에 따라 물체를 감지하는 단계를 포함함을 특징으로하는 계층적 신경망을 이용한 물체 감지 방법.
3. 입력영상에 혼입된 잡음 및 주변 조명 변화의 영향을 감소하도록 상기 입력 영상을 전처리하는 단계;

   상기 전처리된 영상을 상기 전처리된 영상보다 저해상도를 갖는 영상으로 변환하고 소정 크기의 블록단위로 상기 저해상도 영상을 탐색하되, 상기 입력영상과 같은 크기의 저장부를 구비하여 상기 블록내의 각 픽셀값을 입력으로하는 제1신경망의 출력값이 소정 값 이상일 때 상기 출력값을 상기 블록의 중심 픽셀 위치에 해당하는 저장부에 저장하는 단계;

   상기 저장된 값들이 소정의 범위내에서 이웃해있으면, 상기 이웃한 값들을 포함하도록 상기 블록을 형성하여 상기 블록 위치를 저장하는 단계; 및

   상기 전처리된 영 상으로부터 상기 저장된 위치의 블록에 해당하는 영상을 추출하고 상기 추출된 영상을 상기 저해상도 영상보다 높은 해상도를 갖는 영상으로 변환하여 상기 변환된 영상의 각 픽셀값을 입력으로하는 제2신경망의 출력으로부터 물체를 감지하는 단계를 포함함을 특징으로하는 계층적 신경망을 이용한 물체 감지 방법.