KR20140046131A

KR20140046131A - 영상 인식 하드웨어 고속화장치 및 방법

Info

Publication number: KR20140046131A
Application number: KR1020120112174A
Authority: KR
Inventors: 서기범
Original assignee: 우송대학교 산학협력단; 아스텔 주식회사
Priority date: 2012-10-10
Filing date: 2012-10-10
Publication date: 2014-04-18
Also published as: KR101463744B1

Abstract

본 발명은 본 발명은 영상 인식 하드웨어 고속화장치 및 방법에 관한 것으로서, 구체적으로는 입력된 영상을 적분영상으로 변환하여 적분영상저장부에 저장하고, 저장된 적분영상을 미리 결정된 스캔방법에 따라 스캔하여 미리 결정된 크기의 검출윈도우부에 입력하며, 학습부로부터 학습된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부에 입력된 상기 객체 검출용 적분영상으로부터 객체가 검출되는 영상 인식 하드웨어 고속화장치 및 방법을 제공한다.

Description

영상 인식 하드웨어 고속화장치 및 방법 {APPARATUS FOR ACCELERATION OF IMAGE RECOGNITION AND METHOD THEREFOR}

본 발명은 영상 인식 하드웨어 고속화장치 및 방법에 관한 것으로서, 구체적으로는 입력된 영상을 적분영상으로 변환하여 적분영상저장부에 저장하고, 저장된 적분영상을 미리 결정된 스캔방법에 따라 스캔하여 미리 결정된 크기의 검출윈도우부에 입력하며, 학습부로부터 학습된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부에 입력된 상기 객체 검출용 적분영상으로부터 객체가 검출되는 영상 인식 하드웨어 고속화장치 및 방법에 관한 것이다.

사람의 신체 정보를 이용하는 생체 인식 기술의 발전에 따라 얼굴, 홍채, 지문, 망막 등을 이용한 신원 인증방법은 기존의 열쇠, 번호 등을 이용한 방법을 대체해가고 있는 실정이다 특히 얼굴 인식의 경우 성형, 얼굴표정 변화 등의 가변적 요소가 커서 다른 생체 정보를 이용한 신원 인증 방법에 비해 상대적으로 인식률이 낮다는 단점에도 불구하고, 비접촉식의 편의성과 낮은 비용으로 설치 및 운용이 가능하다는 점 등의 장점을 바탕으로 현재 일부 정부 기관 및 기업, 은행 등 높은 보안을 요구하는 곳에서 다른 생체 정보 기반 인증 기술과 함께 사용되고 있으며 개인용 노트북 컴퓨터에서도 얼굴 인식을 통한 사용자 인증을 함으로서 그 활용범위가 점차 넓어지고 있다 이런 얼굴 인식이 신뢰할 만한 인식률을 얻기 위해선 영상에서 정확히 얼굴 부분만을 추출해 낼 수 있는 얼굴 검출 기술이 필수적이라고 할 수 있다. 지금까지 얼굴 검출 알고리즘은 주로 컴퓨터(PC) 기반 환경에서 동작하도록 개발되어 왔으며, 이 기술을 바로 임베디드 시스템에 적용할 경우 상대적으로 부족한 리소스와 성능 때문에 실시간으로 얼굴 검출이 불가능 하거나 낮은 검출률을 보임으로서 효율적인 얼굴 검출이 어려운 단점이 있었다. 그러나 서비스 로봇 분야의 확대로 인해 일상생활 속에 청소 로봇, 엔터테인먼트용 장난감 로봇 등 가정용 로봇 시장이 커지고 또한 휴대 전화, 디지털 카메라 등의 휴대 기기 등에서 인간의 얼굴 정보를 사용할 수 있는 활용 분야가 늘어나면서 임베디드 시스템에서의 고성능 실시간 얼굴 검출 기술의 필요성은 더욱더 커져가고 있다.

일반적인 얼굴검출 방법으로 아다부스트(adaboost)알고리즘을 이용하여 얼굴을 찾아내는 방법을 사용한다. 이 방법은 화면축소와 객체검출을 소프트웨어(software)적으로 처리하는데 Full HD와 같은 큰 영상을 처리하는데 많은 계산 양을 가지고 있어, 처리 시간이 많이 걸린다는 단점이 있다.

한국공개특허 [10-2010-0102449]에서는 얼굴검출장치 및 이를 이용한 얼굴검출방법이 개시되어 있다.

한국공개특허 [10-2010-0102449]

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 적분영상저장부에 저장된 적분영상으로부터 객체가 검출되고, 적분영상부에 저장된 적분영상을 축소해 가며 축소된 적분영상으로부터 객체가 검출되며, 크게 적분영상으로부터 객체가 검출되는 과정과 적분영상이 축소되는 과정으로 나눌 수 있으며, 이 중 객체가 검출되는 과정과 적분영상이 축소되는 과정의 병렬처리가 가능하여 고해상도에서 실시간 객체 검출이 가능한 영상 인식 하드웨어 고속화장치 및 방법을 제공하는데 그 목적이 있다.

상기한 바와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치에 있어서, 학습 데이터를 이용하여 학습하는 학습부(100); 행 및 열을 이루는 다수의 픽셀(Pixel)로 이루어지는 2차원 영상을 입력받아 적분영상이 생성되는 적분영상생성부(200); 상기 적분영상생성부(200)로부터 생성된 적분영상이 저장되는 적분영상저장부(300); 객체 검출용 적분영상을 입력받는 검출윈도우부(500); 상기 적분영상저장부(300)에 저장된 적분영상이 미리 결정된 스캔방법에 따라 스캔되며, 상기 검출윈도우부(500)의 크기에 해당하는 객체검출용 적분영상 데이터를 추출하여 상기 검출윈도우부(500)에 입력하는 추출부(600); 및 상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부(500)에 입력된 상기 객체 검출용 적분영상으로부터 객체가 검출되는 검출부(700);를 포함하여 구성되되, 상기 적분영상저장부(300)에 저장된 영상을 모두 스캔하여 검출이 완료되면, 상기 축소부(600)에 의해 상기 입력영상의 스케일을 축소해 가며 객체를 검출하는 것을 특징으로 한다.

또, 상기 적분영상저장부(300)에 저장된 적분영상이 미리 결정된 축소비율로 축소되어 상기 적분영상저장부(300)에 저장하는 축소부(400);를 더 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 검출윈도우부(500)는 M×M(M은 자연수)픽셀인 것을 특징으로 한다.

또, 상기 추출부(600)의 미리 결정된 스캔방법은 행 및 열 중 선택되는 어느 한 방향을 제1 방향, 다른 한 방향을 제2 방향이라 할 때, 미리 결정된 최초 기준점으로부터 제1 방향 우선 순으로 데이터가 입력되고, 제1 방향 데이터 입력이 종료된 후 상기 최초 기준점으로부터 1회 제2 방향으로 기준점을 이동하여 제1 방향 우선 순으로 데이터가 입력되는 것을 특징으로 한다.

또한, 상기 추출부(600)의 미리 결정된 스캔방법은 상기 최초 기준점으로부터 제1 방향 및 제2 방향 의 기준점의 이동이 2내지 M 중 선택되는 어느 하나의 픽셀이동단위로 되는 것을 특징으로 한다.

또, 상기 검출부(700)는 다음식

(α는 계수값(가중치), h₁~h_n는 약한 분류자, h_st는 강한 분류자)

에 의하여 객체의 존재 여부를 판단하는 것을 특징으로 한다.

또한, 상기 검출부(700)는 덧셈나무(adder tree) 형태로 계산되어 2^m-1<n≤2^m (n는 계산해야할 픽셀의 개수, m은 자연수)인 경우 m단계에 걸쳐 객체의 존재 여부를 판단하는 것을 특징으로 한다.

또, 상기 검출부(700)는 덧셈나무의 중간단계에 적어도 하나의 플리플롭(Flip flop)을 구비하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 상기 영상 인식 하드웨어 고속화장치는 상기 축소부(400)에 의한 적분영상의 축소와 상기 검출부(700)에 의한 객체 검출이 병렬처리 되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치에 있어서, 학습부(100), 적분영상생성부(200), 적분영상저장부(300), 축소부(400), 검출윈도우부(500), 추출부(600) 및 검출부(700)를 포함하여 구성되는 영상 인식 하드웨어 고속화장치를 이용한 영상 인식 하드웨어 고속화방법에 있어서, 행 및 열을 이루는 다수의 픽셀로 이루어지는 2차원 영상을 입력받는 영상입력단계(S10); 적분영상생성부(200)에 의해 상기 영상입력단계(S10)에서 입력된 영상이 적분영상으로 변환되는 적분영상변환단계(S20); 상기 적분영상변환단계(S20)에서 변환된 적분영상이 상기 적분영상저장부(300)에 저장되는 적분영상저장단계(S30); 및 상기 검출부(700)에 의해 상기 적분영상저장단계(S30)에서 저장된 적분영상으로부터 상기 검출윈도우부(500)를 이용하여 상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 객체가 검출되는 객체검출단계(S40);를 포함하여 이루어지는 것을 특징으로 한다.

또한, 상기 객체검출단계(S40)는 미리 결정된 기준점을 기준으로 상기 검출윈도우부(500)에 데이터가 입력되는 검출윈도우부 입력단계(S41); 상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부(500)에 입력된 데이터로부터 객체가 검출되는 검출단계(S42); 행 및 열 중 선택되는 어느 한 방향을 제1 방향, 다른 한 방향을 제2 방향이라 할 때, 기준점의 제1 방향 이동이 가능한지 판단되는 제1 방향 이동 판단단계(S43); 상기 제1 방향 이동 판단단계(S33)에서 제1 방향 이동이 가능한 것으로 판단되면 기준점을 제1 방향 이동 시키는 기준점 제1 방향 이동단계(S44); 상기 검출윈도우부 입력단계(S41)부터 상기 단계들이 순차적으로 반복되는 제1 반복단계; 상기 제1 방향 이동 판단단계에서 제1 방향 이동이 불가능한 것으로 판단되면 기준점의 제2 방향 이동이 가능한지 판단되는 제2 방향 이동 판단단계(S45); 상기 제2 방향 이동 판단단계(S45)에서 제2 방향 이동이 가능한 것으로 판단되면 기준점을 제2 방향 이동 시키는 기준점 제2 방향 이동단계(S46); 상기 검출윈도우부 입력단계(S41)부터 상기 단계들이 순차적으로 반복되는 제2 반복단계; 상기 제2 방향 이동 판단단계에서 제2 방향 이동이 불가능한 것으로 판단되면 영상의 축소가 가능한지 판단되는 축소 판단단계(S47); 상기 축소 판단단계(S47)에서 축소가 가능한 것으로 판단되면 미리 결정된 축소비율에 따라 축소 시켜 상기 적분영상저장부(300)에 저장되는 축소단계(S48); 및 상기 적분영상저장단계(S30)부터 상기 단계들이 순차적으로 반복되는 제3 반복단계;를 포함하여 이루어지는 것을 특징으로 한다.

또, 상기 검출단계(S42)는 다음식

아울러, 상기 검출단계(S42)는 덧셈나무 형태로 계산되어 2^m-1<n≤2^m (n는 계산해야할 픽셀의 개수, m은 자연수)인 경우 m단계에 걸쳐 객체의 존재 여부를 판단하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치 및 방법에 의하면, 덧셈나무 형태로 계산되므로 한 사이클에 검출윈도우부의 크기에 해당하는 영역에 객체가 존재하는지 여부 하드웨어 적인 방법으로 구현 할 수 있어 한 사이클의 처리 속도를 높여주는 효과가 있다.

또한, 적어도 2픽셀 단위로 스캔함으로써 전체 스캔 속도를 높여주는 효과가 있다.

또, 제1 방향 데이터 입력은 최초 입력을 제외한 나머지 데이터의 입력이 적어도 2픽셀 단위로 입력됨으로써 검출윈도우부에 데이터가 입력되는 속도를 높여주는 효과가 있다.

또한, 객체가 검출되는 과정과 적분영상이 축소되는 과정의 병렬처리가 가능함으로써 객체검출 속도를 높여주는 효과가 있다.

아울러, 고해상도에서 실시간 객체 검출이 가능함으로써, 고화질 동영상의 실시간 객체검출이 가능한 효과가 더욱 뛰어나다.

도 1은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 개념도.
도 2는 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 검출윈도우부에 저장되는 적분영상의 영역을 나타내는 예시도.
도 3 내지 도 4는 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 검출윈도우부에 라인 단위로 저장되는 적분영상의 데이터를 나타내는 예시도.
도 5 내지 도 6은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 검출윈도우부에 라인 단위로 저장되는 적분영상의 데이터를 나타내는 예시도.
도 7은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화방법의 순서도.
도 8은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화방법의 세부 순서도.

이하, 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치 및 방법은 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.

도 1은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 개념도이고, 도 2는 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 검출윈도우부에 저장되는 적분영상의 영역을 나타내는 예시도이며, 도 3 내지 도 4는 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 검출윈도우부에 라인 단위로 저장되는 적분영상의 데이터를 나타내는 예시도이고, 도 5 내지 도 6은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치의 검출윈도우부에 라인 단위로 저장되는 적분영상의 데이터를 나타내는 예시도이며, 도 7은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화방법의 순서도이고, 도 8은 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화방법의 세부 순서도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화장치는학습부(100), 적분영상생성부(200) 적분영상저장부(300), 검출윈도우부(500), 추출부(600) 및 검출부(700)를 포함하여 구성되되, 상기 적분영상저장부(300)에 저장된 영상을 모두 스캔하여 검출이 완료되면, 상기 축소부(600)에 의해 상기 입력영상의 스케일을 축소해 가며 객체를 검출하는 것을 특징으로 한다.

학습부(100)는 학습 데이터를 이용하여 학습한다. 상기 학습부(100)는 학습 영상 데이터(일반 영상 또는 이미지)를 입력받아 적분영상으로 변환하고 특징 데이터를 추출하여 추출된 특징 데이터를 이용하여 학습할 수도 있고, 적분영상 형태의 특징 데이터를 직접 입력받아 학습할 수도 있다.

적분영상생성부(200)는 행 및 열을 이루는 다수의 픽셀(Pixel)로 이루어지는 2차원 영상을 입력받아 적분영상이 생성된다. 일반적인 영상 데이터는 직접 원하는 객체를 검출하기 어렵기 때문에 객체 검출이 용이한 적분영상으로 변환한다.

적분영상저장부(300)는 상기 적분영상생성부(200)로부터 생성된 적분영상이 저장된다. 한 프레임의 적분영상에서 한 번에 원하는 객체를 검출하기 어렵기 때문에 별도의 저장부에 적분영상을 저장하여 관리한다.

검출윈도우부(500)는 객체 검출용 적분영상을 입력받는다. 상기 검출윈도우부(500)는 소프트웨어적으로만 객체검출을 할 경우 객체 검출 시간이 많이 걸리기 때문에 하드웨어적으로 별도의 저장공간을 마련하여 객체 검출용 적분영상을 입력받는다. 이때, 상기 검출윈도우부(500)는 M×M(M은 자연수)픽셀인 것을 특징으로 할 수 있다. 상기 검출윈도우부(500)의 크기는 가로 M픽셀, 세로 M픽셀인 정사각형 모양의 행렬 형태인 것이 바람직하다.

추출부(600)는 상기 적분영상저장부(300)에 저장된 적분영상이 미리 결정된 스캔방법에 따라 스캔되며, 상기 검출윈도우부(500)의 크기에 해당하는 객체검출용 적분영상 데이터를 추출하여 상기 검출윈도우부(500)에 입력한다. 상기 추출부(600)는 상기 적분영상 저장부(300)에 저장된 적분영상을 스캔하여 객체 검출에 필요한 영역의 적분영상 데이터를 상기 검출윈도우부(500)에 입력한다.

검출부(700)는 상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부(500)에 입력된 상기 객체 검출용 적분영상으로부터 객체가 검출된다.

아다부스트 학습은 훈련 과정에서 분류를 위한 특징들이 선택되므로 객체에 관한 선행 지식이 필요가 없다는 장점이 있다. 효율적인 분류기를 만드는 것은 적은 수로도 객체를 잘 검출할 수 있는 특징 집합을 찾는 것이다. 이를 위해 아다부스트 알고리즘은 낮은 분류 성능을 보이는 간단한 형태의 약한 분류기들(weak classifiers)을 선형적으로 결합하여 강한 분류기(strong classifier)를 만든다. 약한 분류기는 상기 검출윈도우부(500) 내의 특징들 중 객체를 가장 잘 분류하는 하나의 특징을 선별한다. 이를 위해 적분영상을 통해 구한 픽셀값의 합을 이용하여 에러가 최소화되는 문턱값을 찾는다. 이렇게 구한 약한 분류기들을 선형적으로 결합하여 최종적인 강한 분류기를 구성한다.

본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화 장치는 상기 적분영상저장부(300)에 저장된 적분영상이 미리 결정된 축소비율로 축소되어 상기 적분영상저장부(300)에 저장하는 축소부(400)를 더 포함하여 구성될 수 있다. 상기 미리 결정된 축소비율은 50% 내지 95% 중 선택되는 어느 하나 일 수 있으며 75% 정도가 검출 시간 대비 검출 정확도 면에서 바람직하다.

본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화 장치의 추출부(600)에 대해 보다 상세하게 설명하자면, 미리 결정된 스캔방법은 행 및 열 중 선택되는 어느 한 방향을 제1 방향, 다른 한 방향을 제2 방향이라 할 때, 미리 결정된 최초 기준점으로부터 제1 방향 우선 순으로 데이터가 입력되고, 제1 방향 데이터 입력이 종료된 후 상기 최초 기준점으로부터 1회 제2 방향으로 기준점을 이동하여 제1 방향 우선 순으로 데이터가 입력되는 것을 특징으로 할 수 있다.

여기서, 미리 결정된 스캔방법은 상기 최초 기준점으로부터 제1 방향 및 제2 방향 의 기준점의 이동이 2내지 M 중 선택되는 어느 하나의 픽셀이동단위로 되는 것을 특징으로 할 수 있다.

적어도 2픽셀 단위로 스캔함으로써 전체 스캔 속도를 높여주는 효과가 있다.

상기 검출윈도우부(500)의 데이터 저장 방법은 최초 기준점으로부터 제2 방향의 한 라인(M개의 제2 방향 픽셀)을 기준 단위로 M개의 라인이 순서대로 입력되며, 기준점이 제1 방향으로 이동 될 경우 이동 전과 이동 후의 중첩되는 영역의 데이터는 앞으로 이동되고 다음 라인들이 순서대로 입력되며, 기준점이 제2 방향으로 이동 될 경우 M개의 라인이 순서대로 입력되는 것을 특징으로 할 수 있다.

제1 방향 데이터 입력은 최초 입력을 제외한 나머지 데이터의 입력이 적어도 2픽셀 단위로 입력됨으로써 검출윈도우부에 데이터가 입력되는 속도를 높여주는 효과가 있다.

예를 들어, 도 2에 도시된 바와 같이, 480×272픽셀의 영상이 입력되고, 상기 검출윈도우부(500)의 크기가 19×19픽셀이며, 최초 기준점을 좌상측 모서리(1,1)로 하고, 제1 방향을 행방향으로 결정하며, 기준점을 2픽셀 단위로 이동할 경우, 객체 검출을 위해 매 클럭마다 원하는 데이터를 공급시켜야 하는데, 이를 위한 구조가 다음과 같은 방법으로 공급이 되도록 할 수 있다.

도 3에 도시된 바와 같이, 좌상측 모서리(1,1)를 기준으로 19×19 픽셀의 데이터가 매 클럭 한 라인(M pixel, 여기서는 한 행 단위인 19픽셀의 적분영상)씩 입력되어 상기 검출윈도우부(500)의 모든 영역에 적분영상이 입력되면 객체를 검출하고 다음 입력 시에는 도 4에 도시된 바와 같이 다음 데이터를 입력받게 된다.

다시 말해, 데이터의 입력은 우선 1차적으로 행 방향으로 데이터를 채워가며, 처음에는 19개의 reg0~ reg18 까지를 채워주면, 선입선처리(FIFO:First In First Out)방식으로 빠르게 데이터를 공급시킬 수 있는 구조(도 3 참조)를 갖을 수 있다. 도 4에 도시된 바와 같이 행이 바꿔질 경우에는 다음 사이클부터는 기준점이 2픽셀 단위로 이동된 값을 반영시킬 수 있기 때문에, 두 라인씩 입력되면 객체를 검출 할 수 있다. 하지만 열이 바꿔질 경우에는, 19라인의 데이터를 채워 넣는 시간이 필요하다.

본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화 장치의 검출부(700)에 대해 보다 상세하게 설명하자면, 상기 검출부(700)는 다음식

에 의하여 객체의 존재 여부를 판단하는 것을 특징으로 할 수 있다.

아다부스트(Adaboost) 알고리즘의 약한 분류기(weak classifier) 를 모으면, 강한 분류기(srtong classifer)를 만들 수 있다는 것이다. Harr feature를 이용한 feature 중에 n 개의 약한 classifier와 계수값의 곱을 덧셈하여, 연산을 하는 작업을 하여 그 값이 threshold값(1/2(α₁ + ... + α_n)) 값보다 크면, 객체가 존재하는 것이고, 그렇지 못 할 때는 객체가 존재하지 않는 것이다.

도 5에 도시된 바와 같이, 상기 검출부(700)는 덧셈나무(adder tree) 형태로 계산되어 2^m-1<n≤2^m (n는 계산해야할 픽셀의 개수, m은 자연수)인 경우 m단계에 걸쳐 객체의 존재 여부를 판단하는 것을 특징으로 할 수 있다. n개의 해당 적분영상 픽셀들을 계산하려면, 소프트웨어를 활용한 연산의 경우, 많은 사이클을 요구하므로 요구 사이클을 줄이기 위해, 계산을 1 사이클 에 1 검출윈도우부 크기의 객체 검출이 가능한 하드웨어 구조가 필요하다.

도 5는 n가 200일 경우, 검출윈도우부 크기의 객체 검출을 하기위한 α₁h₁(x)+ ... +α_nh_n(x) 값을 계산하는 덧셈나무이다. 200개의 픽셀 중 144개의 픽셀은 8단계에서 시작되고, 56개의 픽셀은 7단계에서 시작되어 객체의 존재 여부를 판단할 수 있다.

도 6에 도시된 바와 같이, 상기 검출부(700)는 덧셈나무의 중간단계에 적어도 하나의 플리플롭(Flip flop)을 구비하는 것을 특징으로 할 수 있다.

다시 말해, 덧셈나무의 딜레이를 고려하여, 단계의 사이에 플리플롭을 구비하여, 임계경로(critical path)를 줄일 수 있도록 할 수 있다.

덧셈나무 형태로 계산되면 한 사이클에 검출윈도우부의 크기에 해당하는 영역에 검출하려는 객체가 존재하는지 여부를 하드웨어 적인 방법으로 구현 할 수 있어 객체 검출 속도를 높여주는 효과가 있다.

본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화 장치는 상기 축소부(400)에 의한 적분영상의 축소와 상기 검출부(700)에 의한 객체 검출이 병렬처리 되는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.

다시 말해, 객체가 검출되는 과정과 적분영상이 축소되는 과정의 병렬처리가 가능함으로써 객체검출 속도를 높여주는 효과가 있다.

도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화 방법은 학습부(100), 적분영상생성부(200), 적분영상저장부(300), 축소부(400), 검출윈도우부(500), 추출부(600) 및 검출부(700)를 포함하여 구성되는 영상 인식 하드웨어 고속화장치를 이용한 영상 인식 하드웨어 고속화방법에 있어서, 영상입력단계(S10), 적분영상변환단계(S20), 적분영상저장단계(S30) 및 객체검출단계(S40)를 포함하여 이루어지는 것을 특징으로 한다.

영상입력단계(S10)는 행 및 열을 이루는 다수의 픽셀로 이루어지는 2차원 영상을 입력받는다. 다시 말해, 객체를 검출하기 위한 영상을 입력받는다.

적분영상변환단계(S20)는 적분영상생성부(200)에 의해 상기 영상입력단계(S10)에서 입력된 영상이 적분영상으로 변환된다. 일반적인 영상 데이터는 직접 원하는 객체를 검출하기 어렵기 때문에 객체 검출이 용이한 적분영상으로 변환된다.

적분영상저장단계(S30)는 상기 적분영상변환단계(S20)에서 변환된 적분영상이 상기 적분영상저장부(300)에 저장된다. 한 프레임의 적분영상에서 한 번에 원하는 객체를 검출하기 어렵기 때문에 별도의 저장부에 적분영상을 저장하여 관리한다.

객체검출단계(S40)는 상기 검출부(700)에 의해 상기 적분영상저장단계(S30)에서 저장된 적분영상으로부터 상기 검출윈도우부(500)를 이용하여 상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 객체가 검출된다. 이때, 상기 검출단계(S42)는 다음식

에 의하여 객체의 존재 여부가 판단되는 것을 특징으로 할 수 있다.

또한, 상기 검출단계(S42)는 덧셈나무 형태로 계산되어 2^m-1<n≤2^m (n는 계산해야할 픽셀의 개수, m은 자연수)인 경우 m단계에 걸쳐 객체의 존재 여부를 판단하는 것을 특징으로 할 수 있다.

본 발명의 일 실시예에 따른 영상 인식 하드웨어 고속화 방법의 상기 객체검출단계(S40)에 대해 보다 상세하게 설명하자면, 도 8에 도시된 바와 같이, 검출윈도우부 입력단계(S41). 검출단계(S42), 제1 방향 이동 판단단계(S43), 기준점 제1 방향 이동단계(S44), 제1 반복단계, 제2 방향 이동 판단단계(S45), 기준점 제2 방향 이동단계(S46), 제2 반복단계, 축소 판단단계(S47), 축소단계(S48) 및 제3 반복단계를 포함하여 이루어질 수 있다.

검출윈도우부 입력단계(S41)는 미리 결정된 기준점을 기준으로 상기 검출윈도우부(500)에 데이터가 입력된다. 다시 말해, 상기 미리 결정된 기준점을 기준으로 상기 검출윈도우부(500)의 크기(M×M)에 해당되는 데이터가 상기 검출윈도우부(500)에 입력된다.

검출단계(S42)는 상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부(500)에 입력된 데이터로부터 객체가 검출된다.

제1 방향 이동 판단단계(S43)는 행 및 열 중 선택되는 어느 한 방향을 제1 방향, 다른 한 방향을 제2 방향이라 할 때, 기준점의 제1 방향 이동이 가능한지 판단된다. 예를 들어, 행방향을 제1 방향으로 할 경우, 종방향이 제2 방향이 되며, {제1 방향 픽셀 수-기준점의 제1 방향 순서}-{M-1}의 값이 0 이상일 경우, 제1 방향 이동이 가능한 것으로 판단 할 수 있다.

기준점 제1 방향 이동단계(S44)는 상기 제1 방향 이동 판단단계(S33)에서 제1 방향 이동이 가능한 것으로 판단되면 기준점을 제1 방향 이동 시킨다.

제1 반복단계는 상기 검출윈도우부 입력단계(S41)부터 상기 단계들이 순차적으로 반복된다. 다시 말해, 제1 방향으로 이동이 가능한 모든 기준점에 대한 객체 검출이 종료될 때 까지 반복된다.

제2 방향 이동 판단단계(S45)는 상기 제1 방향 이동 판단단계에서 제1 방향 이동이 불가능한 것으로 판단되면 기준점의 제2 방향 이동이 가능한지 판단된다. 예를 들어, {제2 방향 픽셀 수-기준점의 제2 방향 순서}-{M-1}의 값이 0 이상일 경우, 제2 방향 이동이 가능한 것으로 판단 할 수 있다.

기준점 제2 방향 이동단계(S46)는 상기 제2 방향 이동 판단단계(S45)에서 제2 방향 이동이 가능한 것으로 판단되면 기준점을 제2 방향 이동 시킨다.

제2 반복단계는 상기 검출윈도우부 입력단계(S41)부터 상기 단계들이 순차적으로 반복된다. 다시 말해, 제2 방향으로 이동이 가능한 모든 기준점에 대한 객체 검출이 종료될 때 까지 반복된다. 결론적으로 제2 방향 이동이 불가능 하다는 것은 상기 적분영상저장부(300)에 저장된 데이터로부터 객체 검출이 완료되었다는 것을 의미한다.

축소 판단단계(S47)는 상기 제2 방향 이동 판단단계에서 제2 방향 이동이 불가능한 것으로 판단되면 영상의 축소가 가능한지 판단된다. 이때, 상기 적분영상저장부(300)에 저장될 축소영상의 크기가 상기 검출윈도우부(500)의 크기(M×M)보다 크면 축소가 가능한 것으로 판단할 수 있다.

축소단계(S48)는 상기 축소 판단단계(S47)에서 축소가 가능한 것으로 판단되면 미리 결정된 축소비율에 따라 축소 시켜 상기 적분영상저장부(300)에 저장된다.

제3 반복단계는 상기 적분영상저장단계(S30)부터 상기 단계들이 순차적으로 반복된다. 다시 말해, 상기 검출윈도우부(500)의 크기(M×M)보다 상기 적분영상저장부(300)에 저장된 화면 크기가 작아지기 전까지 축소해 가며 객체 검출을 한다. 결론적으로 축소가 불가능 하다는 것은 한 프레임의 적분영상으로부터 객체 검출이 완료되었다는 것을 의미한다.

예를 들어, 480×272픽셀의 영상이 입력되고, 상기 검출윈도우부(500)의 크기가 19×19픽셀이며, 최초 기준점을 좌상측 모서리(1,1)로 하고, 제1 방향을 행방향으로 결정하며, 기준점을 2픽셀 단위로 이동하고, 75%의 축소비율로 축소하며 객체를 검출할 경우,

단계	width	height	x조사점	y조사점	첫 row처리시 필요cycle수(A)	행변환 Cycle수(B)	총 cycle수
계산방법			(width-19)/2	(height-19)/2	19 * x조사점	2 x조사점 (y조사점-1)	A+B
1	480	272	230	126	4370	57500	61870
2	360	204	170	92	3230	30940	34170
3	264	152	122	66	2318	15860	18178
4	192	112	86	46	1634	7740	9374
5	144	84	62	32	1178	3844	5022
6	104	60	42	20	798	1596	2394
7	72	44	26	12	494	572	1066
8	48	32	14	6	266	140	406
9	32	24	6	2	114	12	126
Cycle의 합/frame					14402	118204	132606

표 1은 480×272픽셀의 영상에서 객체를 검출하기 위한 총 사이클 수가 132606임을 나타낸다. 상기 검출윈도우부(500)의 크기 M×M(19×19)의 크기보다 상기 적분영상저장부(300)에 저장된 화면 크기가 작아지기 전까지 3/4(75%) 축소 변환을 수행했을 때 표 1과 같이 단계 9 단계의 계산이 필요로 하다.

기준점을 2픽셀 단위로 이동할 경우, x조사점은 (width-19)/2 개, y조사점은 (height-19)/2 개의 조사점을 갖는다. 따라서 첫 번째 열에 해당하는 경우 데이터의 입력(row)에는 19 사이클이 필요하므로 19×(x조사점)의 수에 해당되는 사이클이 필요하고, 나머지 조사 point 는 (x조사점)×(y조사점-1)의 개수에 해당되는 사이클이 필요하므로, 기준점을 2픽셀 단위로 이동할 경우 2×(x조사점)×(y조사점-1)의 수에 해당되는 사이클이 필요하게 된다. 각 단계에서 총 사이클수는 표1의 A+B 가 된다. 따라서 1 단계에서 9단계까지 조사 사이클수는 각 단계의 사이클의 합이다. 총계산 사이클수는 1 프레임당 132,606 사이클이 걸리므로 30 프레임 영상의 객체 검출에 필요한 총 필요 사이클은 3,978,180(132,606 × 30)사이클 이 걸린다. 이것은 약 4MHz의 클럭으로도 동작이 가능함을 보여준다.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.

100: 학습부 200: 적분영상생성부
300: 적분영상저장부 400: 축소부
500: 검출윈도우부 600: 추출부
700: 검출부
S10: 영상입력단계 S20: 적분영상변환단계
S30: 적분영상저장단계 S40: 객체검출단계
S41: 검출윈도우부 입력단계 S42:　검출단계
S43:　제1 방향 이동 판단단계 S44: 기준점 제1 방향 이동단계
S45: 제2 방향 이동 판단단계 S46: 기준점 제2 방향 이동단계
S47: 축소 판단단계 S48: 축소단계

Claims

학습 데이터를 이용하여 학습하는 학습부(100);
행 및 열을 이루는 다수의 픽셀(Pixel)로 이루어지는 2차원 영상을 입력받아 적분영상이 생성되는 적분영상생성부(200);
상기 적분영상생성부(200)로부터 생성된 적분영상이 저장되는 적분영상저장부(300);
객체 검출용 적분영상을 입력받는 검출윈도우부(500);
상기 적분영상저장부(300)에 저장된 적분영상이 미리 결정된 스캔방법에 따라 스캔되며, 상기 검출윈도우부(500)의 크기에 해당하는 객체검출용 적분영상 데이터를 추출하여 상기 검출윈도우부(500)에 입력하는 추출부(600); 및
상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부(500)에 입력된 상기 객체 검출용 적분영상으로부터 객체가 검출되는 검출부(700);
를 포함하여 구성되되, 상기 적분영상저장부(300)에 저장된 영상을 모두 스캔하여 검출이 완료되면, 상기 축소부(600)에 의해 상기 입력영상의 스케일을 축소해 가며 객체를 검출하는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제1항에 있어서, 상기 영상 인식 하드웨어 고속화장치는
상기 적분영상저장부(300)에 저장된 적분영상이 미리 결정된 축소비율로 축소되어 상기 적분영상저장부(300)에 저장하는 축소부(400);
를 더 포함하여 구성되는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제1항에 있어서, 상기 검출윈도우부(500)는
M×M(M은 자연수)픽셀인 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제3항에 있어서, 상기 추출부(600)의 미리 결정된 스캔방법은
행 및 열 중 선택되는 어느 한 방향을 제1 방향, 다른 한 방향을 제2 방향이라 할 때, 미리 결정된 최초 기준점으로부터 제1 방향 우선 순으로 데이터가 입력되고, 제1 방향 데이터 입력이 종료된 후 상기 최초 기준점으로부터 1회 제2 방향으로 기준점을 이동하여 제1 방향 우선 순으로 데이터가 입력되는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제4항에 있어서, 상기 추출부(600)의 미리 결정된 스캔방법은
상기 최초 기준점으로부터 제1 방향 및 제2 방향 의 기준점의 이동이 2내지 M 중 선택되는 어느 하나의 픽셀이동단위로 되는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제5항에 있어서, 상기 검출윈도우부(500)의 데이터 저장 방법은
최초 기준점으로부터 제2 방향의 한 라인(M개의 제2 방향 픽셀)을 기준 단위로 M개의 라인이 순서대로 입력되며, 기준점이 제1 방향으로 이동 될 경우 이동 전과 이동 후의 중첩되는 영역의 데이터는 앞으로 이동되고 다음 라인들이 순서대로 입력되며, 기준점이 제2 방향으로 이동 될 경우 M개의 라인이 순서대로 입력되는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제1항에 있어서, 상기 검출부(700)는
다음식

(α는 계수값(가중치), h₁~h_n는 약한 분류자, h_st는 강한 분류자)
에 의하여 객체의 존재 여부를 판단하는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제1항에 있어서, 상기 검출부(700)는
덧셈나무(adder tree) 형태로 계산되어 2^m-1<n≤2^m (n는 계산해야할 픽셀의 개수, m은 자연수)인 경우 m단계에 걸쳐 객체의 존재 여부를 판단하는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제1항에 있어서, 상기 검출부(700)는
덧셈나무의 중간단계에 적어도 하나의 플리플롭(Flip flop)을 구비하는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
제1항에 있어서, 상기 영상 인식 하드웨어 고속화장치는
상기 축소부(400)에 의한 적분영상의 축소와 상기 검출부(700)에 의한 객체 검출이 병렬처리 되는 것을 특징으로 하는 영상 인식 하드웨어 고속화장치.
학습부(100), 적분영상생성부(200), 적분영상저장부(300), 축소부(400), 검출윈도우부(500), 추출부(600) 및 검출부(700)를 포함하여 구성되는 영상 인식 하드웨어 고속화장치를 이용한 영상 인식 하드웨어 고속화방법에 있어서,
행 및 열을 이루는 다수의 픽셀로 이루어지는 2차원 영상을 입력받는 영상입력단계(S10);
적분영상생성부(200)에 의해 상기 영상입력단계(S10)에서 입력된 영상이 적분영상으로 변환되는 적분영상변환단계(S20);
상기 적분영상변환단계(S20)에서 변환된 적분영상이 상기 적분영상저장부(300)에 저장되는 적분영상저장단계(S30); 및
상기 검출부(700)에 의해 상기 적분영상저장단계(S30)에서 저장된 적분영상으로부터 상기 검출윈도우부(500)를 이용하여 상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 객체가 검출되는 객체검출단계(S40);
를 포함하여 이루어지는 것을 특징으로 하는 영상 인식 하드웨어 고속화방법.
제11항에 있어서, 상기 객체검출단계(S40)는
미리 결정된 기준점을 기준으로 상기 검출윈도우부(500)에 데이터가 입력되는 검출윈도우부 입력단계(S41);
상기 학습부(100)로부터 추출된 특징 정보에 아다부스트(Adaboost)알고리즘이 적용되어 상기 검출윈도우부(500)에 입력된 데이터로부터 객체가 검출되는 검출단계(S42);
행 및 열 중 선택되는 어느 한 방향을 제1 방향, 다른 한 방향을 제2 방향이라 할 때, 기준점의 제1 방향 이동이 가능한지 판단되는 제1 방향 이동 판단단계(S43);
상기 제1 방향 이동 판단단계(S33)에서 제1 방향 이동이 가능한 것으로 판단되면 기준점을 제1 방향 이동 시키는 기준점 제1 방향 이동단계(S44);
상기 검출윈도우부 입력단계(S41)부터 상기 단계들이 순차적으로 반복되는 제1 반복단계;
상기 제1 방향 이동 판단단계에서 제1 방향 이동이 불가능한 것으로 판단되면 기준점의 제2 방향 이동이 가능한지 판단되는 제2 방향 이동 판단단계(S45);
상기 제2 방향 이동 판단단계(S45)에서 제2 방향 이동이 가능한 것으로 판단되면 기준점을 제2 방향 이동 시키는 기준점 제2 방향 이동단계(S46);
상기 검출윈도우부 입력단계(S41)부터 상기 단계들이 순차적으로 반복되는 제2 반복단계;
상기 제2 방향 이동 판단단계에서 제2 방향 이동이 불가능한 것으로 판단되면 영상의 축소가 가능한지 판단되는 축소 판단단계(S47);
상기 축소 판단단계(S47)에서 축소가 가능한 것으로 판단되면 미리 결정된 축소비율에 따라 축소 시켜 상기 적분영상저장부(300)에 저장되는 축소단계(S48); 및
상기 적분영상저장단계(S30)부터 상기 단계들이 순차적으로 반복되는 제3 반복단계;
를 포함하여 이루어지는 것을 특징으로 하는 영상 인식 하드웨어 고속화방법.
제12항에 있어서, 상기 검출단계(S42)는
다음식

(α는 계수값(가중치), h₁~h_n는 약한 분류자, h_st는 강한 분류자)
에 의하여 객체의 존재 여부를 판단하는 것을 특징으로 하는 영상 인식 하드웨어 고속화방법.
제12항에 있어서, 상기 검출단계(S42)는
덧셈나무 형태로 계산되어 2^m-1<n≤2^m (n는 계산해야할 픽셀의 개수, m은 자연수)인 경우 m단계에 걸쳐 객체의 존재 여부를 판단하는 것을 특징으로 하는 영상 인식 하드웨어 고속화방법.