KR101344851B1

KR101344851B1 - 영상처리장치 및 영상처리방법

Info

Publication number: KR101344851B1
Application number: KR1020120033463A
Authority: KR
Inventors: 김민영; 김현우
Original assignee: 경북대학교 산학협력단
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2014-01-16
Also published as: KR20130111021A

Abstract

본 발명은 영상처리장치 및 영상처리방법에 관한 것으로서, 본 발명의 실시예에 따른 영상처리장치는 임의의 대상이 촬영된 영상을 수신하는 영상 수신부, 및 수신한 영상을 이용하여 대상의 특성에 기반한 특성 영역이 검출되는지 판단하고, 판단 결과 특성 영역이 검출되지 않을 때 수신한 영상의 에지를 검출하며, 검출된 에지와 수신한 영상을 결합하여 특성 영역을 재검출하는 이미지 처리부를 포함하는 것을 특징으로 한다.

Description

영상처리장치 및 영상처리방법{Device and Method for Processing Image}

본 발명은 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가정용 로봇이나 휴대 전화와 같은 휴대 기기 등에서 가령 인간의 얼굴 검출시 얼굴의 검출 정확도를 높이면서 정보처리의 복잡성도 줄일 수 있는 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체에 관한 것이다.

얼굴 정보를 사용하는 시스템은 사용자에게 특별한 접촉을 요구하지 않으므로 자연스럽게 사람을 인식할 수 있어 사용자의 편이성 측면에서 우수하다는 장점 때문에 활용도는 더 높아지고 있다.

얼굴은 사람을 인식하기 위한 중요한 정보이며, 또한 사람들 간의 의사 소통에서 음성이나 몸짓 등의 일차적인 의사 표현의 수단과 함께 얼굴 표정은 미묘한 감정의 변화와 같은 고차원적인 정보를 전달하는 역할을 하여 좀 더 풍부하고 입체적인 의사소통을 가능하게 한다. 현재 휴먼 컴퓨터 인터페이스 분야에서 사람의 얼굴에 관한 연구는 사람의 얼굴이나 얼굴 표정을 인식하는 연구가 활발하게 연구가 진행되고 있다. 얼굴이나 표정을 인식하려면 입력된 영상이 얼굴인지 아닌지 구별하는 얼굴을 검출하는 작업이 선행되어야 한다.

얼굴 검출은 영상감시 시스템, 원격화상회의시스템, 얼굴 인식 시스템, 표정 애니메이션 등의 다양한 분야에 응용될 수 있는 기술이다. 그러나 얼굴은 얼굴의 움직임, 크기 변화, 얼굴 표정, 인종, 나이, 성별, 헤어스타일, 조명, 타 객체와 겹침, 카메라의 기계적 특성 등에 따라 다양하게 나타나며, 이러한 이유로 얼굴 검출 기술에 대한 상당한 연구가 진행되었지만 아직도 검출 성능에서 많은 문제점을 가지고 있다. 또한 실시간 처리를 요구하는 시스템에서 처리속도 역시 만족스럽지 못하다.

지금까지 얼굴 검출 알고리즘은 주로 PC기반 환경에서 동작하도록 개발되어 왔으며, 이 기술을 바로 임베디드 시스템에 적용할 경우 상대적으로 부족한 리소스와 성능 때문에 실시간으로 얼굴 검출이 불가능하거나 낮은 검출률을 보임으로써 효율적인 얼굴 검출이 힘들다. 그러나 서비스 로봇 분야의 확대로 인해 일상생활 속에 청소 로봇, 엔터테인먼트용 장난감 로봇 등 가정용 로봇 시장이 커지고 또한 휴대 전화, 디지털 카메라 등의 휴대 기기 등에서 인간의 얼굴 정보를 사용할 수 있는 활용 분야가 늘어나면서 임베디드 시스템에서의 실시간 얼굴 검출 기술의 필요성은 더욱더 커져 가고 있다.

기존의 얼굴 검출 방법은 크게 네 가지 유형으로 전형적인 얼굴에 대한 인간의 일반적인 지식을 바탕으로 하는 지식 기반 방법(Knowledge-based Methods), 자세나 조명 등의 변화에도 얼굴 검출에 용이한 구조적 특징을 찾는 특징 기반 방법(Feature-based Methods), 몇몇 얼굴의 기본 형태를 통해 일정 수준 이상의 상관관계를 가질 경우 얼굴로 판단하는 템플릿 매칭 방법(Template-matching Methods), 최근 가장 널리 연구되고 있는 방법으로 나머지 세 가지 유형들과 달리 학습을 통해 얼굴을 모델링 한다는 외형 기반 방법(Appearance-based Methods) 등으로 나눌 수 있다. 외형 기반 방법 중 아다부스트(Adaboost) 알고리즘은 다른 방법에 비해 우수한 성능과 실시간에 가까운 검출로 활발하게 연구되고 있다.

현재 동영상 프레임에서 정확하고 신속하게 얼굴을 검출하기 위한 다양한 시도가 이루어지고 있다. 실시간 응용에서 얼굴 검출의 정확성을 높이면서 시간을 단축시키기 위해 정보 획득이 단순하면서도 상대적으로 낮은 복잡도를 가지는 기술에 대한 필요성이 제기되고 있다.

본 발명의 실시예는 가령 소프트웨어적인 방법으로서 얼굴과 같은 임의의 대상의 검출 고속화를 위하여 에지 정보를 이용하는 방법을 통해 대상에 대한 강인한 특성, 즉 얼굴의 피부색 영역을 검출하려는 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.

또한 이와 같은 에지 정보를 이용한 영상 처리시, 가령 아다부스트 기반의 얼굴 검출 알고리즘을 구현함으로써 임의의 대상에 대한 특성 영역을 찾기 위한 데이터 병렬 처리를 수행하고, 나아가 병렬 처리는 FPGA라는 하드웨어를 사용해 이루어질 수도 있는 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체를 제공함에 다른 목적이 있다.

본 발명의 실시예에 따른 영상처리장치는 임의의 대상이 촬영된 영상을 수신하는 영상 수신부; 및 상기 수신한 영상을 이용하여 상기 대상의 특성에 기반한 특성 영역이 검출되는지 판단하고, 판단 결과 상기 특성 영역이 검출되지 않을 때 상기 수신한 영상의 에지를 검출하며, 상기 검출된 에지와 상기 수신한 영상을 결합하여 상기 특성 영역을 재검출하는 이미지 처리부;를 포함하는 것을 특징으로 한다.

상기 이미지 처리부는, 상기 수신한 영상을 적색(R), 녹색(G), 청색(B)별로 분리하는 분리부; 및 상기 분리한 R, G, B의 영상을 이용해 상기 특성에 기반한 특성기반 영상을 생성하고, 상기 생성한 특성기반 영상에서 상기 특성 영역이 검출되는지 판단하는 판단부; 상기 분리한 R, G, B의 영상을 이용하여 그레이(gray) 영상을 생성하고, 상기 생성한 그레이 영상에서 에지를 검출하며, 상기 검출된 에지와 상기 특성기반 영상을 결합하여 상기 특성기반 영역을 재검출하는 검출부;를 포함하는 것을 특징으로 한다.

상기 판단부는, 상기 특성기반 영상을 생성하는 특성기반 영상 생성부; 및 상기 특성 영역이 검출되는지 판단하기 위하여 상기 특성기반 영상을 분석하고, 분석 결과 상기 특성 영역이 검출될 때 상기 특성기반 영상을 출력하고, 상기 특성 영역이 검출되지 않을 때 검출되지 않음을 알리는 정보를 상기 검출부로 알리는 영상 분석부;를 포함하는 것을 특징으로 한다.

상기 검출부는, 상기 수신한 영상을 이용하여 그레이 영상을 생성하는 그레이 영상 생성부; 상기 생성한 그레이 영상에서 상기 대상의 에지를 검출하는 에지 검출부; 및 상기 검출된 에지와 상기 특성기반 영상을 결합한 합성 영상을 생성하여 출력하는 영상 합성부;를 포함하는 것을 특징으로 한다.

상기 이미지 처리부는, 상기 특성기반 영상 및 상기 합성 영상에 대하여 레이블링(labeling)을 수행하는 레이블링부;를 더 포함하는 것을 특징으로 한다.

상기 이미지 처리부는, 상기 레이블링을 수행한 영상을 이용하여 상기 대상의 특성을 나타내는 후보 영상을 추출하는 후보영상 추출부; 및 상기 추출한 후보 영상에서 상기 대상의 특성에 대한 기준값을 벗어나는 후보 영상을 필터링하는 후보영상 제거부;를 더 포함하는 것을 특징으로 한다.

상기 후보영상 제거부는 상기 대상의 특성에 대한 크기를 이용하여 필터링하는 것을 특징으로 한다.

상기 이미지 처리부는, 상기 대상에 대한 특징 및 사이즈별 복수의 비교 정보를 개별적으로 저장하는 저장부; 상기 후보 영상을 상기 복수의 비교 정보와 병렬로 비교 처리하는 병렬 처리부;를 더 포함하는 것을 특징으로 한다.

상기 대상의 특성은 얼굴의 피부색이며, 상기 비교 정보는 상기 얼굴의 특정 부위에 대한 형상 정보인 것을 특징으로 한다.

본 발명의 실시예에 따른 영상표시방법은 임의의 대상이 촬영된 영상을 수신하여 상기 수신한 영상을 이용해 상기 대상의 특성에 기반한 특성 영역이 검출되는지를 판단하는 단계; 및 판단 결과 상기 특성 영역이 검출되지 않는 경우, 상기 수신한 영상의 에지를 검출하고, 상기 검출된 에지와 상기 수신한 영상을 결합하여 상기 특성 영역을 재검출하는 단계를 포함하는 것을 특징으로 한다.

상기 수신한 영상을 이용하는 단계는, 상기 수신한 영상을 적색(R), 녹색(G), 청색(B)별로 분리하는 단계를 포함하는 것을 특징으로 한다.

상기 특성 영역이 검출되는지를 판단하는 단계는, 상기 분리한 R, G, B의 영상을 이용해 상기 특성에 기반한 특성기반 영상을 생성하는 단계; 상기 특성 영역이 검출되는지 판단하기 위하여 상기 특성기반 영상을 분석하여 분석 결과 상기 특성 영역이 검출될 때 상기 특성기반 영상을 출력하고, 상기 특성 영역이 검출되지 않을 때 검출되지 않음을 알리는 정보를 제공하는 단계를 포함하는 것을 특징으로 한다.

상기 특성 영역을 재검출하는 단계는, 상기 분리한 R, G, B의 영상을 이용해 그레이 영상을 생성하는 단계; 상기 생성한 그레이 영상에서 상기 대상의 에지를 검출하는 단계; 및 상기 검출된 에지와 상기 특성기반 영상을 결합해 합성 영상을 생성하여 출력하는 단계를 포함하는 것을 특징으로 한다.

상기 특성기반 영상을 출력하는 단계 및 상기 합성 영상을 생성하여 출력하는 단계는, 상기 특성기반 영상 및 상기 합성 영상에 대하여 레이블링(labeling)을 수행하는 단계를 포함하는 것을 특징으로 한다.

상기 레이블링을 수행하는 단계는, 상기 레이블링을 수행한 영상을 이용하여 상기 대상의 특성을 나타내는 후보 영상을 추출하는 단계; 및 상기 추출한 후보 영상에서 상기 대상의 특성에 대한 기준값을 벗어나는 후보 영상을 필터링하는 단계를 포함하는 것을 특징으로 한다.

상기 후보 영상을 필터링하는 단계는, 상기 대상의 특성에 대한 크기를 이용하여 필터링하는 것을 특징으로 한다.

상기 영상처리방법은, 상기 대상에 대한 특징 및 사이즈별 복수의 비교 정보를 개별적으로 저장하는 단계; 상기 후보 영상을 상기 비교 정보과 병렬로 비교 처리하는 단계를 포함하는 것을 특징으로 한다.

상기 영상처리방법은, 상기 필터링한 후보 영상을 저장하고, 상기 저장한 후보 영상을 상기 병렬 처리시 제공하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 컴퓨터 판독가능 기록매체는 영상처리방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상처리방법은, 임의의 대상이 촬영된 영상을 수신하여 상기 수신한 영상을 이용해 상기 대상의 특성에 기반한 특성 영역이 검출되는지를 판단하는 단계; 및 판단 결과 상기 특성 영역이 검출되지 않는 경우, 상기 수신한 영상의 에지를 검출하고, 상기 검출한 에지와 상기 수신한 영상을 결합하여 상기 특성 영역을 재검출하는 단계를 포함하는 것을 특징으로 한다.

도 1은 본 발명의 실시예에 따른 영상처리장치의 구조를 나타내는 도면,
도 2는 본 발명의 실시예에 따른 영상처리방법을 나타내는 흐름도,
도 3은 본 발명의 실시예에 따른 영상처리장치가 적용된 임베디드 시스템을 예시하여 나타낸 도면,
도 4는 도 3의 시스템의 전반적인 얼굴 검출 과정을 설명하기 위한 도면,
도 5는 도 3의 시스템의 피부색 영역 검출 방법을 설명하기 위한 도면,
도 6은 도 3의 시스템의 FPGA를 이용한 얼굴 검출 방법을 예시한 도면,
도 7은 RGB색상 공간에서 HSV색상 공간으로의 변환 예를 나타내는 도면,
도 8은 HSV색상 공간에서 피부색 영역 검출 예를 나타내는 도면,
도 9는 RGB색상 공간에서 YCbCr색상 공간으로의 변환 예를 나타내는 도면,
도 10은 YCbCr색상 공간에서 피부색 영역 검출 예를 나타내는 도면,
도 11은 RGB색상 공간에서 피부색 영역 검출 예를 나타내는 도면,
도 12는 성능 검증에 사용된 입력 영상들을 나타내는 도면,
도 13은 HSV색상 공간에서 피부색 영역 검출을 나타내는 도면,
도 14는 YCbCr색상 공간에서 피부색 영역 검출을 나타내는 도면,
도 15는 RGB 색상 공간에서 피부색 영역 검출을 나타내는 도면,
도 16은 에지 필터의 값을 나타내는 도면,
도 17은 Sobel 필터를 이용한 에지 검출 영상을 나타내는 도면,
도 18은 Prewitt 필터를 이용한 에지 검출 영상을 나타내는 도면,
도 19는 Kirsch 필터를 이용한 에지 검출 영상을 나타내는 도면,
도 20은 에지 검출 영상에서 이진 영상으로 변환한 도면,
도 21은 피부색 영역 검출 영상과 에지 검출 영상의 합성된 결과 영상의 도면,
도 22는 피부색 정보만 사용한 영상과 제안하는 영상에서 후보 영역 검출을 설명하기 위한 도면,
도 23은 레이블링과 얼굴 검출 알고리즘을 수행한 얼굴 검출 영상의 도면,
도 24는 PC에서 얼굴 검출의 연산 시간을 나타내는 도면,
도 25는 임베디드 보드에서 얼굴 검출의 연산 시간을 나타내는 도면,
도 26은 얼굴 검출을 위한 캐스케이드 구조를 나타내는 도면,
도 27은 실험에 사용된 포지티브 얼굴과 네거티브 얼굴 영상을 나타내는 도면,
도 28은 FPGA를 이용한 얼굴 검출 구조를 나타내는 도면,
도 29는 FPGA를 이용한 연산 시간을 비교하여 나타낸 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 영상처리장치의 구조를 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상처리장치(100)는 통신 인터페이스부(110), 제어부(120), 이미지 처리부(130), 저장부(140) 및 사용자 인터페이스부(150)의 일부 또는 전부를 포함할 수 있다. 여기서, 일부 또는 전부를 포함한다는 것은 일부 구성 요소들이 서로 통합하여 구성될 수 있음을 의미하며, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(110)는 유무선 통신을 통해 이미지, 즉 영상 데이터를 수신한다. 이에 따라 통신 인터페이스부(110)는 영상 수신부라 지칭될 수 있다. 예를 들어, 통신 인터페이스부(110)는 카메라에서 촬영된 사람의 얼굴 영상 등을 수신하여 제어부(120)로 출력할 수 있을 것이다. 또한 무선 통신을 수행하는 경우에는 카메라를 포함하는 촬상부에 구성된 와이파이(Wi-Fi) 등의 근거리 통신 모듈을 통해 해당 영상을 수신할 수 있을 것이다.

제어부(120)는 영상처리장치(100)의 내의 통신 인터페이스부(110), 이미지 처리부(130), 저장부(140), 사용자 인터페이스부(150)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는 통신 인터페이스부(110)를 통해 수신된 영상을 이미지 처리부(130)에 제공하고, 이미지 처리부(130)를 통해 처리된 처리 결과를 저장부(140)에 저장하거나, 사용자 인터페이스부(150)로 출력해 줄 수 있다.

이미지 처리부(130)는 입력 영상에 대하여 가령 얼굴 검출 알고리즘을 구현함으로써 카메라에서 들어온 영상에 대한 기본적인 연산을 수행한다. 입력된 영상에서 가령 피부색 필터를 사용하여 피부색 영역을 얻게 된다. 피부색 영역에서 배경, 조명 등 환경적인 변화에 따라 피부색과 비슷할 경우 얼굴 후보 영역을 얻기 힘들다고 판단될 때, 에지 정보를 피부색 영역과 결합 혹은 함께 이용하여 강인한 피부색 필터를 통한 피부색 영역 검출을 수행한다. 피부색 필터를 통해 검출된 영상에서 레이블링(labeling)을 수행하여, 특정 크기 이하의 영역 또는 특정 크기 이상의 영역을 관심 밖의 영역 또는 얼굴이 아닌 영역으로 간주하여 제거한다. 또한 최종 검출된 후보 영역들에 대해서 얼굴 검출을 수행하게 되는데, 이때 이미지를 축소하여 제어부(120)의 제어하에 저장부(140)에 저장되도록 할 수 있다. 위의 기능을 수행하기 위하여 이미지 처리부(130)는 얼굴과 같은 대상의 특성, 즉 피부색 영역 등을 판단하기 위한 판단부(혹은 특성 판단부) 및 에지 정보를 피부색 영역과 결합하여 강인한 피부색 필터를 통한 피부색 영역 검출을 수행하는 영상 합성부를 포함할 수 있을 것이다.

또한 이미지 처리부(130)는 입력 영상에서 피부색 영역이 검출되지 않을 때 에지 정보를 얻기 위한 동작을 수행할 수 있다. 이때 에지 정보의 검출은 컨벌루션 알고리즘을 사용할 수 있다. 컨벌루션 알고리즘은 출력 영상의 새로운 픽셀 값을 결정하기 위해 해당 픽셀뿐만 아니라 그 주위의 픽셀들도 함께 고려하는 공간 영역 연산으로서 공간 영역에서 이웃 픽셀 값들의 가중치 합을 구하는 필터 연산으로 수행된다. 컨벌루션 연산의 특징으로 필터의 크기에 비례한 다수의 곱셈 연산이 사용되며, 이러한 곱셈은 필터의 연산 시간을 증가시킬 수 있다. 따라서, 본 발명의 실시예에서는 컨벌루션 연산처리의 고속화를 위해 필터 연산에서 곱셈 연산을 사용하지 않고, 대신 2차원 LUT를 이용하는 방법과 대칭에 따른 중첩부분의 결과값을 버퍼의 공간에 저장하고, 다음 중첩 부분에 버퍼의 값을 사용하는 ORB(Overlap Region Buffering)를 사용하여 연산량을 줄일 수 있을 것이다.

LUT는 주어진 연산에 대해 미리 계산된 결과들의 집합을 말한다. LUT는 주어진 연산에 대한 결과를 계산하는 시간보다 더 빠르게 값을 취득해 갈 수 있도록 레퍼런스(Reference)로 사용된다. LUT는 주로 실시간 데이터 취득, 실시간 임베디드 시스템에서 사용하는 방식으로 본 발명의 실시예에서는 컨벌루션 연산에서 곱셈연산이 아닌 2차원 LUT를 이용하여 결과값을 참조한다.

본 발명의 실시예에 따른 2차원 LUT는 필터의 값과 0 ∼ 255까지의 밝기값을 곱한 결과를 저장한다. 2차원 LUT는 필터 지수(Filter Index)가 가령 0 ∼ 8까지 9개의 행, 0 ∼ 255값을 가지는 256개의 열을 갖도록 만드는 것이 바람직하다.

LUT 각 요소들을 L(i,j)라고 할 때 <수학식 1>과 같이 정의될 수 있다.

<수학식 1>에서 만들어진 LUT를 이용하여 <수학식 2>에서와 같이 정의된 컨벌루션을 <수학식 3>과 같이 다시 정의할 수 있다.

여기서, x, y는 입력 영상의 좌표값, Out(x,y)는 I(x,y)에 대한 결과 픽셀 값, I는 입력 영상의 픽셀 값, F는 3×3 필터 값을 나타낸다.

여기서 x, y는 입력 영상의 좌표값, Out(x,y)는 I(x,y)에 대한 결과 픽셀 값, L은 2차원 LUT의 참조 값, I는 입력 영상의 픽셀 값, F는 3×3 필터 값을 나타낸다.

입력 픽셀에 대하여 주위의 픽셀들을 고려할 때, 각 방향으로 대칭되게 하기 위해서 필터의 크기는 홀수이다. 일반적으로 필터의 크기는 3×3이 가장 많이 사용되며, 5×5 또는 그 이상의 크기의 필터도 종종 사용된다.

대부분 필터는 상하, 좌우 또는 대각선 대칭을 가지며, 본 발명의 실시예에서는 필터의 상하, 좌우 대칭에 대해서 중첩되는 부분을 버퍼, 즉 저장부(140)에 저장하고 다음 연산에서 불러오는 방식으로 연산량을 줄일 수 있다.

예를 들어, 필터에서 대칭을 가지는 3번째 열의 결과값을 버퍼라는 공간에 저장을 하고, 다음 수행 때 중첩되는 1번째 열의 값을 버퍼에서 가져오는 방식으로 반복 연산을 수행하게 되는 것이다.

가령 <수학식 3>에서 정의된 2차원 LUT를 필터 대칭에 대해 <수학식 4>와 같이 정의할 수 있다.

여기서 x, y는 입력 영상의 좌표값, Out(x,y)는 I(x,y)에 대한 결과 픽셀 값, I는 입력 영상의 픽셀 값, F는 3×3 필터값, L1, L2, L3는 1열, 2열, 3열에 해당하는 2차원 LUT의 연산 결과를 나타낸다.

최종적으로 L1, L2, L3의 합으로서 출력(Out)을 구하게 된다.

나아가 이미지 처리부(130)는 가령 아다부스트(Adaboost) 기반의 얼굴 검출 알고리즘의 구현을 통해 대상 즉 얼굴의 후보 영역에 대한 병렬 처리를 통한 고속 연산을 수행한 후, 얼굴 인지 아닌지의 결과만을 처리할 수 있다. 다시 말해 이미지 처리부(130)는 병렬처리 구조로 입력된 영상 데이터와 특징 비교를 통해 얼굴인지 아닌지를 판단하고, 그 결과를 처리하게 되는 것이다. 이를 위하여 이미지 처리부(130)는 저장부(140)와의 연동하여 병렬 처리를 수행할 수 있겠지만, 내부 알고리즘의 구현을 통해 병렬처리 구조로 데이터와 특징 비교를 수행할 수도 있을 것이다. 위의 기능을 수행하기 위하여 이미지 처리부(130)는 병렬 처리부(혹은 데이터 병렬 처리부)를 포함할 수 있을 것이다.

저장부(140)는 이미지 처리부(130)에서 처리된 결과를 저장할 수 있다. 또한 본 발명의 실시예에 따라 저장부(140)는 가령 수신된 영상이 사람의 얼굴 영상일 때 추출된 얼굴에 대한 축소된 이미지를 저장할 수 있을 것이다. 나아가 저장부(140)는 이미지 처리부(130)와 연동하는 경우 가령 사람의 얼굴에 대한 특징, 예컨대 코, 입, 눈 등에 대하여 특징별로 구분하고, 그 구분된 특징에 대하여 사이즈별로 이미지를 구분하여 비교 정보로서 기저장할 수 있을 것이다. 이와 같이 기저장된 정보는 이미지 처리부(130)에서 병렬처리 구조로 데이터 처리시 이용될 수 있을 것이다. 이와 관련해서는 이후에 다시 다루기로 한다.

사용자 인터페이스부(150)는 사용자 명령을 수신하는 키 입력부를 포함할 수 있으며, 이미지 처리부(130)에서 처리된 처리 결과를 화면에 보여주기 위한 표시부를 포함하여 연동할 수도 있을 것이다. 가령 키 입력은 표시부에 표시되는 터치 방식으로 이루어질 수도 있으므로 본 발명의 실시예에서는 사용자 인터페이스부(150)가 어떻게 구성되느냐에 특별히 한정하지는 않을 것이다.

상기의 구성 결과, 본 발명의 실시예는 복잡한 배경을 가진 영상으로부터 가령 얼굴을 정확하게 검출할 수 있게 되며, 나아가 얼굴과 같은 대상의 특성 검출을 위한 데이터 처리시 병렬 처리 구조를 이용함으로써 검출기의 연산 속도를 향상시킬 수 있을 것이다. 또한 검출 알고리즘의 형태로 구현하는 경우 소형화와 더불어 보안 및 로봇 분야에 활용 가능성이 증대할 것이다.

도 2는 본 발명의 실시예에 따른 영상처리방법을 나타내는 흐름도이다.

설명의 편의상 도 2를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 영상처리장치(100)는 카메라 등을 통해 촬영된 가령 사람의 얼굴에 대한 영상을 수신한다(S201). 이때 해당 영상의 수신은 와이파이와 같은 근거리통신을 통해 수신될 수도 있을 것이다.

이어 영상처리장치(100)는 수신된 촬영 영상으로부터 가령 사람의 피부색 영역과 같은 대상의 특성에 기반한 특성 영역이 검출 가능한지를 판단할 수 있다(S203). 여기서, 판단은 가령 촬영 영상으로부터 피부색 영역을 검출해 보고, 검출되는 피부색 영역이 없을 때를 의미할 수 있다. 본 발명의 실시예서는 피부색 영역을 예로 들어 설명하였지만, 그것에 한정하려는 것은 물론 아니며, 임의의 대상에 대한 특성이라면 어떠한 것도 가능할 수 있을 것이다.

판단 결과, 피부색 영역과 같은 특성 영역이 검출되지 않을 때 영상처리장치(100)는 에지 검출을 추가로 수행한 후, 에지 검출에 의해 얻은 에지 정보를 특성 영역에 대한 정보와 함께 이용하여 피부색 영역을 다시 검출한다(S205).

이후 영상처리장치(100)는 S203 단계 또는 S205 단계에서 검출된 피부색 영역에 대한 영상을 처리하여 출력한다(S207). 여기서 영상을 처리한다는 것은 레이블링, 후보영상 추출 및 제거, 이미지 축소 등의 과정을 의미할 수 있다. 이와 관련해서는 이후에 자세히 다루기로 한다.

이와 같은 이미지 처리 과정에서, 영상처리장치(120)는 후보 영상에 대한 특징 비교를 위하여 병렬 처리를 수행할 수 있다. 예를 들어, 이미지 축소된 이미지를 저장한 후 저장된 이미지를 불러내어 사람의 얼굴 중 특정 부위, 예컨대 눈, 코, 입 별로 특성을 구분하고, 구분한 특성을 다시 사이즈별로 구분하여 기저장해 둔 이미지 데이터와 비교하는 방식으로 빠른 데이터 처리를 수행할 수 있을 것이다.

도 3은 본 발명의 실시예에 따른 영상처리장치가 적용된 임베디드 시스템을 예시하여 나타낸 도면이고, 도 4는 도 3의 시스템의 전반적인 얼굴 검출 과정을 설명하기 위한 도면이다.

도 3을 도 2와 함께 참조하면, 본 발명의 실시예에 따른 영상처리장치(100)가 적용된 임베디드 시스템은 촬상부(300), 제1 영상처리부(310), 제2 영상처리부(320) 및 디스플레이부(330)의 일부 또는 전부를 포함할 수 있다. 여기서, 제1 영상처리부(310)와 제2 영상처리부(320)의 일부 또는 전부는 영상처리장치(100)를 구성할 수 있으며, 디스플레이부(330)를 더 포함함으로써 디스플레이장치를 구성할 수도 있을 것이다. 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

촬상부(300)는 CCD 카메라 등을 포함할 수 있다. 이러한 카메라를 통해 촬상부(300)는 예컨대 사람의 얼굴을 촬영하고, 촬영된 얼굴 영상은 제1 영상처리부(310)로 제공할 수 있다. 이때 촬상부(300)는 얼굴 영상을 유선으로 제공할 수 있겠지만, 와이파이(Wi-Fi)와 같은 근거리 무선통신 방식으로 제공할 수도 있다.

제1 영상처리부(310)는 얼굴 검출 알고리즘을 포함하며, 가령 임베디드 보드(Embedded Board)의 형태로 구성될 수 있다. 이에 따라 제1 영상처리부(310)는 촬상부(300)로부터 영상을 수신하여 제2 영상처리부(320)와의 연동 하에 해당 영상 데이터를 처리할 수 있고, 처리한 최종 결과를 제2 영상처리부(320)로부터 수신하여 디스플레이장치(330)에 표시할 수 있다.

좀더 살펴보면, 제1 영상처리부(310)는 도 4에 도시된 바와 같이 카메라에서 들어온 영상을 임베디드 보드에서 기본적으로 연산을 수행한다. 제1 영상처리부(310)는 가령 얼굴 검출 알고리즘을 구현함으로써 입력된 영상에서 피부색 필터를 사용하여 피부색 영역을 얻게 된다. 이어 피부색 영역에서 배경, 조명 등 환경적인 변화에 따라 피부색과 비슷할 경우 얼굴 후보 영역을 얻기 힘들다고 판단될 때, 에지 정보를 피부색 영역과 결합하여 강인한 피부색 필터를 통한 피부색 영역 검출을 수행한다. 이후 피부색 필터를 통해 검출된 영상에서 레이블링을 수행하여, 특정 크기 이하의 영역 또는 특정 크기 이상의 영역을 관심 밖의 영역 또는 얼굴이 아닌 영역으로 간주하여 제거한다. 최종 검출된 후보 영역들에 대해서 얼굴 검출을 수행하게 되는데, 이때 이미지를 축소하여 제2 영상처리부(320)에 영상을 전송할 수 있다. 그리고 제2 영상처리부(320)로부터 얼굴인지 아닌지의 결과만을 수신해 그 결과를 이용하여 얼굴 영역만 디스플레이장치(330)에 출력할 수 있다.

위의 기능을 수행하기 위하여 제1 영상처리부(310)는 별도의 도면으로 나타내지는 않았지만, 도 4에 근거해 볼 때, 영상 수신부, 피부색 영역부, 에지 검출부, 피부색 영역 검출부, 레이블링부, 후보영역 처리부, 이미지 축소부, 영상 저장부, 표시부의 일부 또는 전부를 포함할 수 있을 것이다. 여기서, 영상 수신부는 카메라에서 촬영된 영상을 수신하며, 피부색 영역은 피부색 영역을 얻는다. 에지 검출부는 피부색 영역을 얻기 힘들 때 에지 검출을 수행한다. 또한 피부색 영역 검출부는 피부색 영역을 얻기 힘들 때 에지 검출부에서 제공되는 에지 정보를 피부색 영역과 결합하여 피부색 영역을 검출한다. 레이블링부는 검출한 피부색 영역에 대한 레이블링을 수행한다. 이는 영역에 대한 라벨링을 부여하는 것으로 이해해도 좋을 것이다. 후보영역 처리부는 후보 영역을 추출하여 얼굴 영역이 아닌 영역을 제거하고, 이미지 축소부는 최종 검출된 얼굴 영역에 대한 이미지를 축소하며, 영상 저장부는 축소한 이미지를 저장한 후 제2 영상처리부(320)로 전송할 수 있다. 또한 표시부는 제2 영상처리부(320)로부터 얼굴 영역에 대한 처리 결과를 수신하여 얼굴 영역만 디스플레이부(330)로 출력해 줄 수 있을 것이다.

제2 영상처리부(320)는 가령 FPGA(Field-Programmable Gate Array)의 형태로서 아다부스트(Adaboost) 기반의 얼굴 검출 알고리즘을 포함할 수 있다. 그리고 이러한 알고리즘의 구현을 통해 데이터의 병렬 처리를 통한 고속 연산을 수행한 후, 얼굴인지 아닌지의 결과만을 제1 영상처리부(310), 즉 임베디드 보드로 전송해 줄 수 있다. 다시 말해 제2 영상처리부(320)는 병렬처리 구조로 데이터와 특징 비교를 통해 얼굴인지 아닌지를 판단하고, 그 결과를 임베디드 보드로 보내게 된다.

위의 기능을 수행하기 위하여 제2 영상처리부(320)는 별도의 도면으로 나타내지는 않았지만, 도 4에 근거해 볼 때 병렬 처리부(혹은 데이터 병렬 처리부), 특징 비교부, 결과 합성부 및 결과 저장부의 일부 또는 전부를 포함할 수 있다. 여기서 병렬 처리부는 병렬 처리 구조로 데이터와 특징 비교가 이루어지도록 한다면, 특징 비교부는 얼굴인지 아닌지를 판단하는 동작을 수행할 수도 있다. 그리고 결과 합성부는 병렬 처리된 결과를 제공받아 합성하는 역할을 담당할 수 있으며, 결과 저장부는 결과 합성부에서 제공된 결과를 저장한 후 제1 영상처리부(310)로 전송해 줄 수 있을 것이다.

디스플레이부(330)는 가령 LCD(Liquid Crystal Display) 패널로서, 제2 영상처리부(320)에서 처리된 결과로서 얼굴 영역에 대한 결과만을 제1 영상처리부(310)로부터 제공받아 화면에 표시해 줄 수 있을 것이다.

도 5는 도 3의 시스템의 피부색 영역 검출 방법을 설명하기 위한 도면이다.

도 5를 도 3과 함께 참조하면, 입력 영상 정보에서 피부색을 검출하는 방법으로 기존에는 획득한 정보 또는 모델만을 이용하므로 입력 영상에서 피부색 영역을 효과적으로 검출하지 못하는 문제점이 있다. 기존의 방법에서는 컬러공간을 RGB에서 YCbCr 컬러 공간으로 변환하여 피부색 필터를 수행하게 된다. YCbCr 컬러 공간은 밝기값과 색차 성분으로 쉽게 분리할 수 있고, 색차 성분인 Cb와 Cr이 다른 컬러 공간에 비해 피부 영역의 범위가 좁은 영역에 밀집되어 분포되기 때문에 비 피부색 영역이 피부 영역으로 검출되는 양을 줄일 수 있는 특징으로 많이 사용하지만, RGB를 YCbCr로 변환하는 과정 또한 연산시간에 포함된다.

본 발명의 실시예에서는 입력 영상을 YCbCr 컬러 공간으로 변환하지 않고 RGB 컬러 공간에서 피부색을 효과적으로 검출하기 위해 RGB로 검출된 피부색 영역과 에지 정보의 결합을 통하여 피부색을 검출하는 것이다. RGB 컬러 공간에서 YCbCr 컬러 공간으로 변환하는 과정이 없으므로 연산 시간을 줄일 수 있으며, RGB와 에지 정보의 결합을 통하여 기존의 피부색 영역 검출보다 나은 성능을 보여주게 된다.

도 5에서 볼 때, 본 발명의 실시예에 따른 피부색 영역 검출은 입력된 컬러 영상을 R,G, B로 분할하여 피부색 영상을 만들고, 피부색 영상에서 피부색으로 판단된 흰색 값과 배경으로 판단된 검정색 값의 비를 계산하여 피부색으로 판단된 검정색의 비가 높을 경우 피부색 영역으로 레이블링을 수행하지만, 흰색의 비가 높을 경우 피부색 영역을 찾지 못하게 되므로 R, G, B를 이용하여 그레이 영상을 만들고, 그레이 영상에서 에지를 검출한다. 이후 에지 정보와 피부색 정보를 합성하여 강인한 피부색 영상을 만들고, 레이블링을 수행하게 된다.

위의 기능을 수행하기 위하여, 앞서 언급한 피부색 영역부, 에지 검출부 및 피부색 검출부는 도면에 별도로 표기하지는 않았지만 도 5에 근거해 볼 때 분리부, 특성기반 영상 생성부, 영상분석부, 그레이 영상 생성부, 에지 검출부, 영상 합성부의 일부 또는 전부를 포함할 수 있다. 이때 그레이 영상 생성부, 에지 검출부 및 영상 합성부는 검출부로 통칭될 수 있다. 여기서, 분리부는 입력된 컬러 영상을 R, G, B로 분리하고, 특성기반 영상 생성부는 분리한 R, G, B로 가령 피부색 영상을 생성하며, 영상분석부는 피부색 영상에서 피부색으로 판단된 흰색 값과 배경으로 판단된 검정색 값의 비를 계산하여 피부색으로 판단된 검정색의 비가 높을 경우 피부색 영역을 레이블링하도록 한다. 또한 그레이 영상 생성부는 영상 분석 결과 흰색의 비가 높을 경우 피부색 영역을 찾지 못하게 되므로 R, G, B를 이용하여 그레이 영상을 생성하고, 에지 검출부는 그레이 영상에서 에지를 검출하며, 영상 합성부는 에지 정보와 피부색 정보를 합성하여 강인한 피부색 영상을 생성하여 레이블링을 수행하도록 한다.

도 6은 도 3의 시스템의 FPGA를 이용한 얼굴 검출 방법을 예시한 도면이다.

도 6을 도 3과 함께 참조하면, 본 발명의 실시예에 따른 FPGA를 이용한 얼굴 검출 모델은 피부색 영역에서 레이블링을 수행하여 얼굴 후보 영역을 추출하게 되고, 추출된 후보 영역에서 일정 사이즈 이하에 대해서는 관심 영역 밖의 영역 또는 얼굴이 아닌 이미지로 분류하여 후보 영역에서 제거하게 된다. 이후 최종 선정된 후보 영역을 특정 사이즈로 축소 후 데이터를 저장하게 되고, 저장된 데이터를 FPGA에 전송하게 된다. FPGA라는 하드웨어 기반에서 병렬처리 구조로 데이터와 특징 비교를 통해 얼굴인지 아닌지를 판단하고, 그 결과를 제1 영상처리부(310), 즉 임베디드 보드로 보내게 된다.

위의 내용에 근거해 볼 때, 제1 영상처리부(310)의 후보영역 처리부는 후보영상 추출부와 후보영상 제거부를 포함할 수 있을 것이다. 여기서, 후보영상 추출부는 피부색 영역에서 레이블링을 수행하여 얼굴 후보 영역을 추출하게 되고, 후보영상 제거부는 추출된 후보 영역에서 일정 사이즈 이하에 대해서는 관심 영역 밖의 영역 또는 얼굴이 아닌 이미지로 분류하여 후보 영역에서 제거하게 되는 것이다.

이제, 피부색 검출 실험 및 결과에 대하여 살펴보도록 한다.

먼저 피부색 영역 검출을 위한 실험 및 결과를 살펴보면, 기존의 피부색 검출 방법들은 기존에 획득된 정보 또는 모델만을 이용함으로써, 입력 영상의 정보 및 상태를 충분히 반영하지 못하여 피부색 영역을 효과적으로 검출하지 못하는 문제점이 있다.

Tsekeridou는 논문 "Facial Feature Extraction in Frontal Views using Biometric Analogies”에서 HSV 색상 공간에서 피부색 화소 데이터들을 이용한 실험을 통해 피부색 영역을 분류할 수 있는 임계값을 정의하였다. <수학식 5>는 HSV 색상 공간에서의 피부색 영역의 임계값을 나타낸다.

또한 Chai는 논문 “Face Segmentation using Skin-Color Map in Video Phone Applications”에서 YCbCr 색상 공간에서 피부색 화소 데이터들을 이용한 실험을 통해 피부색 영역을 분류할 수 있는 임계값을 Cb, Cr에 대해서 정의하였다. <수학식 6>은 YCbCr 색상 공간에서의 피부색 영역의 임계값을 나타낸다.

Kovac은 논문 "2D Versus 3D Colour Space Face Detection”에서 사람의 피부가 멜라닌 색소의 영향으로 인해 적색 컬러 성분이 상당히 많은 부분을 차지하고 있는 적색 컬러 성분이 상당히 많은 부분을 차지하고 있는 특징을 이용하여 RGB색상 공간에서 피부색 영역을 분류하는 실험을 통해서 <수학식 7>과 같이 RGB 색상 공간에서의 피부색 영역을 정의하였다.

기존의 피부색 검출의 성능을 파악하기 위하여 HSV, YCbCr, RGB 색상공간에서의 임계값을 사용한 피부색 검출 방법을 이용하여 피부색 영역을 검출한다. 검출된 각각의 피부색 영역을 논리곱 연산을 통하여 초기 피부색 영역으로 설정하게 된다.

HSV 색상공간은 색상(Hue), 채도(Saturation), 명도(Brightness, Value)의 좌표를 써서 특정한 색을 지정한다.

입력된 RGB 색상공간에서 HSV 색상공간을 만들기 위해 RGB의 값을 이용하여 <수학식 8>과 같이 색상 공간 변환을 수행한다.

도 7은 RGB 색상공간에서 HSV 색상공간으로의 변환 예를 나타내는 도면이고, 도 8은 HSV 색상공간에서 피부색 영역 검출 예를 나타내는 도면이다.

HSV색상 공간에서 <수학식 5>의 임계값을 이용하여 피부색 영역을 정의하면, 도 8과 같이 나타내어질 수 있다.

YCbCr색상 공간에서 Y는 휘도(Luminance) 성분이며, Cb(Chroma Blue)와 Cr(Chroma Red)은 색차 성분이다. Cb는 B-Y, Cr은 R-Y로써 특정한 색상 공간을 만들어낸다. 입력된 RGB색상 공간에서 YCbCr색상 공간을 만들기 위해 RGB의 값을 이용하여 <수학식 9>와 같이 색상 공간 변환을 수행한다.

도 9는 RGB 색상공간에서 YCbCr 색상공간으로의 변환 예를 나타내는 도면이고, 도 10은 YCbCr 색상공간에서 피부색 영역 검출 예를 나타내는 도면이다.

YCbCr영상에서 <수학식 6>의 임계값을 이용하여 피부색 영역을 정의하면, 도 10과 같이 나타내어질 수 있다.

도 11은 RGB 색상공간에서 피부색 영역 검출 예를 나타내는 도면이다.

RGB영상에서 <수학식 7>의 임계값을 이용하여 피부색 영역을 정의하면, 도 11과 같이 나타내어질 수 있다.

도 12는 성능 검증에 사용된 입력 영상들을 나타내는 도면이다.

HSV, YCbCr, RGB 색상공간에서 피부색 영역 검출의 성능을 평가하기 위해 4개의 영상에 적용시켰다. 도 12와 같이 (a)와 (b)는 배경의 영향을 적게 받는 영상이며, (c)와 (d)는 피부색과 비슷한 배경을 가지는 영상으로 배경의 영향을 많이 받는 영상으로 선택하였다.

도 13은 HSV 색상공간에서 피부색 영역을 검출한 영상이고, 도 14는 YCbCr 색상공간에서 피부색 영역을 검출한 영상이며, 도 15는 RGB 색상공간에서 피부색 영역을 검출한 영상이다.

HSV, YCbCr, RGB 색상공간에서 피부색 영역 검출 결과에서 (a) 영상의 경우 HSV, YCbCr, RGB 색상공간에서 피부색 영역을 검출하는데 비슷한 성능을 가진다.

(b), (c), (d) 영상의 경우 HSV, YCbCr보다는 RGB가 피부색 영역 검출에 대해 좋은 성능을 가진다. 하지만 (c)와 (d)의 영상에서 배경 화면이 피부색과 비슷하여 피부색 영역을 제대로 판별할 수 없을 뿐 아니라 후보 영역을 만들기가 힘들다.

따라서, 본 발명의 실시예에서는 임베디드 시스템에 적용하기 위하여 색상 공간 변환의 연산이 필요 없는 RGB 색상공간에서 피부색 영역을 검출하는 방법을 활용하였다. 배경에 영향을 많이 받는 (c)와 (d) 영상에서도 피부색 영역을 제대로 판단하기 위해 피부색 임계값만을 사용하지 않고, 에지 정보를 피부색 영역 영상과 합성함으로써 특정 영상에만 국한되지 않고, 실 환경에 적용할 수 있는 피부색 영역 검출 알고리즘을 사용하는 것이 바람직하다.

다음은 에지 검출을 위한 실험 및 결과를 살펴보도록 한다.

도 16은 에지 필터의 값을 나타내는 도면이다.

에지란 영상에서 밝기가 낮은 값에서 높은 값으로 또는 높은 값에서 낮은 값으로 변화하는 경계에 해당하는 부분으로 에지를 검출함으로써 물체의 위치, 모양, 크기 등에 대한 정보를 알 수 있다.

본 발명의 실시예에서 에지 정보를 활용하기 위해 에지 필터의 성능을 검증하였다. 에지를 검출하기 위한 필터 종류로는 Prewitt, Sobel, Kirsch 등이 있으며, 각 필터의 값은 도 16과 같이 대칭성을 가지므로 본 발명의 실시예에서 제안하는 2차원 LUT와 중첩처리를 통한 고속화 연산으로 에지 검출을 수행하게 된다.

도 17은 Sobel필터를 이용한 에지 검출 결과 영상이고, 도 18은 Prewitt필터를 이용한 에지 검출 결과 영상이며, 도 19는 Kirsch필터를 이용한 에지 검출 결과 영상이다.

에지 검출 실험 결과에서 Sobel필터 또는 Prewitt필터를 이용한 에지 검출은 노이즈가 적은 반면 배경과 관심 영역의 경계값이 뚜렷하지 않다. 본 발명의 실시예에서는 피부색과 비슷한 영상에서 얼굴 후보 영역을 찾기 위해 배경과 관심 영역의 경계값이 뚜렷해야 하기에 Kirsch필터를 이용한 에지 검출 영상을 활용하여 피부색 영역 검출 영상과 합성을 하였다.

계속해서 피부색 영역과 에지 검출 영상의 합성 실험 및 결과를 살펴본다.

도 20은 에지 검출 영상에서 이진 영상으로 변환한 도면이다.

도 20과 같이 피부색 영역 검출 영상과 에지 검출 영상의 합성을 위해 에지 검출 영상을 이진 영상으로 변환한다.

왼쪽의 (a)와 (c)의 영상은 Kirsch필터를 이용한 에지 검출 영상이며, (b)와 (d)는 이진 영상으로 변환된 영상이다. 이진 영상을 피부색 영역 검출 영상과 합성하기 위해 이진 영상을 반전시킨다. 반전된 에지 검출 영상과 피부색 영역 검출 영상을 <수학식 10>과 같이 곱셈 연산으로 합성한다.

도 21은 에지 검출 영상과 피부색 영역 검출 영상을 합성한 영상이다.

도 21에서 볼 수 있는 바와 같이, 피부색 영역 검출 영상에서 배경과 구별할 수 없었던 문제점을 에지 검출 영상과 합성을 통해 강인한 피부색 영역 검출 영상을 보인다.

다음은 얼굴 검출 실험 및 결과를 나타낸다.

도 22는 피부색 정보만을 사용한 기존의 방법과 제안하는 방법을 사용한 영상에서 라벨링을 수행하여 후보 영역을 검출한 영상이고, 도 23은 레이블링과 얼굴 검출 알고리즘을 수행하여 얻은 얼굴 검출 영상이다.

먼저 얼굴 검출 고속화 실험 결과를 살펴보면, 피부색 영역 검출 영상을 이용하여 레이블링을 수행하게 된다. 레이블링이란 인접한 모든 픽셀에 동일한 번호를 붙이는 작업으로 인접한 픽셀끼리 그룹화시킨다. 레이블링은 이진 영상을 탐색하다가 밝기가 255인 픽셀 값을 만나면 4-근방 혹은 8-근방의 중심으로 이동 후 다시 인접 픽셀의 값이 255의 값을 만나면 레이블링을 하는 방식으로 반복 연산하는 작업이다.

레이블링을 통해 픽셀들의 그룹에서 일정 크기 이하의 그룹을 제거하여 얼굴에 근접한 후보 영역만 남게 된다. 얼굴 후보 영역들을 얼굴 검출 알고리즘 사용하여 얼굴인지 아닌지를 판단하게 되고, 얼굴이라고 판단된 영역만 출력하게 된다.

도 22에서와 같이, 피부색 정보만을 사용하였을 때, 피부 영역과 배경 영역의 경계점을 찾을 수 없어 후보 영역을 검출하지 못한 문제점을 에지 검출 영상과 합성을 통해 강인한 피부색 영역 검출 영상을 만들었으며, 강인한 피부색 영역 검출 영상에서 라벨링을 수행하여 후보 영역을 검출하였다.

또한 도 23에서와 같이, 피부색 영역 검출 영상에서 레이블링을 수행하여 인접한 픽셀끼리 그룹을 만들고, 일정 크기 이하의 그룹을 제거하여 7개의 얼굴 후보 영역을 얻게 되고, 7개 얼굴 후보 영역을 얼굴 검출 알고리즘을 사용하여 얼굴인지 아닌지를 판단하여 최종 얼굴을 검출하게 된다.

이어 PC 환경에서 얼굴 검출 성능 비교를 살펴보면, 얼굴 검출 고속화 방법의 성능 평가를 위하여 AMD 패넘-X6 1055T Processor 2.80Ghz, 4GB RAM을 장착한 Windows 7기반의 PC에서 OpenCV(Open Source Computer Vision)를 사용하여 일반적인 얼굴 검출의 연산 시간과 후보 영역에서의 얼굴 검출 연산 시간을 비교 분석하였다. 입력 영상은 640×480의 컬러 영상으로서 도 23의 영상을 사용하여 얼굴 검출을 수행하였다.

<표 1> 및 도 24는 PC 환경에서 얼굴 검출의 연산 시간을 나타내는 것이다.

일반적인 얼굴 검출의 경우 영상의 전체를 탐색하므로, 311ms이라는 시간이 걸리는 반면에 제안하는 얼굴 검출은 전처리 연산 시간이 필요하지만, 총 연산 시간은 일반적인 얼굴 검출에 비해 약 2.7배 빠른 성능을 내는 것을 확인하였다.

계속해서 임베디드 보드에서 얼굴 검출 성능을 비교해 보면, 얼굴 검출 고속화 방법의 성능 평가를 위하여 ARM Cortex-A8 600Mhz, 128kb RAM을 장착한 OMAP3530에서 리눅스 환경으로 OpenCV를 사용하여 일반적인 얼굴 검출의 연산 시간과 후보 영역에서의 얼굴 검출 연산 시간을 비교 분석하였다. 입력 영상은 640×480의 컬러 영상으로서 도 23의 영상을 사용하여 얼굴 검출을 수행하였다.

<표 2> 및 도 25는 임베디드 보드 환경에서 얼굴 검출의 연산 시간을 나타내고 있다. 일반적인 얼굴 검출의 경우 28초라는 연산 시간으로 많은 시간을 요구하지만 제안하는 얼굴 검출은 총 연산 시간이 3.5초로 일반적인 얼굴 검출 연산 시간에 비해 약 8배 빠른 성능을 내는 것을 확인하였다. 일반적인 얼굴 검출 알고리즘보다 빠른 성능을 내지만, 임베디드 시스템에서 실시간 처리를 하기 위해선 속도 향상이 필요하다.

이어 FPGA를 이용한 얼굴 검출 성능 검증에 대하여 살펴본다.

도 26은 얼굴 검출을 위한 캐스케이드 구조를 나타내는 도면이다.

먼저 FPGA를 이용한 얼굴 검출 실험 결과를 살펴보면, 본 발명의 실시예에서 제안하는 얼굴 검출 알고리즘에서 Adaboost기반의 얼굴 검출 알고리즘이 가장 많은 시간을 요구한다. Adaboost기반의 얼굴 검출 알고리즘의 기본 개념은 약한 분류기(Weak Classifier)를 선형적으로 결합하여 최종적으로 높은 검출 성능을 가진 강한 분류기(Strong Classifier)를 생성하는 것이다.

Adaboost 알고리즘을 이용하여 생성된 분류기는 앞쪽 부분에 간단하면서도 얼굴을 가장 잘 검출하는 것을 배치하고, 뒤쪽 부분에 잘못 검출된 것을 제거하는 방식의 Cascade 구조로 이루어져 있다.

도 26에서 Cascade 구조는 여러 개의 스테이지를 나누고, 스테이지별로 약한 분류기의 수를 다르게 하여 수행하는 방법이다. 분류기들은 Positive 얼굴 영상을 검출하고, Negative 얼굴 영상은 제거하도록 구성된다. 간단한 분류기는 대부분의 초기 특징들을 제거하는데 사용되고, 보다 복잡한 분류기는 낮은 오검출률에 도달하기 위해 사용된다.

본 발명의 실시예에서는 FPGA라는 하드웨어 장치를 이용하여 Cascade구조를 병렬 처리 구조로 설계함으로써 처리 속도를 개선할 수 있음을 검증하였다.

성능 검증을 위해 OpenCV로 구현된 Adaboost기반의 얼굴 검출 알고리즘을 C코드로 구현하여야 한다. OpenCV에서 Adaboost로 학습시킨 DB(Data Base) 중에서 특징값 6개를 사용하여 2단계 Cascade구조를 만들었으며, 20×20 크기를 가지는 Positive 얼굴과 Negative 얼굴 영상들에 대해 서브 윈도우와 입력 영상의 크기를 1:1 비율로 고정하여 검출을 수행하였다.

도 27은 실험에 사용된 Positive 얼굴과 Negative 얼굴 영상들이다.

CBCL 얼굴DB 중에서 Positive 얼굴 영상 10장과 Negative 얼굴 영상 10장을 사용하였다.

2단계 Cascade구조에서 도 27의 Positive 얼굴과 Negative 얼굴 영상들에 대해 검출을 수행하였을 때 검출률을 <표 3>에서 나타내고 있다. Negative 얼굴 영상에서 2개의 영상을 얼굴이라고 오검출하였다.

이어, PC 환경에서 얼굴 검출 연산 시간을 살펴보면, 얼굴 검출의 성능 평가를 위하여 AMD 패넘-X6 1055T Processor 2.80Ghz, 4GB RAM을 장착한 Windows 7기반의 PC에서 도 27의 Positive 얼굴과 Negative 얼굴 영상들에 대해 검출을 수행하였을 때 연산 시간을 <표 4>에 나타내고 있다.

계속해서, 임베디드 보드에서 얼굴 검출 연산 시간을 살펴보면, 얼굴 검출의 성능 평가를 위하여 ARM Cortex-A8 600Mhz, 128kb RAM을 장착한 OMAP3530에서 리눅스 환경에서 도 27의 얼굴과 Negative 얼굴 영상들에 대해 검출을 수행하였을 때 연산 시간을 <표 5>에 나타내고 있다.

또한 FPGA를 이용한 얼굴 검출 연산 시간을 살펴보면, 얼굴 검출의 성능 평가를 위하여 Altera CycloneII EP2C70F672C8, 50Mhz Main Clock를 사용한 FPGA환경에서 도 28과 같이 Cascade구조를 병렬 처리 구조로 설계하였으며, 성능 검증을 위해 AMD 패넘-X6 1055T Processor 2.80Ghz, 4GB RAM을 장착한 Windows 7기반의 PC에서 입력 영상을 115200bps속도의 시리얼 통신을 이용하여 FPGA로 보내게 되고, FPGA에서 영상을 저장한다.

저장된 영상에서 각 특징들을 비교 연산 후 검출된 결과를 합성 후 얼굴 인지 아닌지를 판단하게 되며, 판단된 결과값을 PC로 보내게 된다.

도 28에서 수행한 얼굴 검출 평균 연산 시간을 도 29 및 <표 6>에 나타내고 있다.

<표 6>에서 PC에서 입력된 영상을 FPGA에서 수신받는 시간이 33.96 ㎳으로 많은 시간이 걸리지만, 연산 시간은 0.0563 ㎳으로 빠른 성능을 내는 것을 확인하였다.

도 29에서 PC, 임베디드 보드, FPGA의 연산 시간을 비교하였을 때, FPGA에서 연산 시간은 PC환경에서 연산 시간보다 약 3.8배, 임베디드 보드에서 연산 시간보다 약 16배 빠른 성능을 내는 것을 확인할 수 있다. FPGA에서 병렬 처리를 수행하므로 Cascade를 늘릴수록 PC 또는 임베디드 보드보다 빠른 성능을 낼 수 있지만, 얼굴 검출을 수행하기 위해 FPGA로 입력 영상을 전송하는 부분에서 많은 시간이 걸리므로 임베디드 시스템에서 실시간 처리를 위해서는 FPGA와 임베디드 보드 간에 데이터를 송수신하는 인터페이스 부분을 해결하여야 한다. 본 발명의 실시예에서 사용된 시리얼 통신을 SRAM이나 Nand Flash를 사용하여 구현한다면 좀 더 빠른 성능을 기대할 수 있을 것이다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있을 것이다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

110: 통신 인터페이스부 120: 제어부
130: 이미지 처리부 140: 저장부
150: 사용자 인터페이스부 300: 촬상부
310: 제1 영상처리부 320: 제2 영상처리부
330: 디스플레이부

Claims

임의의 대상이 촬영된 영상을 수신하는 영상 수신부; 및
상기 수신한 영상을 이용하여 상기 대상의 특성에 기반한 특성 영역이 검출되는지 판단하고, 판단 결과 상기 특성 영역이 검출되지 않을 때 상기 수신한 영상의 에지를 검출하며, 상기 검출된 에지와 상기 수신한 영상을 결합하여 상기 특성 영역을 재검출하는 이미지 처리부;를 포함하고,
상기 이미지 처리부는,
상기 특성에 기반한 특성기반 영상을 생성하고, 상기 생성한 특성기반 영상에서 상기 특성 영역이 검출되는지를 판단하는 판단부를 포함하고,
상기 판단부는,
상기 특성기반 영상을 생성하는 특성기반 영상 생성부; 및
상기 특성 영역이 검출되는지 판단하기 위하여 상기 특성기반 영상을 분석하고, 분석 결과, 상기 특성 영역이 검출될 때 상기 특성기반 영상을 출력하고, 상기 특성 영역이 검출되지 않을 때 검출되지 않음을 알리는 정보를 검출부로 알리는 영상 분석부를 포함하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 이미지 처리부는,
상기 수신한 영상을 적색(R), 녹색(G), 청색(B)별로 분리하는 분리부; 및
상기 분리한 R, G, B의 영상을 이용하여 그레이(gray) 영상을 생성하고, 상기 생성한 그레이 영상에서 에지를 검출하며, 상기 검출된 에지와 상기 특성기반 영상을 결합하여 상기 특성기반 영역을 재검출하는 검출부;를 더 포함하고,
상기 판단부는,
상기 분리한 R, G, B의 영상을 이용하여 상기 특성에 기반한 특성기반 영상을 생성하는 것을 특징으로 하는 영상처리장치.
삭제
제2항에 있어서,
상기 검출부는,
상기 수신한 영상을 이용하여 그레이 영상을 생성하는 그레이 영상 생성부;
상기 생성한 그레이 영상에서 상기 대상의 에지를 검출하는 에지 검출부; 및
상기 검출된 에지와 상기 특성기반 영상을 결합한 합성 영상을 생성하여 출력하는 영상 합성부;를
포함하는 것을 특징으로 하는 영상처리장치.
제4항에 있어서,
상기 이미지 처리부는,
상기 특성기반 영상 및 상기 합성 영상에 대하여 레이블링(labeling)을 수행하는 레이블링부;를 더 포함하는 것을 특징으로 하는 영상처리장치.
제5항에 있어서,
상기 이미지 처리부는,
상기 레이블링을 수행한 영상을 이용하여 상기 대상의 특성을 나타내는 후보 영상을 추출하는 후보영상 추출부; 및
상기 추출한 후보 영상에서 상기 대상의 특성에 대한 기준값을 벗어나는 후보 영상을 필터링하는 후보영상 제거부;를
더 포함하는 것을 특징으로 하는 영상처리장치.
제6항에 있어서,
상기 후보영상 제거부는 상기 대상의 특성에 대한 크기를 이용하여 필터링하는 것을 특징으로 하는 영상처리장치.
제6항에 있어서,
상기 이미지 처리부는,
상기 대상에 대한 특징 및 사이즈별 복수의 비교 정보를 개별적으로 저장하는 저장부;
상기 후보 영상을 상기 복수의 비교 정보와 병렬로 비교 처리하는 병렬 처리부;를
더 포함하는 것을 특징으로 하는 영상처리장치.
제8항에 있어서,
상기 대상의 특성은 얼굴의 피부색이며, 상기 비교 정보는 상기 얼굴의 특정 부위에 대한 형상 정보인 것을 특징으로 하는 영상처리장치.
임의의 대상이 촬영된 영상을 수신하여 상기 수신한 영상을 이용해 상기 대상의 특성에 기반한 특성 영역이 검출되는지를 판단하는 단계; 및
판단 결과 상기 특성 영역이 검출되지 않는 경우, 상기 수신한 영상의 에지를 검출하고, 상기 검출된 에지와 상기 수신한 영상을 결합하여 상기 특성 영역을 재검출하는 단계를 포함하고,
상기 특성 영역이 검출되는지를 판단하는 단계는,
상기 특성에 기반한 특성기반 영상을 생성하는 단계; 및
상기 특성 영역이 검출되는지를 판단하기 위하여 상기 특성기반 영상을 분석하고, 분석 결과, 상기 특성 영역이 검출될 때 상기 특성기반 영상을 출력하고, 상기 특성 영역이 검출되지 않을 때 검출되지 않음을 알리는 정보를 제공하는 단계;를 포함하는 것을 특징으로 하는 영상처리방법.
제10항에 있어서,
상기 수신한 영상을 이용하는 단계는,
상기 수신한 영상을 적색(R), 녹색(G), 청색(B)별로 분리하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제11항에 있어서,
상기 특성 영역이 검출되는지를 판단하는 단계는,
상기 분리한 R, G, B의 영상을 이용하여 상기 특성에 기반한 특성기반 영상을 생성하는 것을 특징으로 하는 영상처리방법.
제11항에 있어서,
상기 특성 영역을 재검출하는 단계는,
상기 분리한 R, G, B의 영상을 이용해 그레이 영상을 생성하는 단계;
상기 생성한 그레이 영상에서 상기 대상의 에지를 검출하는 단계; 및
상기 검출된 에지와 상기 특성기반 영상을 결합해 합성 영상을 생성하여 출력하는 단계를
포함하는 것을 특징으로 하는 영상처리방법.
제13항에 있어서,
상기 특성기반 영상을 출력하는 단계 및 상기 합성 영상을 생성하여 출력하는 단계는, 상기 특성기반 영상 및 상기 합성 영상에 대하여 레이블링(labeling)을 수행하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제14항에 있어서,
상기 레이블링을 수행하는 단계는,
상기 레이블링을 수행한 영상을 이용하여 상기 대상의 특성을 나타내는 후보 영상을 추출하는 단계; 및
상기 추출한 후보 영상에서 상기 대상의 특성에 대한 기준값을 벗어나는 후보 영상을 필터링하는 단계를
포함하는 것을 특징으로 하는 영상처리방법.
제15항에 있어서,
상기 후보 영상을 필터링하는 단계는, 상기 대상의 특성에 대한 크기를 이용하여 필터링하는 것을 특징으로 하는 영상처리방법.
제15항에 있어서,
상기 영상처리방법은,
상기 대상에 대한 특징 및 사이즈별 복수의 비교 정보를 개별적으로 저장하는 단계;
상기 후보 영상을 상기 비교 정보과 병렬로 비교 처리하는 단계를
포함하는 것을 특징으로 하는 영상처리방법.
제17항에 있어서,
상기 영상처리방법은,
상기 필터링한 후보 영상을 저장하고, 상기 저장한 후보 영상을 상기 병렬 처리시 제공하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
제17항에 있어서,
상기 대상의 특성은 얼굴의 피부색이며, 상기 비교 정보는 상기 얼굴의 특정 부위에 대한 형상 정보인 것을 특징으로 하는 영상처리방법.
영상처리방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
상기 영상처리방법은,
임의의 대상이 촬영된 영상을 수신하여 상기 수신한 영상을 이용해 상기 대상의 특성에 기반한 특성 영역이 검출되는지를 판단하는 단계; 및
판단 결과 상기 특성 영역이 검출되지 않는 경우, 상기 수신한 영상의 에지를 검출하고, 상기 검출한 에지와 상기 수신한 영상을 결합하여 상기 특성 영역을 재검출하는 단계를 포함하고,
상기 특성 영역이 검출되는지를 판단하는 단계는,
상기 특성에 기반한 특성기반 영상을 생성하는 단계; 및
상기 특성 영역이 검출되는지를 판단하기 위하여 상기 특성기반 영상을 분석하고, 분석 결과 상기 특성 영역이 검출될 때 상기 특성기반 영상을 출력하고, 상기 특성 영역이 검출되지 않을 때 검출되지 않음을 알리는 정보를 제공하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 기록매체.