KR20150109901A - 객체 검출 방법 - Google Patents

Abstract

객체 검출 방법이 개시된다. 이 방법은 사람 후보 영역을 검출하기 위한 검출 윈도우를 이용하여 입력 영상을 스캔하는 과정과, 상기 입력 영상을 스캔 하는 과정에서 상기 검출 윈도우가 위치하는 영역에 대응하는 픽셀들의 0도 회전된 MCT(Modified Census Transform)값과 -90도 회전된 MCT값을 추출하는 과정과, 상기 0도 회전된 MCT값과 -90도 회전된 MCT값을 기 설정된 임계값과 비교한 비교결과를 이용하여 상기 사람 후보 영역을 검출하는 과정 및 상기 검출된 사람 후보 영역과 상기 입력 영상과 결합한 최종 영상을 출력한다.

Description

객체 검출 방법{METHOD FOR DETECTING OBJECT}

본 발명은 객체 검출 방법에 관한 것으로, 더욱 상세하게는 카메라로부터 입력된 입력 영상으로부터 회전 변화에 강인한 객체 영역을 검출하는 방법에 관한 것이다.

일반적으로 현재 개인 식별이나 사용자 인증, 개인 정보 보호를 위한 대표적인 수단으로, 주민등록증, 운전면허증, 학생증 등을 이용한 식별 수단들이 있다. 이러한 식별 수단들을 본인이 휴대하지 않는 경우 본인 확인이 어렵다. 심지어 식별 수단의 소유자와 실제 소유자가 같지 않은 경우에도 본인으로 확인되는 경우도 빈번하게 발생한다.

이러한 문제를 보완하기 위해, 지문 인식, 홍채 인식, 얼굴 인식 등의 생체 인식 기술에 대한 관심이 높아지고 있다. 특히, 생체 인식 기술 중 얼굴 인식 기술은 다른 생체 정보에 비해 상대적으로 사용자에 대한 강제성이 적으며, 비접촉 방식에 따른 사용자 편의성 때문에 다양한 응용 분야에서 각광 받고 있다.

얼굴 인식 기술은 사람 인식 기술의 한 분야로서 생체 인식을 위한 검출 기술로 활용되고 있을 뿐 아니라, 최근에는 모바일 기기, 디지털 카메라 등의 휴대용 기기 및 청소 로봇, 엔터테인먼트용 장난감 로봇 등과 같은 서비스 로봇 서비스 로봇 등의 관련 시장의 확대와 더불어 더욱 다양하게 개발되고 있다.

이러한 환경에서 디지털 기기, 모바일 기기 등에 카메라를 탑재하고, 얼굴 인식을 포함하는 사람 인식 기술을 적용할 경우, 상품의 부가 가치 향상 및 판매 증대가 예상된다. 예를 들면, 휴대폰 등과 같은 모바일 기기의 경우 사람의 위치를 검출하고, 영상 처리를 통해 사람 얼굴을 인식한 후에, 얼굴 표정에 변화를 주는 기능 등을 제공할 수 있고, 디지털 카메라 등과 같은 디지털 기기의 경우 사람 위치를 잡아 포커스를 맞추는 기능 등을 제공할 수 있어 다양한 기술들과 접목시켜 활용 할 수 있다.

지금까지의 얼굴 인식에 기반한 사람 검출 알고리즘은 주로 PC 기반 환경에서 동작하는 알고리즘 형태로 개발되어 왔으며, 이 기술을 임베디드(embedded) 시스템에 적용할 경우 상대적으로 부족한 리소스와 성능 때문에 실시간 사람 검출이 불가능 하거나 낮은 검출율을 보임으로서 효율적인 사람 검출이 어렵다. 더욱이, 사람이 똑바로 서있지 않고, 누워있거나 비스듬히 앉아있는 상황(사람의 회전 변화) 또는 조명 변화가 심한 상황에서, 기존의 사람 검출 기술의 검출 효율은 더욱 낮아질 것이다.

이와 같이, 이러한 사람 검출 기술의 적용 분야가 휴대용 기기의 임베디드 시스템은 물론 청소 로봇, 엔터테인먼트용 장난감 로봇 등과 같은 서비스 로봇 분야로 확대되고 있는 현 시점에서 고성능의 실시간 사람 검출 기술의 필요성은 더욱더 커져가고 있다.

하지만, 기존의 얼굴 인식 기술에 기반한 사람 검출 기술은 위에서 기술한 바와 같이, 조명 변화 및 회전 변화에 따라 사람 검출 성능이 급격히 떨어지는 문제점을 나타내고 있으며, 이를 해결 하려면 추가적인 처리과정이 필요하기 때문에, 이에 따른 계산량 중가에 따른 처리 시간의 중가 및 장치 복잡도의 증가는 PC 기반이 아닌 하드웨어에 탑재하는 데 한계가 있다. 즉, 하드웨어 구현 시 자원을 많이 소모하기 때문에 상용화시키기에 무리가 있으며, 설령 상용화 시킬 수 있다 하더라도 계산량 증가에 따른 처리 시간의 증가는 실시간 처리가 가능한 엔진 개발을 어렵게 한다. 따라서, 조명 변화 및 회전 변화에 강인하여 높은 검출 성능을 나타내며, 고속의 처리 속도로 하드웨어 상에서 직접 구현 가능한 실시간 처리 엔진의 개발이 요구된다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은 카메라를 통해 입력된 입력 영상 내 사람 객체의 위치 변화 및 크기 변화에 무관하고, 영상의 잡음, 조명 변화, 회전 변화에 강인하여 사람 인식의 정확도를 향상시킴으로써, 사람 객체 영역의 검출률을 향상 시킬 수 있는 객체 검출 장치를 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 객체 검출 방법은 사람 후보 영역을 검출하기 위한 검출 윈도우를 이용하여 입력 영상을 스캔하는 과정과, 상기 입력 영상을 스캔 하는 과정에서 상기 검출 윈도우가 위치하는 영역에 대응하는 픽셀들의 0도 회전된 MCT(Modified Census Transform)값과 -90도 회전된 MCT값을 추출하는 과정과, 상기 0도 회전된 MCT값과 -90도 회전된 MCT값을 기 설정된 임계값과 비교한 비교결과를 이용하여 상기 사람 후보 영역을 검출하는 과정 및 상기 검출된 사람 후보 영역과 상기 입력 영상과 결합한 최종 영상을 출력하는 과정을 포함한다.

본 발명에 의하면, 조명 변화 및 회전 변화에 강인한 고성능 실시간 사람 얼굴 검출이 가능하며, 이전의 방법에 비해 보다 더 정확하고 효과적으로 사람 얼굴을 검출할 수 있다.

도 1은 발명의 일 실시 예에 따른 컬러 기반의 사람 검출 장치의 전체 구성을 보여주는 블록도이다.
도 2는 도 1에 도시된 얼굴 검출부의 구성을 보여주는 블록도이다.
도 3은 도 2에 도시된 잡음 제거부의 구성을 보여주는 블록도이다.
도 4는 도 2에 도시된 메모리 조정 및 처리부의 구성을 보여주는 블록도이다.
도 5는 도 2에 도시된 영상 회전 처리부의 구성을 보여주는 블록도이다.
도 6은 도 5에 도시된 영상 회전 변환부의 구성을 보여주는 블록도이다.
도 7a 내지 도 7e는 도 5에 도시된 영상 회전 처리부에 의해 회전된 영상들의 예를 보여주는 도면들이다.
도 8은 도 2에 도시된 데이터 처리부의 구성을 보여주는 블록도이다.
도 9는 본 발명의 일 실시 예에 따른 영상의 회전으로 인해 메모리에 데이터가 저장되지 않는 음영영역의 발생을 최소화하기 위한 방법을 설명하기 위한 도면이다.
도 10은 도 2에 도시된 MCT 변환부에 의한 MCT 변환 과정을 설명하기 위한 도면이다.
도 11은 도 2에 도시된 영상 출력부를 통해 생성된 영상 예를 나타내는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 사람 검출 방법을 보여주는 순서도이다.

본 발명에서는 카메라를 통해 입력된 입력 영상 내 사람 객체의 위치 변화 및 크기 변화에 무관하고, 영상의 잡음, 조명 변화, 회전 변화에 강인하여 사람 인식의 정확도를 향상시킬 수 있는 객체 검출 장치가 개시된다. 이 객체 검출 장치에서는 입력 영상의 크기를 조정하고, MCT(Modified Census Transform, 이하 'MCT'라 함) 방식, MCT출력 방향 제어 및 회전 변환 방식을 이용해 영상을 변환하여 사람 영역을 검출하고, 병렬 처리 기법, 메모리 구조 최적화를 사용하여 사람 검출 성능을 향상시킬 수 있다.

또한, 본 발명은 카메라를 통해 입력된 입력 영상 내 사람 객체의 위치 변화 및 크기 변화에 무관하고, 영상의 잡음, 조명 변화, 회전 변화에 강인하여 사람 인식의 정확도를 향상시킴으로써, 사람 영역의 검출률을 향상 시킬 수 있는 영상 객체 검출 장치 및 그 방법을 제공하고자 한다.

이러한 본 발명에 따른 영상처리 및 컴퓨터 비전 기법을 적용시켜 조명 변화 및 회전 변화에 강인한 사람 얼굴 검출 알고리즘의 실시간 처리 하드웨어 IP 개발 장치는 연산 과정의 최적화를 위한 컬러 영상 정보를 흑백 영상 정보로 변환시키는 흑백 영상 변환부, 카메라를 통해 입력 받은 과정에서 발생하는 양자화 잡음을 제거 시키는 잡음 제거부, 카메라로 부터 입력 받은 영상 정보를 입력 및 출력 시키는 메모리 조정 및 처리부, 회전 변화에 강인함을 위해 영상을 회전시키는 영상 회전 처리부, 다양한 조명 변화에 강인함을 위한 MCT(Modified Census Transform)변환부, 다양한 크기의 사람 얼굴 검출이 가능토록 영상의 크기를 15단계에 거쳐 순차적으로 영상을 축소화 시키는 영상 크기 조정 및 처리부, 입력 받은 영상 이미지로 부터 사람을 검출하기 위한 데이터를 분석 및 처리하고 검출된 사람 얼굴 영역 표시를 위한 위치 재설정 및 오검출의 최소화를 위한 데이터 그룹화를 하는 데이터 처리부, 사람 얼굴 검출 영역 표시를 위한 영상 출력부, 컬러 기반의 디스플레이 출력을 위한 컬러 기반 영상 출력부로 구성된다. 결과적으로 조명 변화 및 회전 변화에 강인한 고성능 실시간 사람 얼굴 검출 기술이며, 이전의 방법에 비해 보다 더 정확하고 효과적으로 사람 얼굴 검출이 가능하다.

이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 발명의 일 실시 예에 따른 컬러 기반의 사람 검출 장치의 전체 구성을 보여주는 블록도이다.

도 1을 참조하면, 발명의 일 실시 예에 따른 컬러 기반의 사람 검출 장치(500: 이하, 사람 검출 장치라 함)는 흑백 영상을 기반으로 사람 검출을 하고, 검출 결과가 반영된 컬러 기반의 출력 영상을 생성한다. 이를 위해, 사람 검출 장치(500)는 흑백 영상 변환부(100), 얼굴 검출부(200), 컬러 기반 영상 출력부(300)로 구성된다.

흑백 영상 변환부(100)는 카메라 등과 같은 영상 획득 장비(도시되지 않음)로부터 입력되는 컬러 영상(Input Image[7:0])에서 흑백 영상 데이터(Y_data[7:0])만을 추출하는 구성으로서, 여기서, 컬러 영상은 8비트 YUV 타입의 영상일 수 있다. 즉, 흑백 영상 변환부(100)는 8비트의 YUV 타입의 컬러 영상(Input Image[7:0])으로부터 흑백 영상 데이터(Y_data[7:0])에 해당하는 8 비트의 Y 데이터만을 추출한다. 추출된 흑백 영상 데이터(Y_data[7:0])는 얼굴 검출부(200)로 입력된다.

여기서, 영상 획득 수단으로부터 입력되는 컬러 영상은 예를 들면, CMOS 모듈, CCD 모듈 등을 이용하여 피사체를 촬영하는 적어도 하나의 카메라를 통해 촬영 및 입력되는데, 입력되는 촬영 이미지(또는, 동영상)는 렌즈를 통해 CCD 모듈 또는 CMOS 모듈로 제공되고, CCD 모듈 또는 CMOS 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(Analog-to-Digital Converter, 이하 'ADC'라 함)를 통해 촬영 신호를 디지털 신호로 변환하여 입력된다.

얼굴 검출부(200)는 입력되는 흑백 영상 데이터(Y_data[7:0])를 기반으로 얼굴 검출을 수행하고, 그 수행 결과로서 영상에서의 얼굴 위치에 해당하는 좌표 정보(이하, 얼굴 위치 좌표 정보라 한다.)를 출력한다. 여기서 좌표 정보는 얼굴 영역 테두리의 이미지 자체를 나타내는 정보(opBoxInfo[7:0])와 상기 얼굴 영역 테두리 내의 좌측 상단의 한 픽셀에 대한 좌표 값 정보(Xpos[9:0], Ypos[8:0], Scale Info[3:0])을 포함한다. 얼굴 영역 테두리 이미지(OpBoxInfo)는 컬러 기반 영상 출력부(6000)로 전달된다. 얼굴 위치 좌표 정보는 호스트 인터페이스(Host Interface) 구조로서 외부로 출력되어 임베디드 칩의 입력으로 전달 될 수 있다.

컬러 기반 영상 출력부(300)는 입력되는 컬러 기반의 YUV영상 데이터(YUV_data[7:0])와 얼굴 검출부(4000)로부터 입력되는 얼굴 위치 정보의 얼굴 영역 테두리 이미지(OpBoxInfo)를 합하여 최종적인 컬러 기반의 8 비트 얼굴 검출 영상(Output Image[7:0])을 출력한다.

도 2는 도 1에 도시된 얼굴 검출부의 상세 구성을 보여주는 블록도이다.

도 2를 참조하면, 얼굴 검출부(200)는 잡음 제거부(210), 메모리 조정 및 처리부(220), 영상 회전 처리부(230), MCT(Modified Census Transform) 변환부(240), 영상크기 조정 및 처리부(250), 데이터 처리부(260), 영상 출력부(270)를 포함한다.

잡음 제거부(210)는 흑백 영상 변환부(100)로부터 흑백 영상 데이터(Y_data[7:0])를 입력 받고, 입력 받은 흑백 영상 데이터(Y_data[7:0])에 포함된 잡음을 1차적으로 제거한다. 잡음은 영상 획득 장비의 성능에 따라 그 양이 크고 작을 수 있다. 영상에 잡음이 심하게 포함되는 경우, 오검출이 발생할 수 있고 이는 검출 성능에 영향을 미치게 된다. 이에 흑백 영상 데이터(Y_data[7:0])는 잡음 제거부(210)에 의해 1차적으로 잡음이 제거되고, 결과적으로 오검출을 방지하여 궁극적으로 높은 성능의 검출을 가능케 한다. 도 3을 참조하여 잡음 제거부에 대해 상세히 설명한다.

도 3은 도 2에 도시된 잡음 제거부의 구성을 보여주는 블록도이다.

도 3을 참조하면, 잡음 제거부(210)는 영상 저장 분할부(212)와 잡읍 제거 처리부(214)를 포함한다. 영상 저장 분할부(212)에서는 카메라로부터 입력받은 영상 이미지(Input Image[7:0])를 메모리에 저장하고, 3×3의 9개의 픽셀로 분할하는 역할을 수행한다. 잡음 제거 처리부(210)에서는 영상 저장 분할부(212)에 의해 분할된 데이터를 이용하여 잡음 제거 처리 역할을 수행한다.

다시 도 2를 참조하면, 메모리 조정 및 처리부(220)는 잡음 제거부(210)를 거쳐 잡음이 제거된 영상 이미지(Filtering Image[7:0])와 영상 크기 조정 및 처리부(250)을 통해 크기가 조절된 이미지를 영상 메모리에 저장 및 기록 해주는 역할을 수행한다. 도 4를 참조하여 메모리 조정 및 처리부(220)에 상세히 설명한다.

도 4는 도 2에 도시된 메모리 조정 및 처리부(220)의 구성을 보여주는 블록도이다.

도 4를 참조하면, 메모리 조정 및 처리부(220)는 메모리 기록부(221), 메모리 탐색부(223), 2개의 영상 메모리(225-1, 225-2), 축소된 영상 메모리(229)를 포함한다.

메모리 기록부(221)에서는 잡음 제거부(214)를 거쳐 잡음이 제거된 영상 이미지(Input Image[7:0])(도 3에서는 Filtering Image[7:0]로 표기됨)를 2개의 영상 메모리(225-1, 225-2)에 저장 및 기록 해주는 역할을 수행한다. 이때 각 영상 메모리는 4개로 분할된다. 이것은 아래에서 설명되는 도 6의 메모리 전환 처리부(234-1C) 및 영상 보간 처리부(234-1D)에서 회전 변환하려는 픽셀 주변의 4개의 픽셀을 필요로 하기 때문이다

메모리 탐색부(223)에서는 도 6의 원시 주소 생성부(234-1B)로부터 들어오는 원시 주소 (x, y)를 입력 받아 4개로 분할된 각각의 영상 메모리에서 필요한 픽셀을 뽑아 내보내 주기 위한 주소를 생성하는 역할을 한다.

축소된 영상 메모리(229)에서는 영상 크기 조정 및 처리부(250)에 의해 처리된 수직 및 수평 크기가 조절된 이미지(Scaled Image[7:0])를 저장 및 처리 하는 역할을 수행한다

다시 도 2를 참조하면, 영상 회전 처리부(230)는 각도 정보와 외부 동기 신호, 디스플레이 동기 신호를 입력 받아서 영상의 회전 변환을 수행한다. 도 5 및 도 6을 참조하여 영상 회전 처리부(230)에 대해 상세히 설명한다.

도 5는 도 2에 도시된 영상 회전 처리부의 구성을 보여주는 블록도이다.

도 5를 참조하면, 영상 회전 처리부(230)는 타이밍 처리부(232), 2개의 영상 회전 변환부(234-1, 234-2), 영상 전환 처리부(236)를 포함한다.

타이밍 처리부(232)는 3 비트의 각도 정보(Degree[2:0]), 1 비트의 외부 동기 신호(ext sync), 1 비트의 디스플레이 동기 신호(display sync)를 입력 받아서 영상 회전 변환부(234-1, 234-2)로 각도 정보(Degree[2:0])를 출력하며, 영상의 회전 타이밍을 조절하는 역할을 한다.

영상 회전 변환부(234-1, 234-2) 각각에서는 실제 영상의 회전 변환이 이루어진다. 이때, 영상 회전 변환부가 2개로 구성되는 것은 영상 메모리(225-1, 225-2)가 2개이기 때문에 영상 회전 변환부(234-1, 234-2)도 2개가 필요하기 때문이다. 영상 회전 변환부에 대한 설명은 도 6을 참조하여 상세히 설명한다.

영상 전환 처리부(236)는 영상 회전 변환부(234-1, 234-2) 각각으로부터 회전된 영상들(Rotated Image 0[7:0], Rotated Image 1[7:0])을 입력 받아서, 도 2의 MCT 변환부(240)와 영상 크기 조정 및 처리부(250) 또는 디스플레이로 영상을 보내주는 역할을 한다. 이때 2개의 각 회전된 영상(Rotated Image 0[7:0], Rotated Image 1[7:0])이 일정한 출력 위치로 매칭되는 것이 아니라, 위의 설명과 같이 2개 중에서 결정되어 짐으로 영상 전환 처리부(4360)은 회전된 영상의 출력을 스위칭 해주는 역할로 볼 수도 있다.

도 6은 도 5에 도시된 영상 회전 변환부의 구성을 보여주는 블록도로서, 도 6에 도시된 영상 회전 변환부는 2개의 영상 회전 변환부들(234-1, 234-2) 중 영상 회전 변환부(234-1)의 구성으로서, 다른 영상 회전 변환부(234-2) 또한 상기 영상 회전 변환부(234-1)의 구성과 동일하다. 따라서, 다른 영상 회전 변환부(234-2)에 대한 구체적인 설명은 도 6에 도시된 영상 회전 변환부(234-1)에 대한 설명으로 대신한다.

도 6을 참조하면, 영상 회전 변환부(234-1)는 목적 주소 생성부(234-1A), 원시 주소 생성부(234-1B), 1개의 메모리 전환 처리부(234-1C), 영상 보간 처리부(234-1D)를 포함한다.

보간을 이용하는 회전 변환에서는 원시 주소보다 목적 주소를 먼저 계산하게 된다. 따라서 도 6에서 도시된 바와 같이, 목적 주소 생성부(234-1A)와 원시 주소 생성부(234-1B) 순으로 계산이 이루어 진다.

원시 주소 생성부(234-1B)에서 생성한 주소값(SrcX Addr[9:0], SrcY Addr[8:0])은 메모리 조정 및 처리부(220)내에 있는 메모리 탐색부(223)을 거쳐 인접한 4개 픽셀의 출력이 메모리 전환 처리부(234-1C)로 입력된다.

메모리 전환 처리부(234-1C)에서는 메모리 조정 및 처리부(220)로부터 입력 받는 4개의 픽셀값인 북서 픽셀값(8 비트의 NW[7:0]), 북동 픽셀값(8 비트의 NE[7:0]), 남서 픽셀값(8 비트의 SW[7:0]) 및 남동 픽셀값(8 비트의 SE[7:0])을 원시 주소 생성부(234-1B)로부터 입력 받은 컨트롤 신호(Ctrl Sig[1:0])를 이용해 스위칭 하는 역할을 한다.

영상 보간 처리부(234-1D)에서는 상기 4개의 픽셀 값에 대해 실제 보간 계산을 수행하여 회전된 영상(Rotated Image[7:0])을 생성한다. 4개의 인접 픽셀과 원시 주소 생성부(234-1B)로부터 입력되는 2개의 가중치 값(EW Weight[10:0], NS Weight[10:0])을 이용해 보간 계산을 수행한다.

도 7a 내지 도 7e는 도 5 및 도 6을 참조하여 설명된 영상 회전 처리부에 의해 회전된 영상들의 일례를 보여주는 도면들로서, 도 7a는 도 2에 도시된 잡음 제거부(210)를 통해 입력된 영상이 1단계 회전을 통해 영상 메모리에 기록되는 영상 예이고, 도 7b는 영상 회전 처리부에 의해 2단계 회전을 통해 -22.5도 회전된 영상이 영상 메모리에 기록되는 영상의 예이고, 도 7c는 영상 회전 처리부에 의해 3단계 회전을 통해 -45도 회전된 영상이 영상 메모리에 기록되는 영상 예를 나타내는 도면이고, 도 7d는 영상 회전 처리부에 의해 4단계 회전을 통해 +22.5도 회전된 영상이 영상 메모리에 기록되는 영상 예이다. 그리고, 도 7e는 영상 회전 처리부에 의해 5단계 회전을 통해 0도 회전된 영상이 영상 메모리에 기록되는 영상 예를 나타내는 도면이다.

다시 도 2를 참조하면, MCT 변환부(240)는 다양한 조명 변화에 강인한 영상을 제공하기 위해, 조명의 변화가 사람 검출에 미치는 영향을 줄이기 위해 영상을 이루는 각 픽셀과 그 픽셀의 주변 픽셀들과의 관계를 수치화하여 표현하는 MCT 변환을 통해서 영상을 변환하는 역할을 수행한다. 도 10에서는 MCT 변환부(240)에서 수행되는 MCT 변환 과정을 보여주고 있는데, 도 10에 도시된 바와 같이, 3X3 9개의 화소의 영상 값들을 가로 방향 및 세로 방향으로 가산한 총합 및 평균이 각각 구해지고, 각 픽셀이 이 평균값보다 크면 1, 평균값보다 작으면 0을 할당하고, 그 값을 정수화 하여 최종 MCT 변환 값을 생성한다. 도 8에서의 데이터 처리부에서 수행되는 병렬 처리 연산을 위해 도 10의 아래쪽에 도시된 변환 과정과 같이, 정수화 과정에서 방향을 변경하여 또 다른 최종 MCT 변환 값을 생성한다. 참고로 도 10의 위쪽에 나타나는 MCT 값의 생성하는 과정은 도 8의 데이터 처리부(260)에서 0도 회전된 영상을 처리하기 위한 MCT 값 생성과정을 보여주는 것이고, 아래쪽에 나타나는 MCT 값의 생성하는 과정은 도 8의 데이터 처리부(260)에서 -90도 회전된 영상을 처리하기 위한 MCT 값의 생성과정을 보여주는 것이다.

영상 크기 조정 및 처리부(250)는 다양한 크기의 사람 얼굴 검출이 가능토록 영상의 크기를 15 단계에 걸쳐 순차적으로 영상을 축소화는 역할을 수행한다. 영상크기 조정 및 처리부(250)를 통해 입력 영상의 크기가 고속으로 조절되고 이 크기가 조절된 영상을 데이터 처리부(260)에서 이용함으로써 통해 다양한 크기의 사람 검출이 가능해진다. 이를 위해, 영상 크기 조정 및 처리부(250)는 영상의 가로 크기 조절과 세로 크기 조절이 순차적으로 이루어지는데 수평 크기 조절부와 수직 크기 조절부로 구성될 수 있다. 수평 크기 조절부에서는 메모리 조정 및 처리부(220)로부터 입력받은 영상 이미지를 수평방향으로 각각 1라인씩 크기 조절하고, 이를 라인 메모리에 저장하는 역할을 수행한다. 수직 크기 조절부에서는 라인 메모리로부터 입력 받은 영상 이미지를 수직방향으로 각각 1라인씩 크기 조절하는 역할을 담당한다.

데이터 처리부(260)는 입력 받은 MCT 변환된 영상 이미지(MCT Converted Image[8:0])로부터 사람을 검출하기 위한 데이터를 분석 및 처리하고 검출된 사람 얼굴 영역 표시를 위한 위치 재설정 및 오검출의 최소화를 위한 데이터 그룹화를 수행한다. 데이터 처리부에 대한 구체적인 설명은 도 8을 참조하여 상세히 설명하기로 한다.

영상 출력부(270)는 데이터 처리부(260)를 통해 전달 된 최종 검출 영역의 좌표(Xpos[9:0], Ypos[9:0]) 및 크기 정보(Scale Info[3:0])와 메모리 조정 및 처리부(220)를 통해 전달 된 원 영상(Read Image[7:0])을 가지고 최종 영상을 생성하는 작업을 수행한다. 예컨대, 영상 출력부(270)는 총 32개의 사람 검출 영역에 대해 검출 영역을 각각에 표시한 32개의 영역 표시 영상들을 만들고 이들을 영상 메모리(225-1, 225-2)에 저장되어 있는 흑백의 원영상과 합성하여 흑백 기반의 결과 영상을 생성하는 역할을 하고 있다.

도 8은 도 2에 도시된 데이터 처리부의 구성을 보여주는 블록도이다.

도 8을 참조하면, 데이터 처리부(260)는 2개의 데이터 분석부(262A, 262B), 2개의 사람 신뢰도 측정부(264A, 264B), 위치 재설정부(266), 데이터 그룹화부(268)를 포함한다.

2개의 데이터 분석부(262A, 262B) 중 데이터 분석부(262A: 데이터 분석부0)는 0도 회전된 영상에 대응하는 제1 MCT 값(MCT Image0[8:0])을 입력 받고, 사람 후보 영역을 검출하기 위한 기 설정된 크기 예컨대, 20x20의 검출 윈도우를 상하, 좌우 1 픽셀 단위로 이동하여 상기 0도 회전된 영상을 전체적으로 스캐닝 한다. 데이터 분석부(262A)는 상기 스캐닝 과정에서 상기 검출 윈도우가 현재 위치하고 있는 20x20 부분에 해당하는 소정 개수의 화소 예컨대, 400개의 픽셀에 대한 MCT 값(MCT Data0_0[8:0]~ MCT Data0_399[8:0])을 추출하고, 추출된 400개의 픽셀에 대한 MCT 값(MCT Data0_0[8:0]~ MCT Data0_399[8:0])을 사람 신뢰도 측정(264A)로 출력한다.

다른 데이터 분석부(262B)는 -90도 회전된 영상에 대응하는 제2 MCT 값(MCT Image1[8:0])을 입력받고, -90도 회전된 영상 내의 사람 후보 영역을 검출하기 위한 20x20의 검출 윈도우를 상하, 좌우 1 픽셀 단위로 이동하여 상기 -90도 회전된 영상을 전체적으로 스캐닝 한다. 이 데이터 분석부(262B) 또한 상기 데이터 분석부(262A)에서 수행되는 과정과 유사하게 스캐닝 과정에서 상기 검출 윈도우가 현재 위치하고 있는 20x20 부분에 해당하는 400개의 픽셀에 대한 MCT 값(MCT Data1_0[8:0]~ MCT Data1_399[8:0])을 추출하고, 추출된 400개의 픽셀에 대한 MCT 값(MCT Data1_0[8:0]~ MCT Data1_399[8:0])을 사람 신뢰도 측정(264B)로 출력한다.

병렬 구성된 2개의 사람 신뢰도 측정부들(264A, 264B) 중 사람 신뢰도 측정부(264A)는 데이터 분석부(262A)를 통해 입력 받은 20x20 크기의 검출 윈도우의 400개의 MCT 값들을 이용하여 각 MCT값에 따른 확률 값들(총 400개)을 산출하여 합산하고 그 확률 총합과 사전에 학습된 제1 사람 신뢰도 값을 비교하여 검출 윈도우 내에 사람 정보가 포함되어 있는지 여부를 판단하게 된다. 여기서, 사람 신뢰도 측정부(264A)가 입력받은 400개의 MCT 값들은 0도의 회전된 영상에 대한 값들이므로, 상기 제1 사람 신뢰도 값 또한 O도의 회전된 영상에서 사전 학습된 신뢰도 값인 점을 주목해야 한다.

다른 사람 신뢰도 측정부(264A) 또한 유사하게 데이터 분석부(262B)를 통해 입력 받은 20x20 크기의 검출 윈도우의 400개의 MCT 값들을 이용하여 각 MCT값에 따른 확률 값들(총 400개)을 산출하여 합산하고 그 확률 총합과 사전에 학습된 제2 사람 신뢰도 값을 비교하여 검출 윈도우 내에 사람 정보가 포함되어 있는지 여부를 판단하게 된다. 여기서, 제2 사람 신뢰도 값은 상기 제1 사람 신뢰도 값과 다르게 -90도의 회전된 영상에 사전 합습된 신뢰도 값인 점을 주목해야 한다.

이와 같이, 2 개의 사람 신뢰도 측정부(264A, 264B)는 각각 0도, -90도 회전된 영상에서의 확률 값을 이용한다. 2개의 사람 신뢰도 값들은 모두 동일하게 사전에 학습된 값이며, -90도 회전된 신뢰도 값은 0도 회전된 신뢰도 값들의 좌표를 이동시키는 방식으로 저장하여 사용한다.

각 사람 신뢰도 측정부(264A, 264B)에서 사람 신뢰도가 합산된 후, 정해진 임계값과 비교과정을 거치게 된다. 신뢰도 총합이 임계값을 넘지 않을 경우 사람 후보 영역으로 설정 되는데, 이때 인가 신호(Isface[0:0])가 좌표 정보(Xpos[9:0], Ypos[8:0])와 함께 위치 재설정부(266)으로 출력된다.

위치 재설정부(266)에서는 병렬 구성된 2개의 데이터 분석부(262A, 262B)와 2개의 사람 신뢰도 측정부(264A, 264B)를 통해서 사람 후보로 판단된 영역이 640x360 크기의 원 영상에서의 어느 곳에 위치하고 크기를 차지하는지를 계산한다.

본 실시 예에서는 각 사람 신뢰도 측정부(264A, 264B)에서 원 영상 크기뿐만 아니라 영상 크기 조정 및 처리부(250)를 통하여 크기 조정된 영상에 대해서도 사람 검출을 시도하고 있기 때문에, 위치 재설정부(266)가 축소된 영상에서 사람 영역이 검출 되었을 경우 원 영상에서의 대응되는 위치와 크기를 계산해 내어 최종 출력 영상에 재설정 해주는 역할을 담당한다.

데이터 그룹화부(268)에서는 위치 재설정부(266)에서 검출된 사람 영역의 위치(Xpos[9:0], Ypos[9:0])를 계속 입력 받으며, 그 이전에 입력 받은 사람 후보 영역의 위치와 비교하는 연산을 수행한다. 이 연산을 통해 특정 위치와 그 주변 영역이 최소 3번 이상 사람 후보 영역으로 판단되면 그 영역을 실제 사람 영역으로 결정한다. 즉 이런 과정을 통해 사람 영역이 아닌데 사람 영역으로 인식하는 False Positive Rate를 줄임으로써 실내외 환경의 다양한 배경 변화에서도 강인한 사람 검출이 가능해진다.

도 9는 본 발명의 일 실시 예에 따른 영상의 회전으로 인해 메모리에 데이터가 저장되지 않는 음영영역의 발생을 최소화하기 위한 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 본 발명의 일 실시 예에서는 영상의 회전으로 인해 메모리에 데이터가 저장되지 않는 음영영역의 발생을 최소화하기 위해 -67.5도 및 -90도 회전 영상에 대해 각각 +22.5도 및 0도로 회전하여 저장한다. 도 9와 같은 방식으로 이미지를 저장한 후 사람 신뢰도 측정부(264A, 264B)의 데이터를 좌우 반전시켜 얼굴을 검출함으로써, -67.5도, -90도 회전 영상의 결과와 동일한 사람 검출이 가능해진다.

도 11은 도 2에 도시된 영상 출력부를 통해 생성된 영상 예를 나타내는 도면이다.

도 11에 도시된 바와 같이, 도 2의 영상 출력부의 출력결과들(a 내지 e)가 도 1에 도시된 컬러 기반 영상 출력부(300)을 거치면 최종적인 컬러 기반의 얼굴이 검출된 영상을 얻을 수 있게 된다.

도 12는 본 발명의 일 실시 예에 따른 사람 검출 방법을 보여주는 순서도로서, 아래의 각 단계의 수행 주체는 도 1 내지 도 11에 대한 설명으로부터 충분히 알 수 있으므로, 특별히 언급되지 않는다.

도 12를 참조하면, 본 발명의 일 실시 예에 따른 사람 검출 방법은 크게 4개의 과정(S1210, S1220, S1230, S1240)을 포함한다. 먼저, 실시간으로 입력되는 컬러 영상을 흑백 영상으로 변환하는 과정이 수행될 수 있다.

S1210에서, 흑백 영상으로의 변환이 완료되면, 변환된 흑백 영상을 스캔하는 과정이 수행된다. 구체적으로, 사람 후보 영역을 검출하기 위한 검출 윈도우를 상, 하, 좌 우 등 각 방향으로 1픽셀 단위로 이동하면서 상기 변환된 흑백 영상의 전 체 영역을 스캔한다.

이어, S1220에서, 상기 흑백 영상을 스캔 하는 과정에서 상기 검출 윈도우가 위치하는 영역에 대응하는 픽셀들의 0도 회전된 MCT값과 -90도 회전된 MCT값을 추출하는 과정이 수행된다.

이어, S1230에서, 상기 0도 회전된 MCT값과 -90도 회전된 MCT값을 기 설정된 임계값과 비교한 비교결과를 이용하여 상기 사람 후보 영역을 검출하는 과정이 수행된다. 예컨대, 상기 MCT 값이 기 설정된 임계값보다 상대적으로 낮은 값인 경우, 상기 검출 윈도우가 위치하는 영역을 사람 후보 영역으로 검출할 수 있다.

이어, S1240에서, 사람 후보 영역이 검출되면, 검출된 사람 후보 영역을 카메라로부터 입력되는 영상과 결합하여 컬러 기반의 최종 영상을 출력하는 과정이 수행된다.

추가적으로, 상기 S1230와 상기 S1240사이에서는, 상기 후보 영역으로 검출된 영역의 위치 산출을 반복 수행하는 위치 재설정 과정과, 상기 후보 영역의 검출 및 위치 산출의 반복 수행 중 이전 후보 영상과 현재 후보 영상을 비교 연산하여, 기 설정된 횟수만큼 상기 후보 영역으로 판단된 경우 상기 사람 영역으로 결정 및 출력하는 영상 그룹화 과정이 더 수행될 수 있다.

이상 설명한 바와 같이, 본 발명에서는 영상 처리 및 컴퓨터 비전 기법을 적용시켜 조명 변화 및 회전 변화에 강인하며 한 화면에서 32개의 다양한 종류의 사람 얼굴을 정확하고 고속으로 인식할 수 있는 고속 사람 탐지 기법을 제안하였다. 현재 다양한 종류의 사람 인식 기법이 제안되었으나 알고리즘 형태로 제시되어 임베디드 환경에서 하드웨어 직접 구현이 어려운 실정이며, 하드웨어 구현 사례의 경우에도 초당 30 프레임 이상의 처리 속도(실시간 처리 가능)와 함께 높은 검출률을 동시에 나타내는 구현 사례가 없는 정도 단계의 수준에 머물러 있으며, 또한 다양한 조명 변화 및 회전 변화에서 사람 인식 기법에 있어서는 외부제한요소들에 강인하게 작용하지 못하여 상용화에 많은 어려움을 가지고 있다. 예를 들어 조명 환경이 균등하지 못하고 한 방향에 집중되어 사람의 좌우측 혹은 일부분의 밝기 상태가 다를 경우 또는 기울어진 얼굴일 경우에는 검출을 실패하게 된다. 그러나 본 발명의 영상 처리 및 컴퓨터 비전 기법을 적용시켜 조명 변화 및 회전 변화에 강인한 고성능 실시간 사람 얼굴 검출 기법의 경우 다양한 형태의 사람을 인식함에 있어서 누워있거나 비스듬하게 앉아있는 등의 사람의 위치 변화, 크기 변화에 무관한 특성은 물론, 카메라 잡음, 조명 변화 및 회전 변화 등의 외부제한요소들에 강인하게 작용하여 이를 통해서 기존의 방법에 비해서 사람 인식의 정확도를 높이고 고속으로 처리할 수 있는 장점이 있다.

또한, 이상에서는 본 발명의 바람직한 일 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 일 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해해서는 안 될 것이다.

Claims (1)

1. 사람 후보 영역을 검출하기 위한 검출 윈도우를 이용하여 입력 영상을 스캔하는 과정;
   상기 입력 영상을 스캔 하는 과정에서 상기 검출 윈도우가 위치하는 영역에 대응하는 픽셀들의 0도 회전된 MCT(Modified Census Transform)값과 -90도 회전된 MCT값을 추출하는 과정;
   상기 0도 회전된 MCT값과 -90도 회전된 MCT값을 기 설정된 임계값과 비교한 비교결과를 이용하여 상기 사람 후보 영역을 검출하는 과정; 및
   상기 검출된 사람 후보 영역과 상기 입력 영상과 결합한 최종 영상을 출력하는 객체 검출 방법.

Images