KR102423934B1 - 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션 - Google Patents

Abstract

다수의 CCTV 카메라로부터 수집된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하고, 검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 머리와 어깨모양을 추적하여 인원을 계산하여 이동물체의 고유영역과 배경영역을 분리하는 영역분리과정과; 상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 인식하는 안면인식과정과; 상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 제외한 나머지 영역에서 옷 색상기반 검색과정;을 포함하는 것을 특징으로 하며, 전체 안면 영역 검출, 입된 이미지의 인물 검색을 포함하며, 의도적 안면가림(모자, 헬멧), 의도적 회피, 화소부족으로 인한 안면 인식불가 등의 문제점을 투입된 이미지의 옷 색상기반의 객체검색, 색상 기반의 객체 추적하여 안면인식을 할 수 있으므로 다수의 객체의 추적이 용이한 효과가 있다.

Description

안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션{Smart human search integrated solution through face recognition and multiple object tracking technology of similar clothes color}

본 발명은 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션에 관한 것으로, 더욱 상게하게는 전체 안면 영역 검출, 입된 이미지의 인물 검색을 포함하며, 의도적 얼굴가림(모자, 헬멧), 의도적 회피, 화소부족으로 인한 안면 인식불가 등의 문제점을 투입된 이미지의 옷 색상기반의 객체검색, 색상 기반의 객체 추적하여 안면인식을 할 수 있도록 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션에 관한 것이다.

전 세계적으로 보안망 구축에 많은 관심이 고조되고 있어 출입 통제, 위험인물 탐지 및 영상 감시 등의 기능을 수행하는 시스템이 요구되고 있다. 이 중, 차세대 폐쇄회로 TV(Closed-Circuit TV, 이하 ‘CCTV’라 한다) 시스템은 보안이 필요한 여러 감시 장소에 적어도 하나 이상의 감시카메라를 설치하고, 설치된 감시카메라로부터 촬영된 영상신호를 소정 장소에 마련된 모니터에 실시간으로 표시함으로써 적은 감시 인력으로도 많은 감시 장소의 이상 유무를 파악할 수 있는 감시시스템이다.

또한, CCTV 시스템은 감시카메라를 통해 촬영된 영상신호를 기록매체에 기록한 후, 기록된 영상신호를 재생하여 모니터를 통해 표시할 수 있으며, 이러한 시스템의 예로서 DVR 시스템(Digital Video Recorder System)을 들수 있다. DVR 시스템은 감시카메라로부터 입력되는 아날로그 영상신호를 캡처하여 하드 디스크 드라이브에 고화질의 디지털 영상신호로 압축 및 기록한다. 이로써, 촬영된 영상신호는 화질 열화 없이 장기간 기록이 가능하여 추후 증거물 확보나 검색이 필요한 경우 유용하게 사용될 수 있다.

최근 범죄 예방을 위하여 CCTV의 보급이 더욱 확대되고 있고, 이와 더불어 중앙 관제실을 통해 감시자가 모니터링하고 영상을 저장하여 보관하는 단순한 보안 감시 시스템을 벗어나, 위급 상황 발생 시 경보를 스스로 발생할 수 있는 지능형 영상 감시 시스템에 관한 연구가 다양하게 진행되고 있다.

위급 상황 발생 여부를 판단하기 위해서는 출입자의 신분 확인을 통해 외부인이 출입하면 위급 상황으로 판단하는 등, 감시 영상을 통해 허가된 사람인지 아닌지를 판단할 수 있는 방법이 필요한데, 이때 얼굴 인식을 이용하는 방법이 사용될 수 있다. 그러나 얼굴 인식은 감시 영상에서 추출한 얼굴 영역 영상의 낮은 해상도, 얼굴의 회전 및 표정 변화, 모자, 마스크 및 안경 착용 등의 문제로 인식에 어려움이 매우 많고, 이러한 어려움 때문에 얼굴 인식만으로는 인식률이 저조하여 실제 활용에 어려운 한계가 있다. 또한, 홍채, 지문 또는 음성 등의 인식을 통해 출입을 통제하는 생체 인식 시스템이 제안된 바 있으나, 이러한 통제 시스템의 설치에는 많은 비용이 들고, 일반적인 CCTV 시스템을 이용할 수 없으며, 출입하려는 사람을 일일이 통제해야 하는 문제가 있다.

상기한 문제점을 해결하기 위한 선행문헌으로 대한민국 공개특허 제2011-0129789호(2011.12.02. 공개)의 "얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법"은 다중 생체 인식을 이용한 영상 감시 시스템으로서, 피사체의 신체 영상을 촬영하여 획득하는 영상 정보 획득 모듈; 상기 영상 정보 획득 모듈에 의해 획득한 신체 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출하는 생체 정보 추출 모듈; 출입이 허용된 사람의 생체 정보를 저장한 데이터베이스; 및 상기 생체 정보 추출 모듈로부터 추출한 생체 정보와 상기 데이터베이스에 저장된 생체 정보를 비교하여 유사도를 구하고, 상기 유사도가 미리 설정한 임계값보다 작으면 외부인으로 판단하는 생체 정보 처리 모듈을 포함하며, 상기 생체 정보 추출 모듈에서 추출되는 생체 정보 및 상기 데이터베이스에 저장된 생체 정보 중 신체 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 비례 정보인 것을 특징으로 한다.

상기의 선행문헌은 모자와 마스크 등을 착용한 경우 얼굴 데이터와 함께 신체 정보를 융합하여 신원을 확인하는 것이나. 실질적으로 신체정보는 CCTV에 촬영된 사람의 키 등을 활용하기 때문에 정확하게 분석할 수 없는 문제점이 있다.

즉, 신체 정보 중에서 키를 기준하는 경우 CCTV에 촬영된 사람이 착용한 신발에 따라 키가 적어도 2cm 내지 5cm까지 차이가 발생할 수 있고, 이러한 키 차이에 의해 CCTV에 찰영된 사람을 명확하게 인식하지 못하는 문제점이 있다.

대한민국 공개특허 제2011-0129789호(2011.12.02. 공개)

상기한 종래기술의 문제점을 해결하기 위하여 본 발명은 전체 안면 영역 검출, 입된 이미지의 인물 검색을 포함하며, 의도적 얼굴가림(모자, 헬멧), 의도적 회피, 화소부족으로 인한 안면 인식불가 등의 문제점을 투입된 이미지의 옷 색상기반의 객체검색, 색상 기반의 객체 추적하여 안면인식을 할 수 있도록 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션을 제공하는 데 목적이 있다.

본 발명은 상기한 목적을 달성하기 위한 수단으로,

다수의 CCTV 카메라로부터 수집된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하고, 검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 머리와 어깨모양을 추적하여 인원을 계산하여 이동물체의 고유영역과 배경영역을 분리하는 영역분리과정과; 상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 인식하는 안면인식과정과; 상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 제외한 나머지 영역에서 옷 색상기반 검색과정;을 포함하는 것을 특징으로 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션을 제공한다.

본 발명의 영역분리과정에서 분리된 이동물체는, 이동물체가 근거리에 있는 경우에는 안면인식과정을 수행하고, 이동물체가 원거리에 있는 경우에는 옷 색상기반 검색과정을 수행한 후 안면인식과정을 수행하여 얼굴을 인식하는 것을 특징으로 한다.

본 발명의 안면인식과정은, 과거 영상을 기록장치를 통해 얼굴이지미를 바탕으로 특정 시공간대에 해당 인물을 검색하여 그 인물이 속한 영상자료를 불러들이고, 불러들인 영상으로부터 얼굴검출과정 및 얼굴검색과정을 거쳐 해당 인물을 검출하는 것을 특징으로 한다.

본 발명의 얼굴검출과정은, CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지와 유사한 얼굴이미지를 과거영상 기록장치에 기록된 얼굴이미지를 불러들이는 얼굴템플릿추출과정과; 과거영상 기록장치에 기록된 얼굴이미지를 불러들여 얼굴템플릿추출과정을 통해 추출된 얼굴인지와 CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지 습득된 얼굴이미지를 비교하여 해당 이미지에 대한 얼굴이미지를 검출하는 멀티스테이지비교/검출과정;을 포함하는 것을 특징으로 한다.

본 발명의 얼굴검색과정은, 영역분리과정에서 분리된 이동물체의 이미지에서 얼굴부분을 감지한 후 얼굴이미지를 획득하여 얼굴을 감지하는 얼굴감지과정과; 얼굴감지과정에서 추출된 얼굴이미지에 대하여 추출하고, 추출된 얼굴이미지를 특정 픽셀크기로 변환시켜 얼굴이미지를 정렬하는 정렬과정과; 정렬된 얼굴이미지를 128개의 숫자로 나타내어 임베팅을 추출하여 얼굴의 인식률을 높이는 얼굴임베딩과정과; 얼굴임베딩과정을 통해 추출된 데이터를 기초로 얼굴에서 특징점을 추출하고 추출된 특징점을 원래의 특징점과 매팅시켜 변환하여 이미지에서 얼굴을 추출하는 얼굴추출과정;을 포함하는 것을 특징으로 한다.

본 발명의 옷 색상기반 검색과정은, 입력된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하는 영역검출과정과; 검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 고유영역과 배경영역을 분류하는 영역분류과정과; 서로 다른 프레임의 영상에 대하여 배경영역으로부터 분류된 이동물체의 고유영역에 기초한 색상매칭을 통해 프레임들 간의 이동물체를 대응시킴으로써 이동물체를 식별하며 추적하는 추적과정;을 포함하는 것을 특징으로 한다.

본 발명의 영역분리과정은, RGB 색상 정보에 대한 상호 관계를 확률 모델 기반으로 하여 상기 입력된 영상의 배경(background)을 모델링하는 모델링과정과; 모델링된 배경에서 분류된 전경(foreground)인 움직임 영역을 검출하는 움직임검출과정과; 입력된 영상의 값을 미리 설정된 임계값과 비교하여 배경 모델을 이진화함으로써 빛의 반사로 인한 그림자영역을 제거하는 그림자영역제거과정;을 포함하는 것을 특징으로 한다.

본 발명의 색상매칭은, 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV 컬러 공간으로 변환하고, H, S, V 각각에 대해 평균값을 산출하고, 산출된 평균값을 이용하여 제 1 프레임의 영상과 제 2 프레임의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단하는 것을 특징으로 한다.

본 발명은 전체 안면 영역 검출, 입된 이미지의 인물 검색을 포함하며, 의도적 얼굴가림(모자, 헬멧), 의도적 회피, 화소부족으로 인한 안면 인식불가 등의 문제점을 투입된 이미지의 옷 색상기반의 객체검색, 색상 기반의 객체 추적하여 안면인식을 할 수 있으므로 다수의 객체의 추적이 용이한 효과가 있다.

본 발명은 해당 이동물체의 인식을 20회 이상 반복적으로 시행하여 평균 정확도가 높아지는 효과가 있다.

본 발명은 이동물체의 안면을 인식하는 것에만 국한되어 사용되는 것은 아니며, 물체를 탐지가 가능하며 예를 들어 트럭을 포함하는 자동차의 형태 및 번호판의 인식, 자건거, 비행기 및 신호등과 같이 다양한 형태의 물체 탐지가 가능한 효과가 있다.

또한, 본 발명은 정형된 장소에서만 사용되는 것은 아니며, 정형화되지 않는 장송에서 이동물체의 감지가 용이하며, 예를 들어 바다 등에서 육지로 이동하는 물체의 인식도 파악이 용이한 것은 물론 숲속에서 이동하는 물체의 이동도 용이하게 파악할 수 있는 효과가 있다.

도 1은 본 발명의 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션의 구성을 도시한 순서도.
도 2는 도 1에 도시된 안면인식과정의 도시한 순서도.
도 3은 도 2에 도시된 얼굴검출과정을 도시한 순서도.
도 4는 도 2에 도시된 얼굴검색과정을 도시한 순서도.
도 5는 도 1에 도시된 옷 색상기반 검색과정을 도시한 순서도.
도 6은 도 5에 도쇠된 영역분리과정을 도시한 순서도.

이하, 본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 하고, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

아울러, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는데, 예를 들어 "구성된다" 또는 "포함한 다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

본 발명에 의한 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션을 설명한다.

본 발명의 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션는 다수의 CCTV 카메라로부터 수집된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하고, 검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 머리와 어깨모양을 추적하여 인원을 계산하여 이동물체의 고유영역과 배경영역을 분리하는 영역분리과정과(S100); 상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 인식하는 안면인식과정(S200)과; 상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 제외한 나머지 영역에서 옷 색상기반 검색과정(S300);을 포함하는 것을 특징으로 한다.

상기와 같은 특징으로 이루어지는 본 발명의 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션을 첨부된 도면에 의거하여 상세하게 설명한다.

상기와 같은 특징으로 이루어지는 본 발명의 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션은 서버에 탑재되는 알고리즘으로 다수의 CCTV 카메라로부터 촬영되어 인가되는 데이터를 유,무선방식을 통해 영상 또는 이미지가 인가되고, 인가되는 이미지는 서버의 데이터베이스를 포함하는 기록장치에 저장된 상태에서 안면을 인식하는 과정을 수행한다. 상기 서버에는 연산에 필요한 연산서버, 데이터를 비교하는 비교서버 및 판단서버 등을 포함하여 구성될 수 있으며, 이러한 구성에 한정되는 것은 아니다.

또한, 상기 서버에는 객체의 영역을 분리하는 YOLO 검출기가 포함된다.

하기에서 본 발명의 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션을 통해 안면 및 옷 색상기반 검색하는 과정의 설명은 서버와의 연관관계는 설명하지 않고 일련의 과정만을 설명한다. 이러한 일련의 과정을 수행하는 서버는 통상의 기술자가 용이하게 적용할 수 있는 구성이므로 이는 생략한다.

본 발명의 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션은 영역분리과정과 안면인식과정(S200) 및 옷 색상기반 검색과정(S300)을 포함한다.

상기 영역분리과정(S100)은 다수의 CCTV 카메라로부터 수집된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하고, 검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 머리와 어깨모양을 추적하여 인원을 계산하여 이동물체의 고유영역과 배경영역을 분리한다.

상기와 같이 영역분리과정(S100)에서 분리된 이동물체는 이동물체가 근거리에 있는 경우에는 안면인식과정(S200)을 수행하고, 이동물체가 원거리에 있는 경우에는 옷 색상기반 검색과정(S300)을 수행한 후 안면인식과정(S200)을 수행하여 안면을 인식한다.

상기 안면인식과정(S200)은 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 인식한다.

상기 안면인식과정(S200)은 영역분리과정(S100)에서 분리된 이동물체의 안면의 특징점을 분석하여 안면을 검색하는 안면검출과정(210)과, 과거 영상을 기록장치를 통해 안면이지미를 바탕으로 특정 시공간대에 해당 인물을 검색하여 그 인물이 속한 영상자료를 불러들이고, 불러들인 영상으로부터 안면검색과정(S220)을 수행한다.

상기 안면검출과정(S210)은 안면템플릿추출과정(S211)과 멀티스테이지비교/검출과정(S212)을 포함한다.

상기 안면템플릿추출과정(S211)은 CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지와 유사한 안면이미지를 과거영상 기록장치에 기록된 안면이미지를 불러 들인다.

상기 멀티스테이지비교/검출과정(S212)는 과거영상 기록장치에 기록된 안면이미지를 불러들여 안면템플릿추출과정(S211)을 통해 추출된 안면인지와 CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지 습득된 안면이미지를 비교하여 해당 이미지에 대한 안면이미지를 검출하여 안면을 인식한다.

그리고 안면검색과정(S220)은 안면감지과정(S221), 정렬과정(S222), 안면임베딩과정(S223) 및 안면추출과정(S224)을 포함한다.

상기 안면감지과정(S221)은 영역분리과정에서 분리된 이동물체의 이미지에서 안면부분을 감지한 후 안면이미지를 획득하여 안면을 감지하고, 상기 정렬과정(S222)은 안면감지과정(S221)에서 추출된 안면이미지에 대하여 추출하고, 추출된 안면이미지를 특정 픽셀크기로 변환시켜 안면이미지를 정렬하며, 상기 안면임베딩과정(S223)은 정렬된 안면이미지를 128개의 숫자로 나타내어 임베팅을 추출하여 안면의 인식률을 높여 안면추출과정(S224)을 수행할 수 있도록 데이터를 인가하고, 상기 안면추출과정(S224)은 안면임베딩과정(S223)을 통해 추출된 데이터를 기초로 안면에서 특징점을 추출하고 추출된 특징점을 원래의 특징점과 매팅시켜 변환하여 이미지에서 안면을 추출한다.

그리고 옷 색상기반 검색과정(S300)은 이동물체가 원거리에 있는 먼저 영역검출과정(S310), 영역분류과정(S320) 및 추적과정(S330)을 수행한다.

상기 영역검출과정(S310)은 입력된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하여 영역분류과정(S320)을 데이터를 인가한다.

그리고 영역검출과정(S310)은 RGB 색상 정보에 대한 상호 관계를 확률 모델 기반으로 하여 상기 입력된 영상의 배경(background)을 모델링하는 모델링과정(S311)을 수행하고, 모델링된 배경에서 분류된 전경(foreground)인 움직임 영역을 검출하는 움직임검출과정(S312)을 수행하며, 입력된 영상의 값을 미리 설정된 임계값과 비교하여 배경 모델을 이진화함으로써 빛의 반사로 인한 그림자영역을 제거하는 그림자영역제거과정(S313)을 제거하여 깨끗한 상태의 이미지를 획득한다.

상기 영역검출과정(S310)으로부터 획득한 이미지에 따른 데이터 기준으로 영역분류과정(S320)이 수행되며, 상기 영역분류과정(S320)은 검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 고유영역과 배경영역을 분류하여 추적과정(S330)으로 데이터를 인가한다.

상기 추적과정(S330)은 영역분류과정(S320)으로부터 인가되는 데이터는 서로 다른 프레임의 영상에 대하여 배경영역으로부터 분류된 이동물체의 고유영역에 기초한 색상매칭을 통해 프레임들 간의 이동물체를 대응시킴으로써 이동물체를 식별하며 추적한다.

또한, 상기 색상매칭은 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV 컬러 공간으로 변환하고, H, S, V 각각에 대해 평균값을 산출하고, 산출된 평균값을 이용하여 제 1 프레임의 영상과 제 2 프레임의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단한다.

상기와 같은 과정에 의해 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션에 의해 안면을 인식하는 과정을 보다 구체적으로 설명한다.

먼저. CCTV 카메라를 통해 찰영된 영상이 유,무선상으로 서버로 인가되면, 서버는 데이터베이스를 포함하는 기록장치에 저장되고, 저장된 영상이 동영상인 경우 이동물체의 안면부분이 가장 많이 들어나는 부분의 스틸컷을 추출하고, 추출된 스틸컷 이미지에서 이동물체의 고유영역과 배경역을 분리하며, 분리된 영역내의 이미지 내의 이동물체와의 거리가 근거리인지 원거리인지 판단한다.

상기 이미지가 근거리인 경우에는 안면인식과정(S200)을 수행하고, 원거리인 경우에는 옷 색상기반 검색과정(S300)을 수행한 후 안면인식과정(S200)을 수행하여 안면을 인식하는 과정을 수행한다..

상기 이미지에 포함된 이동물체가 원거리에 위치하는 것을 기준으로 안면을 인식하는 과정을 설명한다.

상기 이미지에서 고유영역와 배경영역이 분린된 상태의 이동물체의 고유영여에서 기초하여 색상을 추출하고, 추출된 색상을 기반으로 기록장치에 포함된 데이터와 매칭시킨다.

상기 이미지의 매칭 시 행당 이미지에서 특징점을 검출하는데, 이때 이미지의 특징점 검출은 율로(YOLO:You Only Look Once)검출기를 통해 특징을 검출한다.

상기 율로(YOLO:You Only Look Once)검출기에 의해 색상에 대한 영역분리가 이루어지고, 이러한 영역분리는 RGB 색상 정보에 대한 상호 관계를 확률 모델 기반으로 하여 상기 입력된 영상의 배경(background)을 모델링하고, 모델링된 배경에서 분류된 전경(foreground)인 움직임 영역을 검출하며, 입력된 영상의 값을 미리 설정된 임계값과 비교하여 배경 모델을 이진화함으로써 빛의 반사로 인한 그림자영역을 제거한다.

상기 율로(YOLO:You Only Look Once)검출기를 통해 이미지의 특징점 검출은 각 이미지를 S×S개의 그리드로 분할하고, 그리드의 신뢰도를 계산한다. 상기 신뢰도는 그리드 내 객체 인식 시 정확성을 반영할 수 있도록 한다. 이미지 내에서 각각의 객체 인식 시 초기에는 각 객체와 동떨어진 경계선에 의해 분할이 설정되지만 신호도를 계산하여 경계부위의 위치를 조정함으로써 가장 높은 객체인식 정확성을 가지는 경계부위를 얻을 수 있다.

상기 그리드 객체의 포함여부를 계산하기 위해, 객체 클래스 점수를 계산하고, 이 결과로 총 S×S×N 객체가 예측된다. 이 그리드의 대부분은 낮은 신뢰도를 가지나 신뢰도를 높이기 위해 주변의 그리드를 합칠하고, 이후, 임계값을 설정해 불필요한 부분은 제거할 수 있다.

상기 율로검출기는 단순한 처리로 속도가 매우 빠르다. 기존 다른 real-time 비전 기술과 비교할 때, 2배 정도 높은 성능을 가지고, 이미지 전체를 한 번에 바라보는 방식으로 클래스를 분별하며, 다크넷(Darknet) 프레임워크(framework) 기반으로 동작한다.

상기와 같이 이미지에서 각 객체를 분리한 상태에서 이미지의 색상매칭을 위한 특징점을 추출하고, 추출된 특징점을 기준으로 기록장치에 저장된 데이터와 CCTV 카메라를 통해 획득한 영상의 이미지에 따른 색상을 매칭시켜 이동물체를 식별한다.

상기 생상의 매칭은 로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV 컬러 공간으로 변환하고, H, S, V 각각에 대해 평균값을 산출한 상태에서 산출된 평균값을 이용하여 제 1 프레임의 영상과 제 2 프레임의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단한다.

상기에서 색상 매칭을 통해 얻어진 이동물체의 매칭값이 동일하다고 판단되면, 기록장치의 데이터베이스에 저정된 이동물체에 따른 정보를 바로 파악할 수 있다.

그러나 상기와 같이 기록장치의 데이터베이스에 저장된 데이터와 매칭되는 이미지가 없는 경우, 이동물체의 안면인식과정(S200)을 통해 안면을 인식한다.

영역분리과정에서 분리된 이동물체의 안면의 특징점을 분석하여 안면을 검색하는 안면검출과정(S210), 과거 영상을 기록장치를 통해 안면이지미를 바탕으로 특정 시공간대에 해당 인물을 검색하여 그 인물이 속한 영상자료를 불러들이고, 불러들인 영상으로부터 안면검색과정(S220)을 통해 검색이 이루어진다.

상기 안면검출과정(S210)은 CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지와 유사한 안면이미지를 과거영상 기록장치에 기록된 안면이미지를 불러들이는 안면템플릿추출과정(S211)을 수행하고, 과거영상 기록장치에 기록된 안면이미지를 불러들여 안면템플릿추출과정(S211)을 통해 추출된 안면인지와 CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지 습득된 안면이미지를 비교하여 해당 이미지에 대한 안면이미지를 검출하는 멀티스테이지비교/검출과정(S212)이 이루어진다.

상기 안면검색과정(S220)은 영역분리과정에서 분리된 이동물체의 이미지에서 안면부분을 감지한 후 안면이미지를 획득하여 안면을 감지(S2210)하고, 안면감지과정에서 추출된 안면이미지에 대하여 추출하고, 추출된 안면이미지를 특정 픽셀크기로 변환시켜 안면이미지를 정렬(S222)하며 정렬된 안면이미지를 128개의 숫자로 나타내어 임베팅을 추출하여 안면의 인식률을 높일수 있도록 안면의 임베딩(S223)을 수행하고, 안면의 임베딩을 통해 추출된 데이터를 기초로 안면에서 특징점을 추출하고 추출된 특징점을 원래의 특징점과 매팅시켜 변환하여 이미지에서 안면을 추출(S224)한다.

상기 안면의 특징점 추출은 안면이미지를 128개의 숫자로 나타내어 임베팅을 추출한 영역을 율로(YOLO:You Only Look Once)검출기를 통해 분리하고, 분리된 영역에서 이미지의 특징점 검출한다.

상기 안면이미지의 특징점 검출은 다양한 방식에 의해 이루어질 수 있으나, 그중 하나를 예를 들어 설명하면, 안면이미지를 대칭성의 규칙에 따라 반복적으로 배열된 구조로 구분하고, 반복적으로 배열된 구조의 최소 단위를 격자점을 서로 연결하여 다수의 영역을 설정하며, 설정된 영역 내에서 특징이 되는 특징점을 추출한다.

상기와 같이 추출된 특징점을 통해 기록장치에 포함된 데이터를 비교하여 동일한 안면을 가진 사람이 있는지를 서버에서 판단하고, 동일한 안면 이미지의 특지점을 갖는 사람에 대한 정보를 확인한다.

이상에서 설명한 바와 같이 전체 안면 영역 검출, 입된 이미지의 인물 검색을 포함하며, 의도적 안면가림(모자, 헬멧), 의도적 회피, 화소부족으로 인한 안면 인식불가 등의 문제점을 투입된 이미지의 옷 색상기반의 객체검색, 색상 기반의 객체 추적하여 안면인식을 할 수 있으므로 다수의 객체의 추적이 용이한 것은 물론 해당 이동물체의 인식을 20회 이상 반복적으로 시행하여 평균 정확도가 높아진다.

또한, 본 발명은 이동물체의 안면을 인식하는 것에만 국한되어 사용되는 것은 아니며, 물체를 탐지가 가능하며 예를 들어 트럭을 포함하는 자동차의 형태 및 번호판의 인식, 자건거, 비행기 및 신호등과 같이 다양한 형태의 물체 탐지가 가능하다.

또한, 본 발명은 정형된 장소에서만 사용되는 것은 아니며, 정형화되지 않는 장송에서 이동물체의 감지가 용이하며, 예를 들어 바다 등에서 육지로 이동하는 물체의 인식도 파악이 용이한 것은 물론 숲속에서 이동하는 물체의 이동도 용이하게 파악할 수 있다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 고안이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 고안의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다.

한편, 본 명세서와 도면에 개시된 본 고안의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 고안의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 고안의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 고안이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

S100: 영역분리과정 S200: 안면인식과정
S210: 안면검출과정 S211: 안면템플릿추출과정
S212: 멀티스테이지비교/검출과정 S220: 안면검색과정
S221: 안면감지과정 S222: 정렬과정
S223: 안면임베딩과정 S224: 안면추출과정
S300: 검색과정 S310: 영역검출과정
S311: 모델링과정 S312: 움직임검출과정
S313: 그림자영역제거과정 S320: 역분류과정
S330: 추적과정

Claims (8)

1. 다수의 CCTV 카메라로부터 수집된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하고, 검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 머리와 어깨모양을 추적하여 인원을 계산하여 이동물체의 고유영역과 배경영역을 분리하는 영역분리과정(S100)과;
   상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 인식하는 안면인식과정(S200)과;
   상기 영역분리과정을 통해 분리된 이동물체의 고유영역에서 안면을 제외한 나머지 영역에서 옷 색상기반 검색과정(S300);을 포함하고,
   상기 안면인식과정(S200)은,
   영역분리과정에서 분리된 이동물체의 안면의 특징점을 분석하여 안면을 검색하는 안면검출과정(S210)과;
   과거 영상을 기록장치를 통해 안면이지미를 바탕으로 특정 시공간대에 해당 인물을 검색하여 그 인물이 속한 영상자료를 불러들이고, 불러들인 영상으로부터 안면검색과정(S220);을 포함하며,
   상기 안면검색과정(S220)은,
   영역분리과정에서 분리된 이동물체의 이미지에서 안면부분을 감지한 후 안면이미지를 획득하여 안면을 감지하는 안면감지과정(S221)과;
   안면감지과정에서 추출된 안면이미지에 대하여 추출하고, 추출된 안면이미지를 특정 픽셀크기로 변환시켜 안면이미지를 정렬하는 정렬과정(S222)과;
   정렬된 안면이미지를 128개의 숫자로 나타내어 임베팅을 추출하여 안면의 인식률을 높이는 안면임베딩과정(S223)과;
   안면임베딩과정을 통해 추출된 데이터를 기초로 안면에서 특징점을 추출하고 추출된 특징점을 원래의 특징점과 매팅시켜 변환하여 이미지에서 안면을 추출하는 안면추출과정(S224);
   을 포함하는 것을 특징으로 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션.
   
2. 제1항에 있어서,
   상기 영역분리과정(S100)에서 분리된 이동물체는,
   이동물체가 근거리에 있는 경우에는 안면인식과정(S200)을 수행하고,
   이동물체가 원거리에 있는 경우에는 옷 색상기반 검색과정(S300)을 수행한 후 안면인식과정(S200)을 수행하여 안면을 인식하는 것을 특징으로 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션.
3. 삭제
4. 제1항에 있어서,
   상기 안면검출과정(S210)은,
   CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지와 유사한 안면이미지를 과거영상 기록장치에 기록된 안면이미지를 불러들이는 안면템플릿추출과정(S211)과;
   과거영상 기록장치에 기록된 안면이미지를 불러들여 안면템플릿추출과정(S211)을 통해 추출된 안면인지와 CCTV 카메라를 통해 촬영된 영상에서 이동물체 이미지와 배경이미지를 분리하고, 분리된 이동물체 이미지 습득된 안면이미지를 비교하여 해당 이미지에 대한 안면이미지를 검출하는 멀티스테이지비교/검출과정(S212);
   을 포함하는 것을 특징으로 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션.
5. 삭제
6. 제1항에 있어서,
   상기 옷 색상기반 검색과정(S300)은,
   입력된 영상으로부터 배경을 모델링함으로써 모델링 된 배경과 구분되는 적어도 하나 이상의 움직임 영역을 검출하는 영역검출과정(S310)과;
   검출된 움직임 영역을 인식하여 인식된 움직임으로부터 이동물체의 고유영역과 배경영역을 분류하는 영역분류과정(S320)과;
   서로 다른 프레임의 영상에 대하여 배경영역으로부터 분류된 이동물체의 고유영역에 기초한 색상매칭을 통해 프레임들 간의 이동물체를 대응시킴으로써 이동물체를 식별하며 추적하는 추적과정(S330);
   을 포함하는 것을 특징으로 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션.
7. 제6항에 있어서,
   상기 영역검출과정(S310)은,
   RGB 색상 정보에 대한 상호 관계를 확률 모델 기반으로 하여 상기 입력된 영상의 배경(background)을 모델링하는 모델링과정(S311)과;
   모델링된 배경에서 분류된 전경(foreground)인 움직임 영역을 검출하는 움직임검출과정(S312)과;
   입력된 영상의 값을 미리 설정된 임계값과 비교하여 배경 모델을 이진화함으로써 빛의 반사로 인한 그림자영역을 제거하는 그림자영역제거과정(S313);
   을 포함하는 것을 특징으로 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션.
   
8. 제6항에 있어서,
   상기 색상매칭은,
   서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV 컬러 공간으로 변환하고, H, S, V 각각에 대해 평균값을 산출하고,
   산출된 평균값을 이용하여 제 1 프레임의 영상과 제 2 프레임의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단하는 것을 특징으로 하는 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션.

Images