KR101648786B1 - 객체 인식 방법 - Google Patents

Abstract

객체 인식 방법이 개시된다. 본 발명의 일 실시예에 따른 객체 인식 방법은 화면 영역 내의 객체를 검출하는 단계, 검출된 객체의 이동 경로를 추적하는 단계, 이동 경로를 따라 이동하는 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계, 선택된 적어도 하나의 영상 프레임에서 검출된 객체를 인식하는 단계를 포함한다.

Description

객체 인식 방법{METHOD OF OBJECT RECOGNITION}

본 발명은 객체 인식 방법에 관한 것으로, 보다 상세하게는 화면 내에서 이동하는 객체를 추적하여 객체의 특징점을 가장 잘 추출할 수 있는 영상 프레임에서 유사도 판단을 수행함으로써 보다 정확하게 객체를 인식할 수 있는 개체 인식 방법에 관한 것이다.

일반 주택을 비롯하여 백화점, 은행, 전시장, 공장 등의 실내 외에 구비되는 감시 카메라(CCTV : Closed Circuit Televisions)는 감시 영역 내에서 발생될 수 있는 다양한 사항을 관찰하고 그에 적절한 대응을 하기 위한 수단으로 널리 이용되고 있다.

특히, 최근 출시되는 감시 카메라는 단순히 감시 영역 내에 존재하는 복수의 객체를 감시하는 기능뿐만 아니라 객체에 관한 정보까지 제공하는 기능을 수행하고 있다. 예를 들어, 감시 영역 내에 등장하는 인물의 얼굴을 인식하여 그의 신원을 확인하거나 감시 영역을 통과하는 차량의 번호판을 인식하여 차량에 관한 정보를 제공하는 것이 이에 해당된다.

감시 카메라가 화면 내에 존재하는 객체를 인식하는데 있어 가장 이상적인 경우는 인물이나 차량이 카메라를 정면으로 향하는 경우이지만, 실제로는 객체가 감시 영역을 횡으로 지나가거나 카메라를 등지고 이동하는 경우가 더 빈번하게 발생하므로 객체 인식에 대한 높은 정확도를 기대할 수 없다는 문제점이 있었다.

따라서, 감시 영역 내에서 이동하는 객체의 이동 방향 또는 이동 속도를 고려하여 객체의 특징점을 가장 잘 추출할 수 있는 프레임을 선택하고 선택된 프레임에 최적화된 인식 방법을 적용함으로써 객체 인식의 정확성을 높일 수 있는 객체 인식 방법의 필요성이 대두되었다.

미국특허공개공보 2013-0266181

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 감시 영역에서 객체의 이동 방향 및 이동 속도를 고려하여 객체의 특징점을 가장 잘 추출할 수 있는 프레임을 선택한 후 객체 인식 모델을 적용하는 객체 인식 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 감시 영역에서 검출되는 객체의 모습에 따라 각각의 객체 인식 모델에 다른 가중치를 적용함으로써 객체 인식의 정확도를 높일 수 있는 객체 인식 방법을 제공하는데 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 객체 인식 방법은 화면 영역 내의 객체를 검출하는 단계, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계 및 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 적어도 하나의 영상 프레임을 선택하는 단계는, 상기 이동 경로 상에서 상기 객체의 크기가 기 설정된 크기 이상으로 표시되는 영상 프레임을 선택하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 적어도 하나의 영상 프레임을 선택하는 단계는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 선택하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 검출된 객체를 인식하는 단계는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 회전한 각도를 산출하는 단계, 상기 객체의 회전 각도에 따라 상기 객체를 인식하기 위한 객체 인식 모델을 선택하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 검출된 객체는 인물의 얼굴 영역이고, 상기 객체가 회전한 회전 각도를 산출하는 단계는, 상기 얼굴 영역에 포함된 눈 영역을 연결하는 직선을 생성하는 단계, 상기 생성된 직선과 감시 장치의 관측 방향 간에 형성된 각도를 산출하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 얼굴 영역에 포함된 상기 눈 영역이 미검출되면, 상기 검출된 객체를 인식하는 단계는, 상기 객체를 인식하기 위한 객체 인식 모델로 얼굴 인식 모델을 미선택할 수 있다.

본 발명의 일 실시예에 따르면, 상기 검출된 객체를 인식하는 단계는, 선택된 프레임 별로 서로 다른 객체 인식 모델을 적용하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 검출된 객체를 인식하는 단계는, 상기 선택된 프레임에 복수의 객체 인식 모델을 적용하여 결과값을 산출하는 단계, 상기 선택된 프레임에 표시된 객체의 형태에 따라 상기 산출된 결과값에 서로 다른 가중치를 적용하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 감시 장치는 화면 영역 내에 존재하는 객체를 검출하는 객체 검출부, 상기 검출된 객체의 이동 경로를 추적하는 객체 추적부, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 프레임 선택부 및 상기 선택된 적어도 하나의 영상 프레임에 적어도 하나의 객체 인식 모델을 적용하여 상기 검출된 객체를 인식하는 객체 인식부를 포함한다.

본 발명의 일 실시예에 따르면, 상기 프레임 선택부는, 상기 이동 경로 상에서 상기 객체의 크기가 기 설정된 크기 이상으로 표시되는 영상 프레임을 선택할 수 있다.

본 발명의 일 실시예에 따르면, 상기 프레임 선택부는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 선택할 수 있다.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 회전한 각도에 따라 상기 객체를 인식하기 위한 객체 인식 모델을 선택할 수 있다.

본 발명의 일 실시예에 따르면, 상기 검출된 객체는 인물의 얼굴 영역이고, 상기 객체 인식부는, 상기 얼굴 영역에 포함된 눈 영역을 연결하여 생성한 직선과 감시 장치의 관측 방향 간에 형성된 각도를 산출할 수 있다.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 얼굴 영역에 포함된 상기 눈 영역이 미검출되면, 상기 객체를 인식하기 위한 객체 인식 모델로 얼굴 인식 모델을 미선택할 수 있다.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 선택된 프레임 별로 서로 다른 객체 인식 모델을 적용할 수 있다.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 선택된 프레임에 복수의 객체 인식 모델을 적용하여 결과값을 산출하고, 상기 선택된 프레임에 표시된 객체의 형태에 따라 상기 산출된 결과값에 서로 다른 가중치를 적용할 수 있다.

본 발명의 또 다른 실시예에 따른 감시 장치는 촬영부, 적어도 하나의 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계, 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 실행하는 프로그램을 저장한다.

본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 컴퓨터 장치와 결합하여 화면 영역 내의 객체를 검출하는 단계, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계, 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 실행한다.

상술한 본 발명의 일 실시예들에 따르면 객체 인식의 정확도를 극대화시킬 수 있다는 효과를 달성할 수 있다.

또한, 객체 인식의 정확도를 극대화 시킬 수 있는 영상 프레임에 한해 객체 인식 모델을 적용함으로써 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있다는 효과를 달성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 감시 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 감시 장치(100)를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따라 적어도 하나의 영상 프레임을 선택하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 또 다른 실시예에 따라 선택된 프레임에 복수의 객체 인식 모델이 적용되는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 객체의 회전 각도 별로 객체 인식 모델을 선택하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 관찰 대상인 객체가 회전한 각도를 산출하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 객체의 일부 영역이 화면상에 표시되지 않는 경우 객체 인식 모델을 선택하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 객체의 회전 각도별로 따라 다르게 적용되는 가중치를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 객체 인식 시스템을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

도 1은 본 발명의 일 실시예에 따른 감시 장치를 설명하기 위한 블록도이다.

도 1에 도시된 블록도에는 본 발명의 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 기술자라면 도 1에 도시된 구성요소 이외에 추가적인 구성이 포함될 수 있음을 알 수 있다.

도 1에 따른 감시 장치(100)는 촬영부(110), 객체 검출부(120), 객체 추적부(130), 프레임 선택부(140), 객체 인식부(150) 및 네트워크 인터페이스(160)를 포함한다.

촬영부(110)는 피사체를 촬영하여 이미지를 획득한다. 구체적으로, 촬영부(110)는 피사체의 빛을 모아서 촬영 영역에 광학상이 맺히게 하는 렌즈(미도시), 렌즈를 통해 입사되는 빛을 전기 신호로 변환하는 촬영 소자 및 촬영 소자의 아날로그 형태 신호를 디지털 신호로 변환하여 출력하는 AD 컨버터(미도시)로 구성될 수 있다. 이때, 촬영 소자는 CCD(Chare Coupled Device) 촬영 소자 및 CMOS(Complementary Metal Oxide Semiconductor) 촬영 소자일 수 있다.

객체 검출부(120)는 화면 영역 내에 등장하는 객체를 검출한다. 구체적으로, 화면 영역 내에 등장하는 객체는 인물, 차량, 특정 물체 중 하나일 수 있으며, 객체를 검출하는 방법으로 HOG(Histogram of Oriented Gradient) 기반 객체 검출기, Haar-like 특징, SIFT, Ferns 등 다양한 방법을 사용할 수 있다.

예를 들어, HOG(Histogram of Oriented Gradient) 방법은 복수의 객체가 등장하는 영상의 지역적인 Gradient 분포 특성을 추출하여 물체를 식별하는 방법으로 보행자 뿐만 아니라 차량 등 다양한 물체 검출에 적용할 수 있는 일반적인 방법이다.

객체 검출부(120)는 상술한 다양한 객체 검출기 중 하나를 이용하여 화면 영역 내에 존재하는 객체가 인물 또는 차량이거나 사용자가 관심 있어 하는 물체인지 여부를 판단한다.

객체 검출부(120)를 통해 화면 영역 내에서 특정 객체가 검출되면 객체 추적부(130)가 검출된 객체의 이동 경로를 추적한다. 검출된 객체가 인물 또는 차량과 같이 화면 영역 내에서 움직일 수 있는 객체인 경우, 객체 검출부(120)는 검출된 객체의 이동 경로를 추적한다.

구체적으로, 객체 추적부(130)는 광학 흐름(Optical Flow) 또는 칼만 필터(Kalman Filter) 등의 방법을 이용하여 화면 영역 내에서 객체의 움직임을 추적할 수 있다.

광학 흐름은 시각적인 화면에서의 객체, 표면 또는 객체와 배경 상의 경계선의 움직임을 나타내는 패턴을 의미한다. 광학 흐름 방법은 일정한 시간 간격을 갖는 프레임에서 각 프레임을 구성하는 모든 픽셀에서의 움직임을 계산한다. 광학 흐름 방법을 이용하여 화면 영역에서 움직이는 객체의 이동 경로를 추적하는 방법은 통상의 기술자에게 자명한 내용이므로 구체적인 방법에 대한 설명은 생략한다.

프레임 선택부(140)는 이동 경로를 따라 이동하는 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택한다.

검출된 객체가 이동하는 모습을 표시하는 영상은 복수의 프레임으로 구성된다. 여기에서 프레임이란 움직이는 영상을 구성하는 정지된 이미지들 중 한 장을 의미한다.

한편, 객체가 이동하는 모습을 표시하는 각각의 프레임에는 서로 다른 모습의 객체가 표시될 수 있다. 예를 들어, 특정 인물이 화면 영역의 좌측에서 등장하여 우측 방향으로 이동하는 경우 이동 모습을 나타내는 각각의 영상 프레임에는 서로 다른 형태의 인물 모습이 포함될 수 있다.

특정 프레임에서 감시 대상 객체인 인물이 정면을 바라보고 있는 모습이 표시될 수 있고 다른 프레임에서는 이동 하는 방향의 좌측 또는 우측 바라보는 모습이 표시될 수 있다.

프레임 선택부(140)는 상술한 바와 같이 이동하는 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택한다. 본 발명의 일 실시예에 따르면 기 설정된 조건은 감시 대상인 객체가 감시 장치인 카메라를 정면으로 바라보고 있는 모습이 포함된 경우가 될 수 있다. 감시 대상인 객체가 인물인 경우, 인물이 카메라를 정면으로 바라보고 있는 프레임에 객체 인식 모델을 적용할 때 그 정확성을 높일 수 있기 때문이다.

마찬가지로 감시 대상 객체가 차량인 경우 차량의 번호판이 가장 크게 표시되는 프레임을 선택하는 경우 번호판을 인식함에 있어 정확성을 가장 높일 수 있게 된다.

객체 인식부(150)는 프레임 선택부(140)에서 선택된 영상 프레임에 적어도 하나의 객체 인식 모델을 적용하여 검출된 객체를 인식한다. 예를 들어, 객체 인식부(150)는 객체 검출부(12)에서 검출된 인물의 얼굴을 인식하여 신원을 확인하거나 차량의 번호판을 확인할 수 있다.

본 발명의 일 실시예에 따른 객체 인식부(150)는 선택된 프레임에 표시되는 객체의 특징점을 산출하여 검출된 객체를 인식할 수 있다. 구체적으로, 데이터베이스에 기 저장된 인물의 특징점과 객체로부터 산출된 특징점과의 유사도를 계산함으로써 검출된 객체를 인식할 수 있다.

상술한 바와 같이, 이동 경로를 따라 이동하는 객체를 표시하는 복수의 영상 프레임 중 객체의 특징점을 가장 잘 산출할 수 있는 프레임을 선택하여 객체 인식 모델을 적용하면, 객체 인식의 정확도를 높일 수 있다는 효과를 달성할 수 있다.

또한, 객체의 특징점을 산출하기 어려운 프레임에 대해서는 객체 인식 모델을 적용하지 않음으로써 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있다는 효과를 달성할 수 있다.

지금까지 도 1의 각 구성요소는 소프트웨어(software) 또는 FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.

도 2는 본 발명의 또 다른 실시예에 따른 감시 장치(100)를 설명하기 위한 도면이다.

감시 장치(100)는 도 2에 도시된 구성을 가질 수도 있다. 감시 장치(100)는 명령어를 수행하는 프로세서(220), 메모리(230), 스토리지(250) 및 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(260)를 포함한다.

스토리지(250)에는 화면 영역 내의 객체를 검출하는 단계, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계 및 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 실행하는 프로그램이 저장된다. 이때, 상술한 프로그램이 메모리(230)에 로드된 후 프로세서(220)를 통해 수행될 수 있다.

도 3은 본 발명의 일 실시예에 따라 적어도 하나의 영상 프레임을 선택하는 과정을 설명하기 위한 도면이다.

본 실시예에서 감시 대상 객체(340)는 특정 인물이고, 화면 영역의 좌상단에서 출현하여 우하단으로 이동하는 경우를 예로 들어 설명한다. 다만, 본 실시예에서 감시 대상 객체(340)가 인물인 것을 예로 들어 설명하나 이에 한정되지 않으며 차량 또는 사용자가 관심 있어 하는 물체가 될 수 있음은 물론이다.

또한, 본 실시예에서는 객체(340)를 표시하는 제1 프레임(310) 내지 제3 프레임(330)만을 도시하였으나, 이는 설명의 편의를 위한 것일 뿐 이동 경로를 따라 이동하는 객체(340)의 모습을 표시하는 프레임이 더 존재할 수도 있다.

객체 검출부(120)에 의해 임의의 인물인 객체(340)가 검출되면 객체 추적부(130)가 이동 경로를 따라 이동하는 객체(340)의 움직임을 추적한다. 이때, 객체(340)가 좌상단에 표시되는 제1 프레임(310)의 경우 감시 장치(100)로부터 객체(340)가 멀리 떨어져 있으므로 객체(340)의 크기가 작게 표시된다.

이후, 객체(340)가 이동 경로를 따라 화면 상의 우측 하단으로 이동하면 감시 장치(100)와 객체(340)와의 거리가 가까워지므로 제3 프레임(330)에서 객체(340)의 크기가 제1 프레임(310)에서의 객체(340) 크기에 비해 크게 표시된다.

본 발명의 일 실시예에 따르면, 프레임 선택부(140)는 검출된 객체(340)의 크기가 기 설정된 크기 이상으로 표시되는 프레임을 선택할 수 있다. 구체적으로, 객체(340)를 둘러쌓는 블록 형태의 외곽선이 표시될 수 있고 이 블록의 크기가 기 설정된 크기 이상이 되는 경우의 프레임을 선택할 수 있다.

객체(340)의 크기가 기 설정된 크기보다 작게 표시되는 제1 프레임(310) 및 제2 프레임(320)의 경우 객체 인식 모델을 적용한다 할지라도 인물의 얼굴이 작게 표시되므로 얼굴 인식의 성공률이 떨어질 수 있다. 따라서, 프레임 선택부가 기 설정된 크기보다 객체(340)가 작게 표시되는 제1 프레임(310) 및 제2 프레임(320)을 선택하지 않고 이에 대해서는 객체 인식 모델을 적용하지 않음으로써 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있다. 즉, 성공률이 높지 않을 것으로 기대되는 프레임은 선택하지 않음으로써 객체 인식 모델이 적용되지 않도록 한다.

한편, 본 실시예에서는 프레임 선택부(140)가 기 설정된 크기 이상으로 객체가 표시되는 프레임을 선택하는 것으로 설명하였으나 이에 한정되지 않으며 다른 조건으로 복수의 영상 프레임 중 적어도 하나의 프레임을 선택하도록 구현할 수도 있다.

예를 들어, 객체가 화면 영역의 우측에서부터 좌측으로 이동하는 경우가 있을 수 있다. 이 경우, 객체가 표시되는 각 프레임에서 객체의 크기가 일정하므로 도 3에서 설명한 선택 방식으로 특정 프레임을 선택하는데 어려움이 있을 수 있다.

따라서, 본 발명의 일 실시예에 따른 프레임 선택부(140)는 객체의 얼굴이 가장 잘 나타나는 프레임을 선택하여 선택된 프레임에 한해 객체 인식 모델이 적용되도록 할 수 있다. 비슷한 예로, 화면 영역에 나타나는 객체가 차량인 경우 차량의 번호판이 가장 잘 표시되는 프레임을 선택하여 객체 인식 모델을 적용할 수 있다.

상술한 과정을 거쳐 프레임이 선택되면, 객체 인식부(150)가 선택된 프레임에 객체 인식 모델을 적용하여 객체를 인식한다. 예를 들어, 인물의 안면 인식을 통한 신원 확인, 자동차 번호 인식 등이 이에 해당된다. 경우에 따라 선택된 프레임에는 복수의 객체 인식 모델이 적용될 수도 있다.

도 4는 본 발명의 또 다른 실시예에 따라 선택된 프레임에 복수의 객체 인식 모델이 적용되는 방법을 설명하기 위한 도면이다.

본 실시예에서는 객체(420)가 인물인 것을 예로 들어 설명하나 이에 한정되지 않으며 차량 또는 사용자가 관심 있어 하는 물체가 될 수 있음은 물론이다.

객체 인식부(150)는 인식의 정확성을 높이기 위하여 복수의 객체 인식 모델을 적용할 수 있다. 예를 들어, 관찰 대상인 객체(420)가 인물은 경우 얼굴 인식 모델과 행동 인식 모델을 적용할 수 있다. 여기에서, 행동 인식 모델이란 인물의 특정 걸음걸이, 제스쳐 등을 통해 특정 인물을 인식하는 방법을 의미한다.

이때, 각각의 객체 인식 모델은 선택된 프레임에 표시된 객체(420)의 형태에 따라 서로 다른 비율로 적용될 수 있다. 선택된 프레임에 표시된 객체(420)의 형태에 따라 가장 높은 정확도로 객체를 인식할 수 있는 방법이 달라질 수 있기 때문이다.

프레임 선택부(140)에 의해 선택된 프레임이 도 4에 도시된 제1 프레임(410) 내지 제3 프레임(430)인 경우를 예로 들면, 각각의 프레임에 표시된 객체(420)의 형태가 상이하므로 정확도를 높일 수 있는 객체 인식 모델이 프레임 별로 상이할 수 있다.

예를 들어, 제1 프레임(430) 및 제3 프레임(450)에 표시된 객체(450)의 경우 전체적인 객체의 외형은 표시되지만 얼굴 영역(410)이 표시되어 있지 않으므로 얼굴 인식 모델을 적용할 경우 객체 인식의 정확도가 떨어지게 된다.

반면, 제2 프레임(440)의 경우 객체(420)의 전체적인 외형 뿐만 아니라 얼굴 영역(410)도 함께 표시되므로 제2 프레임에 얼굴 인식 모델과 행동 인식 모델을 함께 적용할 경우 인식률을 더욱 높일 수 있게 된다.

따라서, 본 발명의 일 실시예에 따른 객체 인식부(150)는 선택된 프레임에 복수의 객체 인식 모델을 적용하되, 선택된 프레임에 표시된 객체의 형태에 따라 적용되는 객체 인식 모델의 가중치를 달리할 수 있다.

예를 들어, 제1 프레임(430) 및 제3 프레임(450)의 경우 객체(420)의 전체적인 외형이 명확하게 드러나므로 행동 인식 모델 또는 외형 인식 모델의 결과값에 높은 가중치를 부여하고 얼굴 인식 모델의 결과값에는 낮은 가중치를 부여할 수 있다.

반면, 제2 프레임(440)에 표시되는 객체(420)의 경우 전체적인 외형 뿐만 아니라 얼굴 영역(410)도 상대적으로 명확하게 표시되므로 얼굴 인식 모델의 결과값에 높은 가중치를 부여할 수 있다.

상술한 바와 같이, 객체의 특징점을 가장 잘 추출할 수 있는 프레임을 선택하고, 선택된 프레임에 표시된 객체의 형태에 따라 적용되는 객체 인식 모델의 가중치를 달리함으로써 객체 인식의 정확도를 더욱 높일 수 있다는 효과를 달성할 수 있게 된다.

한편, 감시 대상이 되는 객체가 인물인 경우 인물의 신분을 가장 잘 나타내는 요소는 얼굴이므로, 감시 장치(100)가 인물의 얼굴 영역(410)을 정면으로 비출 때를 기준으로 하여 객체의 얼굴 영역(410)이 회전된 각도에 따라 객체를 인식하는데 적용되는 객체 인식 모델이 선택될 수 있다.

도 5는 본 발명의 일 실시예에 따라 객체의 회전 각도 별로 객체 인식 모델을 선택하는 과정을 설명하기 위한 도면이다.

본 실시예에서는 CCTV와 같은 감시 장치(100)의 관측 방향으로 관찰 대상인 인물이 감시 장치(100)를 등지고 서있을 때를 기준으로 회전 각도를 결정하는 경우를 예로 들어 설명한다. 다만, 회전 각도를 결정하는 방법은 이에 한정되지 않으며, 관찰 대상인 인물이 감시 장치(100)를 정면으로 바라보고 있을 때를 기준으로 회전 각도를 결정하도록 구현할 수도 있음은 물론이다.

도 5에 도시한 바와 같이 관찰 대상인 인물이 감시 장치(100)를 등지고 있는 경우, 즉 관측 방향을 기준으로 회전 각도가 0도인 경우 화면 영역에 인물의 얼굴 영역이 검출되지 않게 된다.

따라서, 이 경우 객체 인식부(150)가 얼굴 인식 모델을 적용하여 특정점을 산출한 후 유사도를 계산하더라도 높은 인식률을 기대할 수 없게 된다. 그러므로, 이러한 경우에는 인물의 걸음 걸이, 특정 제스처 등을 인식하여 인물의 신원을 확인하는 행동 인식 모델 또는 대상이 착용한 의류의 색상, 피부색, 머리색 등을 이용하여 객체를 인식하는 외형 인식 모델을 선택하는 것이 보다 높은 인식률을 얻는데 유용하다.

또 다른 예로, 감시 장치(100)와 관찰 대상인 인물이 이루는 각도가 90도인 경우 인물의 얼굴 영역이 일부 표시되기는 하지만 인물의 얼굴 전체가 표시되는 것은 아니므로 얼굴 인식 모델만을 적용하여 객체를 인식하고자 하는 경우 높은 정확률을 기대할 수 없게 된다. 따라서, 이 경우 객체 인식부(150)는 얼굴 인식 모델에 추가적으로 행동 인식 모델 및 외형 인식 모델을 선택하여 객체를 인식할 수 있다.

반면, 감시 장치(100)와 관찰 대상인 인물이 이루는 각도가 180도인 경우, 즉, 인물이 감시 장치(100)를 정면으로 바라보는 경우 프레임에 객체의 얼굴이 전체적으로 표시되므로 얼굴 인식 모델만을 선택하더라도 인식률을 높일 수 있게 된다. 따라서, 이 경우 객체 인식부(150)는 얼굴 인식 모델을 우선적으로 선택할 수 있다.

상술한 바와 같이, 기 설정된 기준선에서 객체가 회전된 각도를 산출하여 회전 각도에 따라 객체 인식 모델을 선택하면 인식률을 더욱 높일 수 있다는 효과를 달성할 수 있다. 한편, 감시 장치(100)와 관찰 대상인 객체가 이루는 각도는 다양한 형태로 산출될 수 있다.

도 6은 본 발명의 일 실시예에 따라 관찰 대상인 객체가 회전한 각도를 산출하는 방법을 설명하기 위한 도면이다.

본 실시예에서는 관찰 대상인 객체가 인물인 경우를 예로 들어 설명한다.

객체가 인물인 경우 얼굴에서 눈 영역을 검출하고 두 눈 영역을 연결하는 직선을 생성한다. 이후, 생성된 직선과 감시 장치(100)의 관측 방향 간에 형성된 각도를 산출하면 기 설정된 기준선을 기준으로 객체가 회전한 각도를 계산할 수 있게 된다.

다만, 감시 대상인 객체가 인물이 아닌 다른 사물인 경우 상술한 방법이 아닌 다른 방법을 적용하여 감시 장치(100)의 관측 방향으로부터 객체가 회전한 각도를 산출할 수 있다.

예를 들어, 감시 대상이 차량인 경우 차량의 진행방향과 감시 장치(100)의 관측 방향간에 형성된 각도를 산출하면 감시 장치(100)의 관측 방향으로부터 차량이 회전한 각도를 산출할 수 있게 된다. 통상적으로, 차량의 진행 방향과 차량의 전방에 부착된 번호판은 같은 방향을 향하게 되므로 차량의 진행방향과 감시 장치(100) 간에 형성된 각도를 산출하면 번호판이 회전한 각도를 알 수 있게 된다.

상술한 바와 같이, 인물의 얼굴 또는 차량의 번호판이 감시 장치(100)의 관측 방향으로부터 회전한 각도를 산출하면 회전 각도별로 적용될 객체 인식 모델을 선택할 수 있게 됨에 따라 객체 인식의 정확도를 높일 수 있다는 효과를 달성할 수 있게 된다.

예를 들어, 인물의 얼굴이 감시 장치(100)를 정면으로 바라보고 있을 때를 기준으로 하여 기 설정된 범위 내에서만 회전한 경우 얼굴 인식 모델을 통한 인물 인식의 정확도가 높으므로 얼굴 인식 모델의 결과값에 높은 가중치를 부여하고 기 설정된 범위를 초과하여 회전한 경우 얼굴 인식 모델이 아닌 행동 인식 모델 또는 외형 인식 모델의 결과값에 높은 가중치를 부여하고 얼굴 인식 모델의 결과값에 낮은 가중치를 부여함으로써 객체 인식의 정확도를 높일 수 있다는 효과를 달성할 수 있다.

한편, 상술한 실시예에서는 감시 대상이 되는 인물의 얼굴 영역이 검출되는 것을 전제로 회전 각도를 산출하고 산출된 회전 각도에 따라 객체 인식에 사용될 객체 인식 모델을 선택하는 경우를 설명하였으나, 감시 대상 객체의 얼굴이 표시되지 않는 경우가 있을 수 있다. 마찬가지로, 감시 대상 객체가 차량인 경우 화면 영역에 번호판이 표시되지 않는 경우가 있을 수 있다.

도 7은 본 발명의 일 실시예에 따라 객체의 일부 영역이 화면상에 표시되지 않는 경우 객체 인식 모델을 선택하는 방법을 설명하기 위한 도면이다.

도 7에 도시된 바와 같이, 감시 대상인 인물이 감시 장치(100)를 등지고 화면 영역의 상단으로 이동하는 경우 객체의 얼굴 영역이 표시되지 않을 수 있다. 객체의 얼굴 영역이 표시되지 않는 경우 얼굴 영역에 포함된 눈 영역을 검출할 수 없게 되므로 상술한 도 6에 기재한 방법으로 객체의 회전 각도를 산출할 수 없게 된다.

따라서, 본 발명의 일 실시예에 따르면 객체의 눈 영역이 포함되지 않는 경우 얼굴 인식 모델을 제외한 다른 인식 모델을 적용하여 객체를 인식할 수 있다.

구체적으로, 화면 영역 내에서 객체(740)를 검출한 후 검출된 객체가 이동하는 이동 경로를 추적한다. 이후, 이동 경로를 따라 이동하는 객체를 표시하는 제1 프레임(710) 내지 제3 프레임(730) 중 객체가 가장 크게 표시되는 제1 프레임(710)을 선택한다.

다만, 선택된 제1 프레임(710)에 표시된 객체에서 눈 영역을 검출할 수 없으므로 얼굴 인식 모델을 제외한 다른 객체 인식 모델을 적용하여 객체의 신원을 파악한다.

상술한 바와 같이, 선택된 프레임에 표시된 객체의 형태에 따라 객체 인식에 사용되는 객체 인식 모델을 선택하면 인식률이 낮은 객체 인식 모델이 적용됨에 따라 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있고, 최적의 객체 인식 모델을 적용함으로써 인식률을 높일 수 있다는 효과를 달성할 수 있다.

도 8은 본 발명의 일 실시예에 따라 객체의 회전 각도별로 따라 다르게 적용되는 가중치를 설명하기 위한 도면이다.

본 실시예에서 회전 각도는 감시 대상인 객체가 감시 장치(100)를 정면으로 바라본 상태를 기준으로 반시계 방향으로 회전한 각도를 산출한 경우를 예로 들어 설명한다. 즉, 회전 각도가 180도인 경우는 감시 대상인 객체가 감시 장치(100)를 등지고 있는 경우를 의미하고, 회전 각도가 90도인 경우는 감시 대상 객체가 감시 장치(100)의 감시 방향을 기준으로 하여 반시계 방향으로 90도 회전한 경우를 의미한다.

또한, 도 8에 도시된 그래프는 서로 다른 객체 인식 모델의 결과값에 적용되는 가중치를 의미한다. 본 발명의 일 실시예에 따르면 제1 그래프(810)는 얼굴 인식 모델의 결과값에 적용되는 가중치를 의미하고, 제2 그래프는(820) 얼굴 인식 모델을 제외한 행동 인식 모델 또는 외형 인식 모델의 결과값에 대한 가중치를 의미한다.

따라서, 객체의 회전 각도가 0도인 경우, 즉, 객체가 감시 장치(100)를 정면으로 바라보고 있는 경우에는 인물의 얼굴 영역이 표시되므로, 가장 높은 정확도로 객체를 인식할 수 있는 얼굴 인식 모델의 결과값에 높은 가중치를 부여한다.

반면, 객체가 회전함에 따라 화면 영역에 표시되는 얼굴 영역의 크기가 줄어들게 되므로 얼굴 인식 모델의 결과값에 대한 가중치는 줄어들게 되고 행동 인식 모델 또는 외형 인식 모델의 결과값에 대한 가중치는 커지게 된다.

이후, 객체의 회전 각도가 180도가 되면, 즉, 객체가 감시 장치(100)를 등지게 되면 화면 영역에 객체의 얼굴 영역이 표시되지 않으므로 얼굴 인식 모델에 대한 결과값에 최소한의 가중치를 부여하고, 외형 인식 모델 및 행동 인식 모델의 결과값에는 최대한의 가중치를 부여한다.

상술한 바와 같이, 객체의 회전 각도에 따라 객체 인식에 적용되는 객체 인식 모델 결과값의 가중치를 달리하면 인식률의 정확도를 최대화시킬 수 있다는 효과를 달성할 수 있게 된다.

도 9는 본 발명의 일 실시예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.

객체 검출부(120)는 화면 영역에 존재하는 객체를 검출한다. 예를 들어, 사용자가 관심 있어 하는 대상이 차량인 경우 화면 영역에 존재하는 차량을 검출하고, 인물인 경우 화면 영역에 존재하는 인물을 검출한다(S910).

화면 영역에서 사용자가 기 설정한 객체를 검출하는데에는 HOG(Histogram of Oriented Gradient) 기반 객체 검출기, Haar-like 특징, SIFT, Ferns 등과 같은 방법이 사용될 수 있다.

객체가 검출되면, 화면 영역 내에서 객체의 이동 경로를 추적한다(S920). 객체의 이동 경로를 추적하는데에는 광학 흐름(Optical Flow) 또는 칼만 필터(Kalman Filter) 등의 방법 등이 사용될 수 있다.

이후, 이동 경로를 따라 이동하는 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택한다(S930). 이 때, 기 설정된 조건은 화면에 표시되는 검출된 객체의 크기가 기 설정된 크기 이상이거나, 감시 장치(100)의 감시 방향을 기준으로 회전된 각도가 기 설정된 크기 미만인 경우가 될 수 있다.

상술한 과정을 거쳐 프레임이 선택되면, 상기 프레임에 표시된 객체를 인식한다(S940). 객체를 인식하기 위해 적용되는 객체 인식 모델은 선택된 프레임에 표시된 객체의 형태에 따라 달라질 수 있다.

도 10은 본 발명의 또 다른 실시예에 따른 객체 인식 시스템을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 서버 장치(1200)는 감시 장치(1100)로부터 촬영 영상을 수신하고, 영상 내에서 화면 변화를 검출하여 이벤트 발생 여부를 감지할 수 있다.

본 실시예에서는 감시 장치(1100)는 단순히 촬영 영상만은 서버 장치(1200)에 전송하고, 명세서 전반에 걸쳐 설명한 객체 인식 방법은 서버 장치(1200)에서 수행도리 수 있다.

따라서, 서버 장치(1200)은 도 1에 도시한 감시 장치의 구성을 포함하여 동일한 동작을 수행할 수 있다. 또한, 본 실시예에서는 하나의 감시 장치(1100)로부터 촬영 영상을 수신하는 것으로 도시하였으나, 이에 한정되지 않으며 복수의 감시 장치로부터 촬영 영상을 수신 받아 영상에 포함된 객체를 인식하도록 구현할 수도 있다.

지금까지 도 1 내지 도 10을 참조하여 설명된 본 발명의 실시예들에 따른 객체 인식 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터 프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터가 읽을 수 있는 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록 된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치 및 스마트 와치, 스마트 안경과 같은 웨어러블 컴퓨팅 장치를 모두 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (11)

1. 화면 영역 내의 객체를 검출하는 단계;
   상기 검출된 객체의 이동 경로를 추적하는 단계;
   상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 적어도 하나 선택하는 단계;
   상기 선택된 적어도 하나의 영상 프레임에서, 상기 객체의 정면과 상기 감시 장치의 관측 방향 간에 형성된 각도를 산출하는 단계; 및
   상기 검출된 객체에 인식 모델을 적용하는 단계를 포함하되,
   상기 검출된 객체에 인식 모델을 적용하는 단계는,
   상기 형성된 각도가 제1 각도 범위 내에 있고, 상기 객체 상에 인물의 얼굴 영역이 포함된 경우, 상기 검출된 객체에 상기 인물의 얼굴 영역을 인식하기 위한 얼굴 인식 모델을 적용하고,
   상기 형성된 각도가 제2 각도 범위 내에 있고, 상기 객체 상에 인물이 포함되어 있으나, 상기 인물의 얼굴 영역이 포함되어 있지 않은 경우, 상기 검출된 객체에 상기 인물의 행동을 인식하기 위한 행동 인식 모델 및 상기 인물의 외형을 인식하기 위한 외형 인식 모델 중, 적어도 하나의 인식 모델을 적용하는 단계를 포함하는,
   객체 인식 방법.
2. 제1항에 있어서,
   상기 적어도 하나의 영상 프레임을 선택하는 단계는,
   상기 객체의 크기가 기 설정된 크기 이상으로 표시되는 영상 프레임을 선택하는 단계를 포함하는 객체 인식 방법.
3. 제2항에 있어서,
   상기 객체의 크기가 기 설정된 크기 이상으로 표시되는 영상 프레임을 선택하는 단계는,
   상기 객체를 둘러쌓는 블록의 크기가 기 설정된 크기 이상인 영상 프레임을 선택하는 단계를 포함하는 객체 인식 방법.
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 검출된 객체는 인물의 얼굴 영역이고,
   상기 객체의 정면과 상기 감시 장치의 관측 방향 간에 형성된 각도를 산출하는 단계 는,
   상기 얼굴 영역에 포함된 눈 영역을 연결하는 직선을 생성하는 단계; 및
   상기 생성된 직선과 상기 감시 장치의 관측 방향 간에 형성된 각도를 회전 각도로서 산출하는 단계를 포함하는 객체 인식 방법.
7. 제1항에 있어서,
   상기 검출된 객체에 인식 모델을 적용하는 단계는,
   상기 형성된 각도가 제2 각도 범위 내에 있고, 상기 객체 상에 인물이 포함되어 있으나, 상기 인물의 얼굴 영역이 포함되어 있는 경우, 상기 검출된 객체에 상기 인물의 얼굴을 인식하기 위한 얼굴 인식 모델, 상기 인물의 행동을 인식하기 위한 행동 인식 모델 및 상기 인물의 외형을 인식하기 위한 외형 인식 모델 중, 적어도 하나의 객체 인식 모델을 적용하는 단계를 포함하는 객체 인식 방법.
8. 제7항에 있어서,
   상기 검출된 객체에 인식 모델을 적용하는 단계는,
   상기 검출된 객체에 상기 적어도 하나의 객체인식 모델을 적용한 결과값을 산출하는 단계; 및
   상기 인물의 얼굴 영역의 정면과 상기 감시 장치의 관측 방향 간에 형성된 각도를 기초로, 상기 산출된 결과값에 서로 다른 가중치를 적용하는 단계를 포함하는 객체 인식 방법.
9. 화면 영역 내에 존재하는 객체를 검출하는 객체 검출부;
   상기 검출된 객체의 이동 경로를 추적하는 객체 추적부;
   상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 적어도 하나 선택하는 프레임 선택부; 및
   상기 선택된 적어도 하나의 영상 프레임에서, 상기 객체의 정면과 상기 감시 장치의 관측 방향 간에 형성된 각도를 산출하고, 상기 형성된 각도가 제1 각도 범위 내에 있고, 상기 객체 상에 인물의 얼굴 영역이 포함된 경우, 상기 검출된 객체에 상기 인물의 얼굴 영역을 인식하기 위한 얼굴 인식 모델을 적용하고, 상기 형성된 각도가 제2 각도 범위 내에 있고, 상기 객체 상에 인물이 포함되어 있으나, 상기 인물의 얼굴 영역이 포함되어 있지 않은 경우, 상기 검출된 객체에 상기 인물의 행동을 인식하기 위한 행동 인식 모델 및 상기 인물의 외형을 인식하기 위한 외형 인식 모델 중, 적어도 하나의 인식 모델을 적용하여 상기 검출된 객체를 인식하는 객체 인식부를 포함하는, 감시 장치.
10. 영상데이터 수신부;
    적어도 하나의 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로딩되어 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램의 실행 파일이 기록된 스토리지 장치를 포함하되,
    상기 컴퓨터 프로그램은,
    화면 영역 내의 객체를 검출하는 일련의 오퍼레이션(operation);
    상기 검출된 객체의 이동 경로를 추적하는 일련의 오퍼레이션;
    상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 적어도 하나 선택하는 일련의 오퍼레이션;
    상기 선택된 적어도 하나의 영상 프레임에서, 상기 객체의 정면과 상기 감시 장치의 관측 방향 간에 형성된 각도를 산출하는 오퍼레이션; 및
    상기 형성된 각도가 제1 각도 범위 내에 있고, 상기 객체 상에 인물의 얼굴 영역이 포함된 경우, 상기 검출된 객체에 상기 인물의 얼굴 영역을 인식하기 위한 얼굴 인식 모델을 적용하고, 상기 형성된 각도가 제2 각도 범위 내에 있고, 상기 객체 상에 인물이 포함되어 있으나, 상기 인물의 얼굴 영역이 포함되어 있지 않은 경우, 상기 검출된 객체에 상기 인물의 행동을 인식하기 위한 행동 인식 모델 및 상기 인물의 외형을 인식하기 위한 외형 인식 모델 중, 적어도 하나의 인식 모델을 적용하여 상기 검출된 객체를 인식하는 일련의 오퍼레이션을 포함하는, 감시 장치.
11. 컴퓨터 장치와 결합하여,
    화면 영역 내의 객체를 검출하는 단계;
    상기 검출된 객체의 이동 경로를 추적하는 단계;
    상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 적어도 하나 선택하는 단계;
    상기 선택된 적어도 하나의 영상 프레임에서, 상기 객체의 정면과 상기 감시 장치의 관측 방향 간에 형성된 각도를 산출하는 단계; 및
    상기 형성된 각도가 제1 각도 범위 내에 있고, 상기 객체 상에 인물의 얼굴 영역이 포함된 경우, 상기 검출된 객체에 상기 인물의 얼굴 영역을 인식하기 위한 얼굴 인식 모델을 적용하고, 상기 형성된 각도가 제2 각도 범위 내에 있고, 상기 객체 상에 인물이 포함되어 있으나, 상기 인물의 얼굴 영역이 포함되어 있지 않은 경우, 상기 검출된 객체에 상기 인물의 행동을 인식하기 위한 행동 인식 모델 및 상기 인물의 외형을 인식하기 위한 외형 인식 모델 중, 적어도 하나의 인식 모델을 적용하여 상기 검출된 객체를 인식하는 단계를 실행시키기 위하여 기록 매체에 기록된 컴퓨터 프로그램.

Images