KR20160068281A

KR20160068281A - Method of object recognition

Info

Publication number: KR20160068281A
Application number: KR1020140173776A
Authority: KR
Inventors: 권기상; 박두원; 공정민; 송효섭; 윤재웅; 김상엽
Original assignee: 삼성에스디에스 주식회사
Priority date: 2014-12-05
Filing date: 2014-12-05
Publication date: 2016-06-15
Also published as: KR101648786B1

Abstract

An object recognition method is disclosed. According to an embodiment of the present invention, the object recognition method comprises the following steps of: detecting an object in a screen region; tracking a moving route of the detected object; selecting at least one image frame which satisfies a preset condition among a plurality of image frames which display the detected object moving along the moving route; and recognizing the detected object in the at least one selected image frame. Therefore, the object recognition method can maximize object recognition accuracy.

Description

{METHOD OF OBJECT RECOGNITION}

본 발명은 객체 인식 방법에 관한 것으로, 보다 상세하게는 화면 내에서 이동하는 객체를 추적하여 객체의 특징점을 가장 잘 추출할 수 있는 영상 프레임에서 유사도 판단을 수행함으로써 보다 정확하게 객체를 인식할 수 있는 개체 인식 방법에 관한 것이다.The present invention relates to an object recognition method, and more particularly, to a method and apparatus for recognizing an object that can more accurately recognize an object by performing similarity determination in an image frame, And a recognition method.

일반 주택을 비롯하여 백화점, 은행, 전시장, 공장 등의 실내 외에 구비되는 감시 카메라(CCTV : Closed Circuit Televisions)는 감시 영역 내에서 발생될 수 있는 다양한 사항을 관찰하고 그에 적절한 대응을 하기 위한 수단으로 널리 이용되고 있다.Closed Circuit Televisions (CCTV), which are installed in indoor and outside rooms such as department stores, banks, exhibition halls, factories, etc., are widely used as a means to observe various items that may occur in the surveillance area and to respond appropriately thereto .

특히, 최근 출시되는 감시 카메라는 단순히 감시 영역 내에 존재하는 복수의 객체를 감시하는 기능뿐만 아니라 객체에 관한 정보까지 제공하는 기능을 수행하고 있다. 예를 들어, 감시 영역 내에 등장하는 인물의 얼굴을 인식하여 그의 신원을 확인하거나 감시 영역을 통과하는 차량의 번호판을 인식하여 차량에 관한 정보를 제공하는 것이 이에 해당된다.In particular, recently introduced surveillance cameras not only have a function of monitoring a plurality of objects existing in a surveillance area, but also provide information about objects. For example, it is possible to recognize the face of a person appearing in the surveillance area and confirm his identity, or recognize the license plate of the vehicle passing through the surveillance area to provide information about the vehicle.

감시 카메라가 화면 내에 존재하는 객체를 인식하는데 있어 가장 이상적인 경우는 인물이나 차량이 카메라를 정면으로 향하는 경우이지만, 실제로는 객체가 감시 영역을 횡으로 지나가거나 카메라를 등지고 이동하는 경우가 더 빈번하게 발생하므로 객체 인식에 대한 높은 정확도를 기대할 수 없다는 문제점이 있었다.The most ideal case in which the surveillance camera recognizes an object existing on the screen is when the person or vehicle is directed to the front of the camera. However, in reality, the object is moved more frequently than the surveillance area There is a problem that high accuracy of object recognition can not be expected.

따라서, 감시 영역 내에서 이동하는 객체의 이동 방향 또는 이동 속도를 고려하여 객체의 특징점을 가장 잘 추출할 수 있는 프레임을 선택하고 선택된 프레임에 최적화된 인식 방법을 적용함으로써 객체 인식의 정확성을 높일 수 있는 객체 인식 방법의 필요성이 대두되었다.Therefore, it is possible to improve the accuracy of object recognition by selecting a frame that can extract the best feature point of the object considering the moving direction or moving speed of the moving object in the surveillance area, and applying an optimal recognition method to the selected frame There is a need for an object recognition method.

미국특허공개공보 2013-0266181U.S. Patent Publication No. 2013-0266181

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 감시 영역에서 객체의 이동 방향 및 이동 속도를 고려하여 객체의 특징점을 가장 잘 추출할 수 있는 프레임을 선택한 후 객체 인식 모델을 적용하는 객체 인식 방법을 제공하는데 있다.The object of the present invention is to solve the above-mentioned problems, and it is an object of the present invention to provide an object recognition model selecting a frame that can extract the best feature point of an object in consideration of a moving direction and a moving speed of the object, And to provide an object recognition method to be applied.

본 발명의 또 다른 목적은 감시 영역에서 검출되는 객체의 모습에 따라 각각의 객체 인식 모델에 다른 가중치를 적용함으로써 객체 인식의 정확도를 높일 수 있는 객체 인식 방법을 제공하는데 있다.It is another object of the present invention to provide an object recognition method capable of increasing the accuracy of object recognition by applying different weights to each object recognition model according to the shape of the object detected in the surveillance region.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 객체 인식 방법은 화면 영역 내의 객체를 검출하는 단계, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계 및 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 포함한다.According to an aspect of the present invention, there is provided an object recognition method including: detecting an object in a screen area; tracking a movement path of the detected object; Selecting at least one image frame meeting a predetermined condition among a plurality of image frames representing the object, and recognizing the detected object in the selected at least one image frame.

본 발명의 일 실시예에 따르면, 상기 적어도 하나의 영상 프레임을 선택하는 단계는, 상기 이동 경로 상에서 상기 객체의 크기가 기 설정된 크기 이상으로 표시되는 영상 프레임을 선택하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of selecting at least one image frame may include a step of selecting an image frame in which the size of the object is displayed in a predetermined size or larger on the movement path.

본 발명의 일 실시예에 따르면, 상기 적어도 하나의 영상 프레임을 선택하는 단계는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 선택하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the selecting of the at least one image frame may include selecting an image frame indicating a state in which the front face of the object is rotated within a predetermined range based on a viewing direction of the monitoring device Step < / RTI >

본 발명의 일 실시예에 따르면, 상기 검출된 객체를 인식하는 단계는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 회전한 각도를 산출하는 단계, 상기 객체의 회전 각도에 따라 상기 객체를 인식하기 위한 객체 인식 모델을 선택하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of recognizing the detected object may include calculating an angle of rotation of the front face of the object based on a viewing direction of the monitoring device, And selecting an object recognition model for recognition.

본 발명의 일 실시예에 따르면, 상기 검출된 객체는 인물의 얼굴 영역이고, 상기 객체가 회전한 회전 각도를 산출하는 단계는, 상기 얼굴 영역에 포함된 눈 영역을 연결하는 직선을 생성하는 단계, 상기 생성된 직선과 감시 장치의 관측 방향 간에 형성된 각도를 산출하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the detected object is a face region of a person, and the step of calculating a rotation angle of the rotated object may include generating a straight line connecting eye regions included in the face region, And calculating an angle formed between the generated straight line and a viewing direction of the monitoring apparatus.

본 발명의 일 실시예에 따르면, 상기 얼굴 영역에 포함된 상기 눈 영역이 미검출되면, 상기 검출된 객체를 인식하는 단계는, 상기 객체를 인식하기 위한 객체 인식 모델로 얼굴 인식 모델을 미선택할 수 있다.According to an embodiment of the present invention, when the eye region included in the face region is not detected, the step of recognizing the detected object may include selecting an object recognition model for recognizing the object, have.

본 발명의 일 실시예에 따르면, 상기 검출된 객체를 인식하는 단계는, 선택된 프레임 별로 서로 다른 객체 인식 모델을 적용하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of recognizing the detected object may include applying different object recognition models to the selected frames.

본 발명의 일 실시예에 따르면, 상기 검출된 객체를 인식하는 단계는, 상기 선택된 프레임에 복수의 객체 인식 모델을 적용하여 결과값을 산출하는 단계, 상기 선택된 프레임에 표시된 객체의 형태에 따라 상기 산출된 결과값에 서로 다른 가중치를 적용하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of recognizing the detected object may include a step of calculating a result value by applying a plurality of object recognition models to the selected frame, And applying different weights to the resulting values.

본 발명의 또 다른 실시예에 따른 감시 장치는 화면 영역 내에 존재하는 객체를 검출하는 객체 검출부, 상기 검출된 객체의 이동 경로를 추적하는 객체 추적부, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 프레임 선택부 및 상기 선택된 적어도 하나의 영상 프레임에 적어도 하나의 객체 인식 모델을 적용하여 상기 검출된 객체를 인식하는 객체 인식부를 포함한다.According to another aspect of the present invention, there is provided a surveillance apparatus including an object detection unit detecting an object existing in a screen area, an object tracking unit tracking a movement path of the detected object, A frame selecting unit for selecting at least one image frame that satisfies a preset condition among a plurality of image frames to be displayed and an object recognizing the detected object by applying at least one object recognition model to the selected at least one image frame And a recognition unit.

본 발명의 일 실시예에 따르면, 상기 프레임 선택부는, 상기 이동 경로 상에서 상기 객체의 크기가 기 설정된 크기 이상으로 표시되는 영상 프레임을 선택할 수 있다.According to an embodiment of the present invention, the frame selector may select an image frame in which the size of the object is displayed on the movement path at a predetermined size or larger.

본 발명의 일 실시예에 따르면, 상기 프레임 선택부는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 기 설정된 범위 이내에서 회전된 모습을 표시하는 영상 프레임을 선택할 수 있다.According to an embodiment of the present invention, the frame selecting unit may select an image frame indicating a state in which the front face of the object is rotated within a predetermined range based on an observing direction of the monitoring apparatus.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 객체의 정면이 감시 장치의 관측 방향을 기준으로 회전한 각도에 따라 상기 객체를 인식하기 위한 객체 인식 모델을 선택할 수 있다.According to an embodiment of the present invention, the object recognition unit may select an object recognition model for recognizing the object according to an angle at which the front face of the object rotates with respect to the observation direction of the monitoring apparatus.

본 발명의 일 실시예에 따르면, 상기 검출된 객체는 인물의 얼굴 영역이고, 상기 객체 인식부는, 상기 얼굴 영역에 포함된 눈 영역을 연결하여 생성한 직선과 감시 장치의 관측 방향 간에 형성된 각도를 산출할 수 있다.According to an embodiment of the present invention, the detected object is a face region of a person, and the object recognizing unit calculates an angle formed between a straight line generated by connecting eye regions included in the face region and a viewing direction of the monitoring apparatus can do.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 얼굴 영역에 포함된 상기 눈 영역이 미검출되면, 상기 객체를 인식하기 위한 객체 인식 모델로 얼굴 인식 모델을 미선택할 수 있다.According to an embodiment of the present invention, when the eye region included in the face region is not detected, the object recognition unit may not select the face recognition model as an object recognition model for recognizing the object.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 선택된 프레임 별로 서로 다른 객체 인식 모델을 적용할 수 있다.According to an embodiment of the present invention, the object recognition unit may apply different object recognition models to the selected frames.

본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 선택된 프레임에 복수의 객체 인식 모델을 적용하여 결과값을 산출하고, 상기 선택된 프레임에 표시된 객체의 형태에 따라 상기 산출된 결과값에 서로 다른 가중치를 적용할 수 있다.According to an embodiment of the present invention, the object recognition unit may calculate a result value by applying a plurality of object recognition models to the selected frame, and may calculate a result of the object recognition model based on the shape of the object displayed in the selected frame, Weights can be applied.

본 발명의 또 다른 실시예에 따른 감시 장치는 촬영부, 적어도 하나의 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계, 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 실행하는 프로그램을 저장한다.A monitoring apparatus according to another embodiment of the present invention includes a photographing unit, at least one processor and a memory, the memory including: a tracking unit that tracks a movement path of the detected object; Selecting at least one image frame that meets a predetermined condition among a plurality of image frames representing an object that has been detected, and recognizing the detected object in the selected at least one image frame.

본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 컴퓨터 장치와 결합하여 화면 영역 내의 객체를 검출하는 단계, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계, 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 실행한다.According to another aspect of the present invention, there is provided a computer program for causing a computer to execute the steps of: detecting an object in a screen area in combination with a computer device; tracking a movement path of the detected object; Selecting at least one image frame that satisfies a predetermined condition among a plurality of image frames to be displayed, and recognizing the detected object in the selected at least one image frame.

상술한 본 발명의 일 실시예들에 따르면 객체 인식의 정확도를 극대화시킬 수 있다는 효과를 달성할 수 있다.According to the embodiments of the present invention described above, the accuracy of object recognition can be maximized.

또한, 객체 인식의 정확도를 극대화 시킬 수 있는 영상 프레임에 한해 객체 인식 모델을 적용함으로써 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있다는 효과를 달성할 수 있다.In addition, it is possible to prevent the unnecessary computing resources from being wasted by applying the object recognition model to only the image frames that can maximize the accuracy of object recognition.

도 1은 본 발명의 일 실시예에 따른 감시 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 감시 장치(100)를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따라 적어도 하나의 영상 프레임을 선택하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 또 다른 실시예에 따라 선택된 프레임에 복수의 객체 인식 모델이 적용되는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 객체의 회전 각도 별로 객체 인식 모델을 선택하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 관찰 대상인 객체가 회전한 각도를 산출하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 객체의 일부 영역이 화면상에 표시되지 않는 경우 객체 인식 모델을 선택하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 객체의 회전 각도별로 따라 다르게 적용되는 가중치를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 객체 인식 시스템을 설명하기 위한 도면이다.1 is a block diagram illustrating a monitoring apparatus according to an embodiment of the present invention.
2 is a view for explaining a monitoring apparatus 100 according to another embodiment of the present invention.
FIG. 3 is a view for explaining a process of selecting at least one image frame according to an embodiment of the present invention.
4 is a diagram illustrating a method of applying a plurality of object recognition models to a selected frame according to another embodiment of the present invention.
5 is a diagram for explaining a process of selecting an object recognition model for each rotation angle of an object according to an embodiment of the present invention.
6 is a diagram for explaining a method of calculating an angle of rotation of an object to be observed according to an embodiment of the present invention.
7 is a diagram illustrating a method of selecting an object recognition model when a partial area of an object is not displayed on a screen according to an embodiment of the present invention.
FIG. 8 is a view for explaining a weight applied differently according to a rotation angle of an object according to an embodiment of the present invention.
9 is a flowchart illustrating an object recognition method according to an embodiment of the present invention.
10 is a view for explaining an object recognition system according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

도 1은 본 발명의 일 실시예에 따른 감시 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating a monitoring apparatus according to an embodiment of the present invention.

도 1에 도시된 블록도에는 본 발명의 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 기술자라면 도 1에 도시된 구성요소 이외에 추가적인 구성이 포함될 수 있음을 알 수 있다.In the block diagram shown in Fig. 1, only the components associated with the embodiment of the present invention are shown. Accordingly, those skilled in the art will appreciate that additional features other than those shown in FIG. 1 may be included.

도 1에 따른 감시 장치(100)는 촬영부(110), 객체 검출부(120), 객체 추적부(130), 프레임 선택부(140), 객체 인식부(150) 및 네트워크 인터페이스(160)를 포함한다.1 includes a photographing unit 110, an object detecting unit 120, an object tracking unit 130, a frame selecting unit 140, an object recognizing unit 150, and a network interface 160 do.

촬영부(110)는 피사체를 촬영하여 이미지를 획득한다. 구체적으로, 촬영부(110)는 피사체의 빛을 모아서 촬영 영역에 광학상이 맺히게 하는 렌즈(미도시), 렌즈를 통해 입사되는 빛을 전기 신호로 변환하는 촬영 소자 및 촬영 소자의 아날로그 형태 신호를 디지털 신호로 변환하여 출력하는 AD 컨버터(미도시)로 구성될 수 있다. 이때, 촬영 소자는 CCD(Chare Coupled Device) 촬영 소자 및 CMOS(Complementary Metal Oxide Semiconductor) 촬영 소자일 수 있다.The photographing unit 110 photographs a subject to acquire an image. Specifically, the photographing unit 110 includes a lens (not shown) that collects light of a subject and causes the optical image to be formed on the photographing region, an image capturing device that converts light incident through the lens into an electrical signal, And an AD converter (not shown) for outputting the converted signal. At this time, the photographing device may be a CCD (Charge Coupled Device) photographing device and a CMOS (Complementary Metal Oxide Semiconductor) photographing device.

객체 검출부(120)는 화면 영역 내에 등장하는 객체를 검출한다. 구체적으로, 화면 영역 내에 등장하는 객체는 인물, 차량, 특정 물체 중 하나일 수 있으며, 객체를 검출하는 방법으로 HOG(Histogram of Oriented Gradient) 기반 객체 검출기, Haar-like 특징, SIFT, Ferns 등 다양한 방법을 사용할 수 있다. The object detecting unit 120 detects an object appearing in the screen area. Specifically, an object appearing in the screen area may be one of a person, a vehicle, and a specific object. Various methods such as a Histogram of Oriented Gradient (HOG) based object detector, Haar-like feature, SIFT, Ferns Can be used.

예를 들어, HOG(Histogram of Oriented Gradient) 방법은 복수의 객체가 등장하는 영상의 지역적인 Gradient 분포 특성을 추출하여 물체를 식별하는 방법으로 보행자 뿐만 아니라 차량 등 다양한 물체 검출에 적용할 수 있는 일반적인 방법이다.For example, the Histogram of Oriented Gradient (HOG) method is a method of identifying an object by extracting a local gradient distribution characteristic of an image in which a plurality of objects appear, and is a general method that can be applied not only to pedestrians but also to various objects such as vehicles to be.

객체 검출부(120)는 상술한 다양한 객체 검출기 중 하나를 이용하여 화면 영역 내에 존재하는 객체가 인물 또는 차량이거나 사용자가 관심 있어 하는 물체인지 여부를 판단한다.The object detecting unit 120 determines whether an object existing in the screen area is a person or a vehicle or an object that the user is interested in using one of the various object detectors described above.

객체 검출부(120)를 통해 화면 영역 내에서 특정 객체가 검출되면 객체 추적부(130)가 검출된 객체의 이동 경로를 추적한다. 검출된 객체가 인물 또는 차량과 같이 화면 영역 내에서 움직일 수 있는 객체인 경우, 객체 검출부(120)는 검출된 객체의 이동 경로를 추적한다.When a specific object is detected in the screen region through the object detection unit 120, the object tracking unit 130 tracks the movement path of the detected object. If the detected object is an object that can move within a screen area such as a person or a vehicle, the object detecting unit 120 tracks the movement path of the detected object.

구체적으로, 객체 추적부(130)는 광학 흐름(Optical Flow) 또는 칼만 필터(Kalman Filter) 등의 방법을 이용하여 화면 영역 내에서 객체의 움직임을 추적할 수 있다. Specifically, the object tracking unit 130 may track the motion of the object in the screen area using a method such as an optical flow or a Kalman filter.

광학 흐름은 시각적인 화면에서의 객체, 표면 또는 객체와 배경 상의 경계선의 움직임을 나타내는 패턴을 의미한다. 광학 흐름 방법은 일정한 시간 간격을 갖는 프레임에서 각 프레임을 구성하는 모든 픽셀에서의 움직임을 계산한다. 광학 흐름 방법을 이용하여 화면 영역에서 움직이는 객체의 이동 경로를 추적하는 방법은 통상의 기술자에게 자명한 내용이므로 구체적인 방법에 대한 설명은 생략한다.Optical flow refers to a pattern that represents the motion of an object, a surface or an object on a visual screen, and a background boundary line. The optical flow method calculates the motion in all the pixels constituting each frame in a frame having a constant time interval. The method of tracking the movement path of the moving object in the screen area using the optical flow method is obvious to those skilled in the art, so a detailed description of the method will be omitted.

프레임 선택부(140)는 이동 경로를 따라 이동하는 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택한다.The frame selecting unit 140 selects at least one image frame that satisfies a predetermined condition among a plurality of image frames indicating an object moving along the movement path.

검출된 객체가 이동하는 모습을 표시하는 영상은 복수의 프레임으로 구성된다. 여기에서 프레임이란 움직이는 영상을 구성하는 정지된 이미지들 중 한 장을 의미한다.An image representing the movement of the detected object is composed of a plurality of frames. Here, a frame means one of still images constituting a moving image.

한편, 객체가 이동하는 모습을 표시하는 각각의 프레임에는 서로 다른 모습의 객체가 표시될 수 있다. 예를 들어, 특정 인물이 화면 영역의 좌측에서 등장하여 우측 방향으로 이동하는 경우 이동 모습을 나타내는 각각의 영상 프레임에는 서로 다른 형태의 인물 모습이 포함될 수 있다.On the other hand, an object having a different appearance may be displayed in each frame indicating the movement of the object. For example, when a specific person appears on the left side of the screen area and moves toward the right side, different image shapes may be included in each image frame representing the moving image.

특정 프레임에서 감시 대상 객체인 인물이 정면을 바라보고 있는 모습이 표시될 수 있고 다른 프레임에서는 이동 하는 방향의 좌측 또는 우측 바라보는 모습이 표시될 수 있다.It is possible to display a state in which a person as a monitored object is facing the front in a specific frame, and a state in which a left or right side of the moving direction is displayed in another frame.

프레임 선택부(140)는 상술한 바와 같이 이동하는 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택한다. 본 발명의 일 실시예에 따르면 기 설정된 조건은 감시 대상인 객체가 감시 장치인 카메라를 정면으로 바라보고 있는 모습이 포함된 경우가 될 수 있다. 감시 대상인 객체가 인물인 경우, 인물이 카메라를 정면으로 바라보고 있는 프레임에 객체 인식 모델을 적용할 때 그 정확성을 높일 수 있기 때문이다.The frame selector 140 selects at least one image frame that satisfies a predetermined condition among a plurality of image frames that indicate the moving object as described above. According to an exemplary embodiment of the present invention, the preset condition may include a state in which the object to be monitored is facing the camera, which is a monitoring device, in front. This is because, when the object to be monitored is a person, the accuracy of the object recognition model can be increased when the person applies the object recognition model to the frame facing the camera.

마찬가지로 감시 대상 객체가 차량인 경우 차량의 번호판이 가장 크게 표시되는 프레임을 선택하는 경우 번호판을 인식함에 있어 정확성을 가장 높일 수 있게 된다.Likewise, when the object to be monitored is a vehicle, when selecting a frame in which the license plate of the vehicle is the largest, it is possible to maximize the accuracy in recognizing the license plate.

객체 인식부(150)는 프레임 선택부(140)에서 선택된 영상 프레임에 적어도 하나의 객체 인식 모델을 적용하여 검출된 객체를 인식한다. 예를 들어, 객체 인식부(150)는 객체 검출부(12)에서 검출된 인물의 얼굴을 인식하여 신원을 확인하거나 차량의 번호판을 확인할 수 있다.The object recognition unit 150 recognizes the detected object by applying at least one object recognition model to the selected image frame in the frame selection unit 140. [ For example, the object recognition unit 150 can identify the face of the person detected by the object detection unit 12 and confirm the identity or the license plate of the vehicle.

본 발명의 일 실시예에 따른 객체 인식부(150)는 선택된 프레임에 표시되는 객체의 특징점을 산출하여 검출된 객체를 인식할 수 있다. 구체적으로, 데이터베이스에 기 저장된 인물의 특징점과 객체로부터 산출된 특징점과의 유사도를 계산함으로써 검출된 객체를 인식할 수 있다.The object recognition unit 150 according to an embodiment of the present invention can recognize the detected object by calculating minutiae points of the object displayed in the selected frame. Specifically, the detected object can be recognized by calculating the degree of similarity between the feature point of the person previously stored in the database and the feature point calculated from the object.

상술한 바와 같이, 이동 경로를 따라 이동하는 객체를 표시하는 복수의 영상 프레임 중 객체의 특징점을 가장 잘 산출할 수 있는 프레임을 선택하여 객체 인식 모델을 적용하면, 객체 인식의 정확도를 높일 수 있다는 효과를 달성할 수 있다.As described above, if a frame capable of calculating the minutiae of the object is selected from among a plurality of image frames displaying an object moving along the movement path and the object recognition model is applied, the accuracy of object recognition can be increased Can be achieved.

또한, 객체의 특징점을 산출하기 어려운 프레임에 대해서는 객체 인식 모델을 적용하지 않음으로써 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있다는 효과를 달성할 수 있다.In addition, since the object recognition model is not applied to a frame in which it is difficult to calculate the minutiae of an object, unnecessary computing resources can be prevented from being wasted.

지금까지 도 1의 각 구성요소는 소프트웨어(software) 또는 FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.Each of the components in FIG. 1 may denote hardware such as software or a field-programmable gate array (FPGA) or an application-specific integrated circuit (ASIC). However, the components are not limited to software or hardware, and may be configured to be in an addressable storage medium and configured to execute one or more processors. The functions provided in the components may be implemented by a more detailed component or may be implemented by a single component that performs a specific function by combining a plurality of components.

도 2는 본 발명의 또 다른 실시예에 따른 감시 장치(100)를 설명하기 위한 도면이다.2 is a view for explaining a monitoring apparatus 100 according to another embodiment of the present invention.

감시 장치(100)는 도 2에 도시된 구성을 가질 수도 있다. 감시 장치(100)는 명령어를 수행하는 프로세서(220), 메모리(230), 스토리지(250) 및 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(260)를 포함한다.The monitoring apparatus 100 may have the configuration shown in Fig. The monitoring apparatus 100 includes a processor 220 that executes instructions, a memory 230, a storage 250, and a network interface 260 for transmitting / receiving data to / from an external device.

스토리지(250)에는 화면 영역 내의 객체를 검출하는 단계, 상기 검출된 객체의 이동 경로를 추적하는 단계, 상기 이동 경로를 따라 이동하는 상기 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택하는 단계 및 상기 선택된 적어도 하나의 영상 프레임에서 상기 검출된 객체를 인식하는 단계를 실행하는 프로그램이 저장된다. 이때, 상술한 프로그램이 메모리(230)에 로드된 후 프로세서(220)를 통해 수행될 수 있다.The storage (250) includes a step of detecting an object in a screen area, a step of tracing a movement path of the detected object, a step of satisfying a preset condition among a plurality of image frames displaying the detected object moving along the movement path Selecting at least one image frame to be displayed on the selected at least one image frame, and recognizing the detected object in the selected at least one image frame. At this time, the above-described program may be loaded into the memory 230 and then executed through the processor 220.

도 3은 본 발명의 일 실시예에 따라 적어도 하나의 영상 프레임을 선택하는 과정을 설명하기 위한 도면이다.FIG. 3 is a view for explaining a process of selecting at least one image frame according to an embodiment of the present invention.

본 실시예에서 감시 대상 객체(340)는 특정 인물이고, 화면 영역의 좌상단에서 출현하여 우하단으로 이동하는 경우를 예로 들어 설명한다. 다만, 본 실시예에서 감시 대상 객체(340)가 인물인 것을 예로 들어 설명하나 이에 한정되지 않으며 차량 또는 사용자가 관심 있어 하는 물체가 될 수 있음은 물론이다.In the present embodiment, the monitoring object 340 is a specific person, and a case where the monitoring object 340 appears at the upper left of the screen area and moves to the lower right will be described as an example. However, it is to be understood that the object to be monitored 340 is a person in the present embodiment, but the present invention is not limited thereto and may be an object of interest to a vehicle or a user.

또한, 본 실시예에서는 객체(340)를 표시하는 제1 프레임(310) 내지 제3 프레임(330)만을 도시하였으나, 이는 설명의 편의를 위한 것일 뿐 이동 경로를 따라 이동하는 객체(340)의 모습을 표시하는 프레임이 더 존재할 수도 있다.In the present embodiment, only the first frame 310 to the third frame 330 are displayed. However, this is for the sake of descriptive convenience only. Lt; / RTI > may be present.

객체 검출부(120)에 의해 임의의 인물인 객체(340)가 검출되면 객체 추적부(130)가 이동 경로를 따라 이동하는 객체(340)의 움직임을 추적한다. 이때, 객체(340)가 좌상단에 표시되는 제1 프레임(310)의 경우 감시 장치(100)로부터 객체(340)가 멀리 떨어져 있으므로 객체(340)의 크기가 작게 표시된다.When the object detecting unit 120 detects an object 340 as an arbitrary person, the object tracking unit 130 tracks the movement of the object 340 moving along the moving path. At this time, in the case of the first frame 310 in which the object 340 is displayed at the upper left corner, the object 340 is far away from the monitoring apparatus 100, so that the size of the object 340 is displayed small.

이후, 객체(340)가 이동 경로를 따라 화면 상의 우측 하단으로 이동하면 감시 장치(100)와 객체(340)와의 거리가 가까워지므로 제3 프레임(330)에서 객체(340)의 크기가 제1 프레임(310)에서의 객체(340) 크기에 비해 크게 표시된다.When the object 340 moves to the lower right of the screen along the movement path, the distance between the monitoring device 100 and the object 340 becomes shorter. Therefore, the size of the object 340 in the third frame 330 becomes smaller Is larger than the size of the object 340 in the object 310.

본 발명의 일 실시예에 따르면, 프레임 선택부(140)는 검출된 객체(340)의 크기가 기 설정된 크기 이상으로 표시되는 프레임을 선택할 수 있다. 구체적으로, 객체(340)를 둘러쌓는 블록 형태의 외곽선이 표시될 수 있고 이 블록의 크기가 기 설정된 크기 이상이 되는 경우의 프레임을 선택할 수 있다.According to an embodiment of the present invention, the frame selector 140 can select a frame in which the size of the detected object 340 is displayed in a predetermined size or larger. Specifically, the outline of the block shape surrounding the object 340 can be displayed, and the frame when the size of the block becomes larger than a predetermined size can be selected.

객체(340)의 크기가 기 설정된 크기보다 작게 표시되는 제1 프레임(310) 및 제2 프레임(320)의 경우 객체 인식 모델을 적용한다 할지라도 인물의 얼굴이 작게 표시되므로 얼굴 인식의 성공률이 떨어질 수 있다. 따라서, 프레임 선택부가 기 설정된 크기보다 객체(340)가 작게 표시되는 제1 프레임(310) 및 제2 프레임(320)을 선택하지 않고 이에 대해서는 객체 인식 모델을 적용하지 않음으로써 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있다. 즉, 성공률이 높지 않을 것으로 기대되는 프레임은 선택하지 않음으로써 객체 인식 모델이 적용되지 않도록 한다.In the case of the first frame 310 and the second frame 320 in which the size of the object 340 is smaller than a predetermined size, even if the object recognition model is applied, the face of the person is displayed small, . Accordingly, the frame selection unit does not select the first frame 310 and the second frame 320 in which the object 340 is displayed smaller than a predetermined size, and does not apply the object recognition model to the selected frame, so that unnecessary computing resources are wasted Can be prevented. That is, the object recognition model is not applied by not selecting a frame that is not expected to have a high success rate.

한편, 본 실시예에서는 프레임 선택부(140)가 기 설정된 크기 이상으로 객체가 표시되는 프레임을 선택하는 것으로 설명하였으나 이에 한정되지 않으며 다른 조건으로 복수의 영상 프레임 중 적어도 하나의 프레임을 선택하도록 구현할 수도 있다.Meanwhile, in the present embodiment, the frame selecting unit 140 selects a frame in which an object is displayed in a size larger than a predetermined size. However, the present invention is not limited to this, and at least one frame among a plurality of image frames may be selected have.

예를 들어, 객체가 화면 영역의 우측에서부터 좌측으로 이동하는 경우가 있을 수 있다. 이 경우, 객체가 표시되는 각 프레임에서 객체의 크기가 일정하므로 도 3에서 설명한 선택 방식으로 특정 프레임을 선택하는데 어려움이 있을 수 있다.For example, there may be cases where an object moves from right to left of the screen area. In this case, since the object size is constant in each frame in which the object is displayed, it may be difficult to select a specific frame by the selection method described in FIG.

따라서, 본 발명의 일 실시예에 따른 프레임 선택부(140)는 객체의 얼굴이 가장 잘 나타나는 프레임을 선택하여 선택된 프레임에 한해 객체 인식 모델이 적용되도록 할 수 있다. 비슷한 예로, 화면 영역에 나타나는 객체가 차량인 경우 차량의 번호판이 가장 잘 표시되는 프레임을 선택하여 객체 인식 모델을 적용할 수 있다.Accordingly, the frame selecting unit 140 according to an embodiment of the present invention can select a frame in which the face of the object is best displayed, and apply the object recognition model to only the selected frame. Similarly, if the object appearing in the screen area is a vehicle, the object recognition model can be applied by selecting the frame in which the license plate is best displayed.

상술한 과정을 거쳐 프레임이 선택되면, 객체 인식부(150)가 선택된 프레임에 객체 인식 모델을 적용하여 객체를 인식한다. 예를 들어, 인물의 안면 인식을 통한 신원 확인, 자동차 번호 인식 등이 이에 해당된다. 경우에 따라 선택된 프레임에는 복수의 객체 인식 모델이 적용될 수도 있다.When the frame is selected through the above-described process, the object recognition unit 150 recognizes the object by applying the object recognition model to the selected frame. For example, identification of a person through facial recognition, recognition of a car number, and the like. In some cases, a plurality of object recognition models may be applied to a selected frame.

도 4는 본 발명의 또 다른 실시예에 따라 선택된 프레임에 복수의 객체 인식 모델이 적용되는 방법을 설명하기 위한 도면이다.4 is a diagram illustrating a method of applying a plurality of object recognition models to a selected frame according to another embodiment of the present invention.

본 실시예에서는 객체(420)가 인물인 것을 예로 들어 설명하나 이에 한정되지 않으며 차량 또는 사용자가 관심 있어 하는 물체가 될 수 있음은 물론이다.In the present embodiment, the object 420 is illustrated as an example, but the present invention is not limited thereto and may be an object of interest to a vehicle or a user.

객체 인식부(150)는 인식의 정확성을 높이기 위하여 복수의 객체 인식 모델을 적용할 수 있다. 예를 들어, 관찰 대상인 객체(420)가 인물은 경우 얼굴 인식 모델과 행동 인식 모델을 적용할 수 있다. 여기에서, 행동 인식 모델이란 인물의 특정 걸음걸이, 제스쳐 등을 통해 특정 인물을 인식하는 방법을 의미한다.The object recognition unit 150 may apply a plurality of object recognition models to improve recognition accuracy. For example, a face recognition model and a behavior recognition model can be applied to an object 420 as an object to be observed. Here, a behavior recognition model means a method of recognizing a specific person through a specific gait of a person, a gesture, and the like.

이때, 각각의 객체 인식 모델은 선택된 프레임에 표시된 객체(420)의 형태에 따라 서로 다른 비율로 적용될 수 있다. 선택된 프레임에 표시된 객체(420)의 형태에 따라 가장 높은 정확도로 객체를 인식할 수 있는 방법이 달라질 수 있기 때문이다.At this time, each object recognition model may be applied at different ratios according to the type of object 420 displayed in the selected frame. This is because the method of recognizing the object with the highest accuracy may vary depending on the type of the object 420 displayed in the selected frame.

프레임 선택부(140)에 의해 선택된 프레임이 도 4에 도시된 제1 프레임(410) 내지 제3 프레임(430)인 경우를 예로 들면, 각각의 프레임에 표시된 객체(420)의 형태가 상이하므로 정확도를 높일 수 있는 객체 인식 모델이 프레임 별로 상이할 수 있다.In the case where the frame selected by the frame selecting unit 140 is the first frame 410 to the third frame 430 shown in FIG. 4, since the shapes of the objects 420 displayed in the respective frames are different, Can be different for each frame.

예를 들어, 제1 프레임(430) 및 제3 프레임(450)에 표시된 객체(450)의 경우 전체적인 객체의 외형은 표시되지만 얼굴 영역(410)이 표시되어 있지 않으므로 얼굴 인식 모델을 적용할 경우 객체 인식의 정확도가 떨어지게 된다.For example, in the case of the object 450 displayed in the first frame 430 and the third frame 450, since the outline of the entire object is displayed but the face area 410 is not displayed, The accuracy of recognition is lowered.

반면, 제2 프레임(440)의 경우 객체(420)의 전체적인 외형 뿐만 아니라 얼굴 영역(410)도 함께 표시되므로 제2 프레임에 얼굴 인식 모델과 행동 인식 모델을 함께 적용할 경우 인식률을 더욱 높일 수 있게 된다.On the other hand, in the case of the second frame 440, not only the overall appearance of the object 420 but also the face area 410 are displayed together. Therefore, when the face recognition model and the behavior recognition model are applied to the second frame, do.

따라서, 본 발명의 일 실시예에 따른 객체 인식부(150)는 선택된 프레임에 복수의 객체 인식 모델을 적용하되, 선택된 프레임에 표시된 객체의 형태에 따라 적용되는 객체 인식 모델의 가중치를 달리할 수 있다.Accordingly, the object recognition unit 150 according to an embodiment of the present invention may apply a plurality of object recognition models to selected frames, and may vary the weights of the object recognition models applied according to the types of objects displayed in the selected frames .

예를 들어, 제1 프레임(430) 및 제3 프레임(450)의 경우 객체(420)의 전체적인 외형이 명확하게 드러나므로 행동 인식 모델 또는 외형 인식 모델의 결과값에 높은 가중치를 부여하고 얼굴 인식 모델의 결과값에는 낮은 가중치를 부여할 수 있다.For example, in the case of the first frame 430 and the third frame 450, since the overall appearance of the object 420 is clearly revealed, a high weight is given to the result values of the behavior recognition model or the appearance recognition model, Can be given a low weight.

반면, 제2 프레임(440)에 표시되는 객체(420)의 경우 전체적인 외형 뿐만 아니라 얼굴 영역(410)도 상대적으로 명확하게 표시되므로 얼굴 인식 모델의 결과값에 높은 가중치를 부여할 수 있다.On the other hand, in the case of the object 420 displayed in the second frame 440, since not only the overall appearance but also the face region 410 is relatively clearly displayed, a high weight can be given to the result value of the face recognition model.

상술한 바와 같이, 객체의 특징점을 가장 잘 추출할 수 있는 프레임을 선택하고, 선택된 프레임에 표시된 객체의 형태에 따라 적용되는 객체 인식 모델의 가중치를 달리함으로써 객체 인식의 정확도를 더욱 높일 수 있다는 효과를 달성할 수 있게 된다.As described above, the effect that the accuracy of object recognition can be further improved by selecting a frame from which the feature points of the object are best extracted and by changing the weight of the object recognition model applied according to the type of the object displayed in the selected frame .

한편, 감시 대상이 되는 객체가 인물인 경우 인물의 신분을 가장 잘 나타내는 요소는 얼굴이므로, 감시 장치(100)가 인물의 얼굴 영역(410)을 정면으로 비출 때를 기준으로 하여 객체의 얼굴 영역(410)이 회전된 각도에 따라 객체를 인식하는데 적용되는 객체 인식 모델이 선택될 수 있다.If the object to be monitored is a person, the element that best represents the person's identity is the face. Therefore, when the surveillance apparatus 100 faces the face region 410 of the person as a reference, The object recognition model applied to recognize the object may be selected according to the rotated angle.

도 5는 본 발명의 일 실시예에 따라 객체의 회전 각도 별로 객체 인식 모델을 선택하는 과정을 설명하기 위한 도면이다.5 is a diagram for explaining a process of selecting an object recognition model for each rotation angle of an object according to an embodiment of the present invention.

본 실시예에서는 CCTV와 같은 감시 장치(100)의 관측 방향으로 관찰 대상인 인물이 감시 장치(100)를 등지고 서있을 때를 기준으로 회전 각도를 결정하는 경우를 예로 들어 설명한다. 다만, 회전 각도를 결정하는 방법은 이에 한정되지 않으며, 관찰 대상인 인물이 감시 장치(100)를 정면으로 바라보고 있을 때를 기준으로 회전 각도를 결정하도록 구현할 수도 있음은 물론이다.In the present embodiment, a case will be described in which the rotation angle is determined based on when the person to be observed is standing on the monitor 100 in the observation direction of the monitoring apparatus 100 such as CCTV. However, the method of determining the rotation angle is not limited to this, and the rotation angle may be determined on the basis of the time when the person to be observed observes the monitor 100 in front.

도 5에 도시한 바와 같이 관찰 대상인 인물이 감시 장치(100)를 등지고 있는 경우, 즉 관측 방향을 기준으로 회전 각도가 0도인 경우 화면 영역에 인물의 얼굴 영역이 검출되지 않게 된다.As shown in FIG. 5, when the person to be observed is standing on the monitor 100, that is, when the rotation angle is 0 degree with respect to the observation direction, the face region of the person is not detected in the screen region.

따라서, 이 경우 객체 인식부(150)가 얼굴 인식 모델을 적용하여 특정점을 산출한 후 유사도를 계산하더라도 높은 인식률을 기대할 수 없게 된다. 그러므로, 이러한 경우에는 인물의 걸음 걸이, 특정 제스처 등을 인식하여 인물의 신원을 확인하는 행동 인식 모델 또는 대상이 착용한 의류의 색상, 피부색, 머리색 등을 이용하여 객체를 인식하는 외형 인식 모델을 선택하는 것이 보다 높은 인식률을 얻는데 유용하다.Therefore, in this case, even if the object recognition unit 150 calculates the specific point by applying the face recognition model and then calculates the similarity, a high recognition rate can not be expected. Therefore, in such a case, a behavior recognition model that recognizes a person's walking, a specific gesture, or the like, or an appearance recognition model that recognizes an object using the color, skin color, hair color, It is useful to select a higher recognition rate.

또 다른 예로, 감시 장치(100)와 관찰 대상인 인물이 이루는 각도가 90도인 경우 인물의 얼굴 영역이 일부 표시되기는 하지만 인물의 얼굴 전체가 표시되는 것은 아니므로 얼굴 인식 모델만을 적용하여 객체를 인식하고자 하는 경우 높은 정확률을 기대할 수 없게 된다. 따라서, 이 경우 객체 인식부(150)는 얼굴 인식 모델에 추가적으로 행동 인식 모델 및 외형 인식 모델을 선택하여 객체를 인식할 수 있다.As another example, if the angle formed by the monitoring apparatus 100 and the person to be observed is 90 degrees, the face area of the person is partially displayed, but the entire face of the person is not displayed. Therefore, High accuracy can not be expected. Therefore, in this case, the object recognition unit 150 can recognize the object by selecting the behavior recognition model and the appearance recognition model in addition to the face recognition model.

반면, 감시 장치(100)와 관찰 대상인 인물이 이루는 각도가 180도인 경우, 즉, 인물이 감시 장치(100)를 정면으로 바라보는 경우 프레임에 객체의 얼굴이 전체적으로 표시되므로 얼굴 인식 모델만을 선택하더라도 인식률을 높일 수 있게 된다. 따라서, 이 경우 객체 인식부(150)는 얼굴 인식 모델을 우선적으로 선택할 수 있다.On the other hand, when the angle formed by the monitoring apparatus 100 and the person to be observed is 180 degrees, that is, when the person views the monitoring apparatus 100 to the front, the face of the object is displayed entirely in the frame. . Accordingly, in this case, the object recognition unit 150 can preferentially select the face recognition model.

상술한 바와 같이, 기 설정된 기준선에서 객체가 회전된 각도를 산출하여 회전 각도에 따라 객체 인식 모델을 선택하면 인식률을 더욱 높일 수 있다는 효과를 달성할 수 있다. 한편, 감시 장치(100)와 관찰 대상인 객체가 이루는 각도는 다양한 형태로 산출될 수 있다.As described above, when the object recognition model is selected according to the rotation angle by calculating the angle of rotation of the object on the predetermined reference line, the recognition rate can be further increased. On the other hand, the angle formed by the monitoring apparatus 100 and the object to be observed can be calculated in various forms.

도 6은 본 발명의 일 실시예에 따라 관찰 대상인 객체가 회전한 각도를 산출하는 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a method of calculating an angle of rotation of an object to be observed according to an embodiment of the present invention.

본 실시예에서는 관찰 대상인 객체가 인물인 경우를 예로 들어 설명한다.In this embodiment, the case where the object to be observed is a person will be described as an example.

객체가 인물인 경우 얼굴에서 눈 영역을 검출하고 두 눈 영역을 연결하는 직선을 생성한다. 이후, 생성된 직선과 감시 장치(100)의 관측 방향 간에 형성된 각도를 산출하면 기 설정된 기준선을 기준으로 객체가 회전한 각도를 계산할 수 있게 된다.If the object is a person, the eye region is detected from the face and a straight line connecting the two eye regions is generated. Then, when the angle formed between the generated straight line and the viewing direction of the monitoring apparatus 100 is calculated, the angle of rotation of the object can be calculated based on the predetermined reference line.

다만, 감시 대상인 객체가 인물이 아닌 다른 사물인 경우 상술한 방법이 아닌 다른 방법을 적용하여 감시 장치(100)의 관측 방향으로부터 객체가 회전한 각도를 산출할 수 있다.However, when the object to be monitored is an object other than a person, a method other than the above-described method may be applied to calculate the angle of rotation of the object from the observation direction of the monitoring apparatus 100. [

예를 들어, 감시 대상이 차량인 경우 차량의 진행방향과 감시 장치(100)의 관측 방향간에 형성된 각도를 산출하면 감시 장치(100)의 관측 방향으로부터 차량이 회전한 각도를 산출할 수 있게 된다. 통상적으로, 차량의 진행 방향과 차량의 전방에 부착된 번호판은 같은 방향을 향하게 되므로 차량의 진행방향과 감시 장치(100) 간에 형성된 각도를 산출하면 번호판이 회전한 각도를 알 수 있게 된다.For example, when an object to be monitored is a vehicle, the angle formed between the traveling direction of the vehicle and the observation direction of the monitoring device 100 can be calculated to calculate the angle of rotation of the vehicle from the observation direction of the monitoring device 100. Generally, since the number plate attached to the front of the vehicle and the traveling direction of the vehicle are oriented in the same direction, the angle formed between the moving direction of the vehicle and the monitoring device 100 can be used to know the angle of rotation of the plate.

상술한 바와 같이, 인물의 얼굴 또는 차량의 번호판이 감시 장치(100)의 관측 방향으로부터 회전한 각도를 산출하면 회전 각도별로 적용될 객체 인식 모델을 선택할 수 있게 됨에 따라 객체 인식의 정확도를 높일 수 있다는 효과를 달성할 수 있게 된다.As described above, when the angle of the face of the person or the license plate of the vehicle is calculated from the observation direction of the monitoring device 100, the object recognition model to be applied to each rotation angle can be selected, . &Lt; / RTI >

예를 들어, 인물의 얼굴이 감시 장치(100)를 정면으로 바라보고 있을 때를 기준으로 하여 기 설정된 범위 내에서만 회전한 경우 얼굴 인식 모델을 통한 인물 인식의 정확도가 높으므로 얼굴 인식 모델의 결과값에 높은 가중치를 부여하고 기 설정된 범위를 초과하여 회전한 경우 얼굴 인식 모델이 아닌 행동 인식 모델 또는 외형 인식 모델의 결과값에 높은 가중치를 부여하고 얼굴 인식 모델의 결과값에 낮은 가중치를 부여함으로써 객체 인식의 정확도를 높일 수 있다는 효과를 달성할 수 있다.For example, when the face of a person is rotated only within a preset range based on when the surveillance device 100 is viewed from the front, the accuracy of the person recognition through the face recognition model is high, A weight is given to a result value of a behavior recognition model or an external shape recognition model rather than a face recognition model and a weight is given to a result value of the face recognition model to give a high weight to the object recognition Can be increased.

한편, 상술한 실시예에서는 감시 대상이 되는 인물의 얼굴 영역이 검출되는 것을 전제로 회전 각도를 산출하고 산출된 회전 각도에 따라 객체 인식에 사용될 객체 인식 모델을 선택하는 경우를 설명하였으나, 감시 대상 객체의 얼굴이 표시되지 않는 경우가 있을 수 있다. 마찬가지로, 감시 대상 객체가 차량인 경우 화면 영역에 번호판이 표시되지 않는 경우가 있을 수 있다.On the other hand, in the above-described embodiment, the rotation angle is calculated on the assumption that the face region of the person to be monitored is detected, and the object recognition model to be used for object recognition is selected according to the calculated rotation angle. However, The face of the user may not be displayed. Likewise, if the monitored object is a vehicle, there may be cases where the license plate is not displayed in the screen area.

도 7은 본 발명의 일 실시예에 따라 객체의 일부 영역이 화면상에 표시되지 않는 경우 객체 인식 모델을 선택하는 방법을 설명하기 위한 도면이다.7 is a diagram illustrating a method of selecting an object recognition model when a partial area of an object is not displayed on a screen according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 감시 대상인 인물이 감시 장치(100)를 등지고 화면 영역의 상단으로 이동하는 경우 객체의 얼굴 영역이 표시되지 않을 수 있다. 객체의 얼굴 영역이 표시되지 않는 경우 얼굴 영역에 포함된 눈 영역을 검출할 수 없게 되므로 상술한 도 6에 기재한 방법으로 객체의 회전 각도를 산출할 수 없게 된다.As shown in FIG. 7, when the person to be monitored moves back to the top of the screen area by moving the monitor 100, the face area of the object may not be displayed. If the face region of the object is not displayed, it is impossible to detect the eye region included in the face region, so that the rotation angle of the object can not be calculated by the method described in Fig.

따라서, 본 발명의 일 실시예에 따르면 객체의 눈 영역이 포함되지 않는 경우 얼굴 인식 모델을 제외한 다른 인식 모델을 적용하여 객체를 인식할 수 있다.Therefore, according to the embodiment of the present invention, when the eye region of the object is not included, the object can be recognized by applying a recognition model other than the face recognition model.

구체적으로, 화면 영역 내에서 객체(740)를 검출한 후 검출된 객체가 이동하는 이동 경로를 추적한다. 이후, 이동 경로를 따라 이동하는 객체를 표시하는 제1 프레임(710) 내지 제3 프레임(730) 중 객체가 가장 크게 표시되는 제1 프레임(710)을 선택한다.Specifically, after the object 740 is detected in the screen area, the movement path of the detected object is tracked. Then, the first frame 710 displaying the object moving along the movement path is selected from among the first frame 710 through the third frame 730.

다만, 선택된 제1 프레임(710)에 표시된 객체에서 눈 영역을 검출할 수 없으므로 얼굴 인식 모델을 제외한 다른 객체 인식 모델을 적용하여 객체의 신원을 파악한다.However, since the eye region can not be detected from the object displayed in the selected first frame 710, the object identification is applied to other objects using the object recognition model except for the face recognition model.

상술한 바와 같이, 선택된 프레임에 표시된 객체의 형태에 따라 객체 인식에 사용되는 객체 인식 모델을 선택하면 인식률이 낮은 객체 인식 모델이 적용됨에 따라 불필요한 컴퓨팅 자원이 낭비되는 것을 방지할 수 있고, 최적의 객체 인식 모델을 적용함으로써 인식률을 높일 수 있다는 효과를 달성할 수 있다.As described above, when the object recognition model used for object recognition is selected according to the shape of the object displayed in the selected frame, unnecessary computing resources can be prevented from being wasted due to application of the object recognition model having low recognition rate, The recognition rate can be increased by applying the recognition model.

도 8은 본 발명의 일 실시예에 따라 객체의 회전 각도별로 따라 다르게 적용되는 가중치를 설명하기 위한 도면이다.FIG. 8 is a view for explaining a weight applied differently according to a rotation angle of an object according to an embodiment of the present invention.

본 실시예에서 회전 각도는 감시 대상인 객체가 감시 장치(100)를 정면으로 바라본 상태를 기준으로 반시계 방향으로 회전한 각도를 산출한 경우를 예로 들어 설명한다. 즉, 회전 각도가 180도인 경우는 감시 대상인 객체가 감시 장치(100)를 등지고 있는 경우를 의미하고, 회전 각도가 90도인 경우는 감시 대상 객체가 감시 장치(100)의 감시 방향을 기준으로 하여 반시계 방향으로 90도 회전한 경우를 의미한다.In the present embodiment, the rotation angle will be described by taking as an example a case where the object to be monitored is rotated counterclockwise on the basis of the front view of the monitoring apparatus 100. That is, when the rotation angle is 180 degrees, it means that the object to be monitored is in the back of the monitoring apparatus 100. When the rotation angle is 90 degrees, Means a case in which it is rotated 90 degrees clockwise.

또한, 도 8에 도시된 그래프는 서로 다른 객체 인식 모델의 결과값에 적용되는 가중치를 의미한다. 본 발명의 일 실시예에 따르면 제1 그래프(810)는 얼굴 인식 모델의 결과값에 적용되는 가중치를 의미하고, 제2 그래프는(820) 얼굴 인식 모델을 제외한 행동 인식 모델 또는 외형 인식 모델의 결과값에 대한 가중치를 의미한다.Also, the graph shown in FIG. 8 indicates a weight applied to the result values of different object recognition models. According to an exemplary embodiment of the present invention, the first graph 810 indicates a weight applied to a result value of the face recognition model, and the second graph 820 indicates a result of a behavior recognition model or an appearance recognition model excluding the face recognition model It means the weight for the value.

따라서, 객체의 회전 각도가 0도인 경우, 즉, 객체가 감시 장치(100)를 정면으로 바라보고 있는 경우에는 인물의 얼굴 영역이 표시되므로, 가장 높은 정확도로 객체를 인식할 수 있는 얼굴 인식 모델의 결과값에 높은 가중치를 부여한다.Accordingly, when the rotation angle of the object is 0 degrees, that is, when the object is looking at the front face of the monitoring apparatus 100, the face region of the person is displayed. Therefore, the face recognition model Give a high weight to the result.

반면, 객체가 회전함에 따라 화면 영역에 표시되는 얼굴 영역의 크기가 줄어들게 되므로 얼굴 인식 모델의 결과값에 대한 가중치는 줄어들게 되고 행동 인식 모델 또는 외형 인식 모델의 결과값에 대한 가중치는 커지게 된다.On the other hand, as the object rotates, the size of the face area displayed on the screen area is reduced, so that the weight of the result value of the face recognition model is reduced and the weight of the result value of the behavior recognition model or the appearance recognition model is increased.

이후, 객체의 회전 각도가 180도가 되면, 즉, 객체가 감시 장치(100)를 등지게 되면 화면 영역에 객체의 얼굴 영역이 표시되지 않으므로 얼굴 인식 모델에 대한 결과값에 최소한의 가중치를 부여하고, 외형 인식 모델 및 행동 인식 모델의 결과값에는 최대한의 가중치를 부여한다.When the rotation angle of the object is 180 degrees, that is, when the object is turned back on the monitoring device 100, the face region of the object is not displayed in the screen region. Therefore, a minimum weight is given to the result value for the face recognition model, The maximum weight is given to the outcome recognition model and the behavior recognition model.

상술한 바와 같이, 객체의 회전 각도에 따라 객체 인식에 적용되는 객체 인식 모델 결과값의 가중치를 달리하면 인식률의 정확도를 최대화시킬 수 있다는 효과를 달성할 수 있게 된다.As described above, it is possible to maximize the accuracy of the recognition rate by changing the weights of the object recognition model result values applied to the object recognition according to the rotation angle of the object.

도 9는 본 발명의 일 실시예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating an object recognition method according to an embodiment of the present invention.

객체 검출부(120)는 화면 영역에 존재하는 객체를 검출한다. 예를 들어, 사용자가 관심 있어 하는 대상이 차량인 경우 화면 영역에 존재하는 차량을 검출하고, 인물인 경우 화면 영역에 존재하는 인물을 검출한다(S910).The object detecting unit 120 detects an object existing in the screen area. For example, if the user is interested in the vehicle, the vehicle in the screen area is detected, and if there is a person, the person in the screen area is detected (S910).

화면 영역에서 사용자가 기 설정한 객체를 검출하는데에는 HOG(Histogram of Oriented Gradient) 기반 객체 검출기, Haar-like 특징, SIFT, Ferns 등과 같은 방법이 사용될 수 있다.Histogram of Oriented Gradient (HOG) -based object detector, Haar-like feature, SIFT, Ferns, etc. can be used to detect an object preset by the user in the screen area.

객체가 검출되면, 화면 영역 내에서 객체의 이동 경로를 추적한다(S920). 객체의 이동 경로를 추적하는데에는 광학 흐름(Optical Flow) 또는 칼만 필터(Kalman Filter) 등의 방법 등이 사용될 수 있다.When the object is detected, the moving path of the object is tracked within the screen area (S920). An optical flow or a Kalman filter may be used to track the movement path of the object.

이후, 이동 경로를 따라 이동하는 검출된 객체를 표시하는 복수의 영상 프레임 중 기 설정된 조건을 충족하는 적어도 하나의 영상 프레임을 선택한다(S930). 이 때, 기 설정된 조건은 화면에 표시되는 검출된 객체의 크기가 기 설정된 크기 이상이거나, 감시 장치(100)의 감시 방향을 기준으로 회전된 각도가 기 설정된 크기 미만인 경우가 될 수 있다.Thereafter, at least one image frame satisfying a predetermined condition among the plurality of image frames indicating the detected object moving along the movement path is selected (S930). In this case, the predetermined condition may be a case where the size of the detected object displayed on the screen is larger than a predetermined size, or the angle of rotation based on the monitoring direction of the monitoring apparatus 100 is less than a predetermined size.

상술한 과정을 거쳐 프레임이 선택되면, 상기 프레임에 표시된 객체를 인식한다(S940). 객체를 인식하기 위해 적용되는 객체 인식 모델은 선택된 프레임에 표시된 객체의 형태에 따라 달라질 수 있다.If a frame is selected through the above process, the object displayed in the frame is recognized (S940). The object recognition model applied to recognize an object may vary depending on the type of object displayed in the selected frame.

도 10은 본 발명의 또 다른 실시예에 따른 객체 인식 시스템을 설명하기 위한 도면이다.10 is a view for explaining an object recognition system according to another embodiment of the present invention.

본 발명의 일 실시예에 따른 서버 장치(1200)는 감시 장치(1100)로부터 촬영 영상을 수신하고, 영상 내에서 화면 변화를 검출하여 이벤트 발생 여부를 감지할 수 있다.The server device 1200 according to an exemplary embodiment of the present invention can receive a photographed image from the monitoring device 1100, detect a change in the image within the image, and detect whether an event has occurred.

본 실시예에서는 감시 장치(1100)는 단순히 촬영 영상만은 서버 장치(1200)에 전송하고, 명세서 전반에 걸쳐 설명한 객체 인식 방법은 서버 장치(1200)에서 수행도리 수 있다.In the present embodiment, the monitoring apparatus 1100 transmits only the photographed image to the server apparatus 1200, and the object recognition method described throughout the specification may be performed in the server apparatus 1200.

따라서, 서버 장치(1200)은 도 1에 도시한 감시 장치의 구성을 포함하여 동일한 동작을 수행할 수 있다. 또한, 본 실시예에서는 하나의 감시 장치(1100)로부터 촬영 영상을 수신하는 것으로 도시하였으나, 이에 한정되지 않으며 복수의 감시 장치로부터 촬영 영상을 수신 받아 영상에 포함된 객체를 인식하도록 구현할 수도 있다.Accordingly, the server apparatus 1200 can perform the same operation including the configuration of the monitoring apparatus shown in FIG. In addition, in the present embodiment, it is illustrated that the image is received from one monitoring apparatus 1100. However, the present invention is not limited to this, and it is also possible to receive an image taken from a plurality of monitoring apparatuses and recognize an object included in the image.

지금까지 도 1 내지 도 10을 참조하여 설명된 본 발명의 실시예들에 따른 객체 인식 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터 프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터가 읽을 수 있는 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록 된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치 및 스마트 와치, 스마트 안경과 같은 웨어러블 컴퓨팅 장치를 모두 포함한다.The object recognition method according to the embodiments of the present invention described above with reference to Figs. 1 to 10 can be performed by executing a computer program embodied in computer readable code on a computer-readable medium have. The computer-readable medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disc, USB storage device, removable hard disk) have. The computer program recorded on the computer-readable recording medium may be transmitted from the first computing device to the second computing device via a network such as the Internet and installed in the second computing device, Lt; / RTI > The first computing device and the second computing device may include a server device, a fixed computing device such as a desktop PC, a mobile computing device such as a notebook, a smart phone, a tablet PC, and a wearable computing device such as a smart watch, do.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims

Detecting an object in the screen area;
Tracking a movement path of the detected object;
Selecting at least one image frame meeting a preset condition among a plurality of image frames representing the detected object moving along the movement path; And
And applying a recognition model to the detected object in the selected at least one image frame.

The method according to claim 1,
Wherein the selecting of the at least one video frame comprises:
And selecting an image frame in which the size of the object is displayed in a size larger than a predetermined size.

3. The method of claim 2,
Wherein the step of selecting an image frame in which the size of the object is greater than or equal to a predetermined size,
And selecting an image frame having a size of a block surrounding the object equal to or larger than a predetermined size.

The method according to claim 1,
Wherein the selecting of the at least one video frame comprises:
And selecting an image frame representing a state in which the front side of the object is rotated within a predetermined range based on a predetermined observation direction within the screen area.

The method according to claim 1,
Wherein the applying the recognition model to the detected object comprises:
Calculating an angle of rotation of the front face of the object based on a first predetermined viewing direction in the screen area; And
And selecting an object recognition model corresponding to the rotation angle of the object.

6. The method of claim 5,
Wherein the detected object is a face region of a person,
Wherein the step of calculating the rotation angle of the object rotated comprises:
Generating a straight line connecting eye regions included in the face region; And
And calculating an angle formed between the generated straight line and a viewing direction of the monitoring apparatus as the rotation angle.

The method according to claim 1,
Wherein the applying the recognition model to the detected object comprises:
And applying an object recognition model different from the object recognition model of another frame to at least one frame of the selected frames.

The method according to claim 1,
Wherein the applying the recognition model to the detected object comprises:
Calculating a result value by applying a plurality of object recognition models to the selected frame; And
And applying different weights to the calculated result values according to the type of objects displayed in the selected frame.

An object detection unit for detecting an object existing in a screen area;
An object tracking unit for tracking a movement path of the detected object;
A frame selector for selecting at least one image frame meeting a preset condition among a plurality of image frames representing the detected object moving along the movement path; And
And an object recognition unit for recognizing the detected object by applying at least one object recognition model to the selected at least one image frame.

A video data receiving unit;
At least one processor;
Network interface;
Memory; And
A storage device in which an executable file of a computer program loaded in the memory and executed by the processor is recorded,
The computer program comprising:
A series of operations for detecting an object in the screen area;
A series of operations for tracking the movement path of the detected object;
A series of operations for selecting at least one image frame meeting a predetermined condition among a plurality of image frames representing the detected object moving along the movement path; And
And a series of operations for recognizing the detected object in the selected at least one image frame.

In combination with the computer device,
Detecting an object in the screen area;
Tracking a movement path of the detected object;
Selecting at least one image frame meeting a preset condition among a plurality of image frames representing the detected object moving along the movement path; And
And recognizing the detected object in the selected at least one image frame.