KR20140118404A - Method and apparatus for detecting movement of object betweeen region - Google Patents
Method and apparatus for detecting movement of object betweeen region Download PDFInfo
- Publication number
- KR20140118404A KR20140118404A KR1020130034239A KR20130034239A KR20140118404A KR 20140118404 A KR20140118404 A KR 20140118404A KR 1020130034239 A KR1020130034239 A KR 1020130034239A KR 20130034239 A KR20130034239 A KR 20130034239A KR 20140118404 A KR20140118404 A KR 20140118404A
- Authority
- KR
- South Korea
- Prior art keywords
- area
- feature
- image
- region
- feature point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상 처리 방법에 관한 것으로서, 보다 상세하게는 영상에서 객체를 탐색하는 방법 및 장치에 관한 것이다.The present invention relates to an image processing method, and more particularly, to a method and apparatus for searching an object in an image.
최근 컴퓨터 및 통신기술이 발달하면서 통신망 상에서 단순히 문자 정보만을 제공했던 것과는 달리 비디오, 오디오와 같은 멀티미디어 정보 제공에 대한 사용자의 욕구가 증가하고 있다. 많은 멀티미디어 데이터가 증가함에 따라 보다 효율적으로 데이터를 관리하는 방법과 사용자가 원하는 데이터를 보다 쉽고 빠르게 사용할 수 있도록 멀티미디어 데이터를 효율적으로 검색하고 추출할 수 있는 방법도 필요하게 되었다.Recently, as computer and communication technologies have developed, user's desire for providing multimedia information such as video and audio is increasing, unlike the case where only text information is provided on a communication network. As the number of multimedia data increases, there is a need for a method of managing data more efficiently and a method of efficiently searching and extracting multimedia data so that the user can use the desired data more easily and quickly.
객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다. 특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.Object recognition and tracking techniques are widely applied in many fields such as image synthesis, motion capture, security surveillance, and Human Computer Interaction (HCI). Especially, as the requirements for security and surveillance in real life have been increasing recently, object recognition and tracking technology in video surveillance system has become increasingly important.
또한 영상에서 객체를 추출하는 기술은 컴퓨터를 이용한 영상 편집 및 합성 기술에서 많이 활용될 수 있다. 영상 편집 및 합성을 수행하기 위해 영상에서 객체(object)를 추출하고 및 합성하고 추출된 객체에 특수 효과를 입히는 등의 분야에 효과적으로 널리 이용되고 있다. 특히 영상 합성을 위해 자동화된 방법으로 빠른 시간 안에 객체를 정확히 추출하는 방법은 중요한 과제이다. Also, the technique of extracting objects from images can be widely used in computer-based image editing and synthesis techniques. It is widely used in fields such as extracting and composing objects from images to perform image editing and compositing, and applying special effects to extracted objects. Especially, it is an important task to extract objects accurately in an automated way for image synthesis.
본 발명의 제1 목적은 영상 처리 방법을 제공하는 것이다. A first object of the present invention is to provide an image processing method.
본 발명의 제2 목적은 영상 처리를 수행하는 장치를 제공하는 것이다.A second object of the present invention is to provide an apparatus for performing image processing.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상에서 객체의 이동을 판단하는 방법은 상기 영상에서 객체를 추출하는 단계, 상기 객체가 제1 영역에 존재하는지 여부를 판단하고 상기 제1 영역에서 상기 객체의 특징을 추출하는 단계, 상기 객체가 제2 영역에 존재하는지 여부를 판단하고 상기 제2 영역에서 상기 객체의 특징을 추출하는 단계와 상기 제1 영역에서 추출된 상기 객체의 특징과 상기 제2 영역에서 추출된 상기 객체의 특징이 동일한지 여부를 판단하는 단계를 포함할 수 있다. 상기 영상의 객체를 추출하는 단계는 템플릿 객체의 특징점과 상기 객체의 특징점을 비교하는 단계, 상기 템플릿 객체의 특징점과 상기 객체의 특징점이 일정한 유사도 이상으로 일치하는 경우, 상기 객체를 추출하는 단계를 포함할 수 있다. 상기 객체가 제1 영역에 존재하는지 여부를 판단하고 상기 제1 영역에서 상기 객체의 특징을 추출하는 단계는 상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하는 단계와 상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제1 영역에서 상기 객체의 경계선 정보를 산출하는 단계를 포함할 수 있다. 상기 객체가 제2 영역에 존재하는지 여부를 판단하고 상기 제2 영역에서 상기 객체의 특징을 추출하는 단계는 상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하는 단계와 상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제2 영역에서 상기 객체의 경계선 정보를 산출하는 단계를 포함할 수 있다. 상기 제1 영역에서 추출된 상기 객체의 특징과 상기 제2 영역에서 추출된 상기 객체의 특징이 동일한지 여부를 판단하는 단계 상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보를 비교하는 단계와 상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보가 일정한 유사도 이상으로 일치할 경우, 상기 제1 영역에서 추출된 상기 객체와 상기 제2 영역에서 추출된 상기 객체를 동일한 객체로 판단하는 단계를 포함할 수 있다. According to an aspect of the present invention, there is provided a method of determining movement of an object in an image, the method comprising: extracting an object from the image; determining whether the object exists in a first area; Extracting a feature of the object in the first region, determining whether the object exists in the second region, extracting a feature of the object in the second region, And determining whether the feature of the object is the same as the feature of the object extracted in the second region. The step of extracting an object of the image may include comparing the feature point of the template object with the feature point of the object and extracting the object when the feature point of the template object and the feature point of the object coincide with each other by more than a certain similarity degree can do. Wherein the step of determining whether the object exists in the first area and extracting the feature of the object in the first area includes determining whether the feature point of the object matches the feature point of the template object set in the first area And calculating boundary line information of the object in the first area when the feature points of the object and the feature points of the template object set in the first area coincide with each other by a certain degree of similarity or more. Wherein the step of determining whether the object exists in the second region and extracting the feature of the object in the second region includes determining whether or not the feature point of the object matches the feature point of the template object set in the second region, And calculating boundary line information of the object in the second region when the feature points of the object and the feature points of the template object set in the second region coincide with each other by a certain degree of similarity or more. Determining whether the feature of the object extracted from the first region is the same as the feature of the object extracted from the second region; determining boundary line information of the object in the first region and boundary line information of the object in the second region; And comparing the boundary line information of the object in the first area and the boundary line information of the object in the second area with each other by a predetermined degree or more, And determining the object extracted from the region as the same object.
또한 영상에서 객체의 이동을 판단하는 방법은 상기 영상의 객체를 추출하는 단계, 상기 객체의 특징점이 미리 지정된 영상의 특정 영역에 존재하는지 여부를 판단하는 단계를 포함할 수 있고 상기 객체는 상기 객체의 특징을 나타내는 복수개의 특징점을 기반으로 모델링되고, 상기 복수개의 특징점은 제1 특징점, 제2 특징점, 제3 특징점을 포함하고, 상기 제1 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 먼저 존재하는 것으로 판단되는 객체의 특징점이고, 상기 제2 특징점은 상기 객체의 무게 중심에 해당하는 특징점이고 상기 제3 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 마지막에 존재하는 것으로 판단되는 상기 객체의 특징점일 수 있다. 상기 객체의 특징점이 미리 지정된 영상의 특정 영역에 존재하는지 여부를 판단하는 단계는 상기 객체의 상기 제1 특징점이 상기 제1 영역에 존재하는지 여부를 판단하는 단계, 상기 객체의 상기 제2 특징점이 상기 제1 영역에 존재하는지 여부를 판단하는 단계와 상기 객체의 상기 제3 특징점이 상기 제1 영역에 존재하는지 여부를 판단하는 단계를 포함할 수 있다. The method of determining the movement of an object in an image may include extracting an object of the image, determining whether a feature point of the object exists in a predetermined region of a predetermined image, Wherein the plurality of feature points include a first feature point, a second feature point, and a third feature point, and the first feature point is a feature region of a specific region of the image in consideration of movement information of the object, Wherein the second feature point is a feature point corresponding to a center of gravity of the object and the third feature point is a feature point corresponding to a center of gravity of the object in consideration of movement information of the object, And may be a minutiae point of the object judged to exist. Wherein the step of determining whether a feature point of the object exists in a predetermined region of a predetermined image includes the steps of determining whether the first feature point of the object is present in the first region, Determining whether the third feature point of the object exists in the first region, and determining whether the third feature point of the object exists in the first region.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 처리 장치는 영상 분석부를 포함하고, 상기 영상 분석부는 상기 영상에서 객체를 추출하고 상기 객체가 제1 영역에 존재하는지 여부를 판단하고 상기 제1 영역에서 상기 객체의 특징을 추출하고, 상기 객체가 제2 영역에 존재하는지 여부를 판단하고 상기 제2 영역에서 상기 객체의 특징을 추출하고, 상기 제1 영역에서 추출된 상기 객체의 특징과 상기 제2 영역에서 추출된 상기 객체의 특징이 동일한지 여부를 판단하도록 구현될 수 있다. 상기 영상 분석부는 템플릿 객체의 특징점과 상기 객체의 특징점을 비교하고 상기 템플릿 객체의 특징점과 상기 객체의 특징점이 일정한 유사도 이상으로 일치하는 경우, 상기 객체를 추출하도록 구현될 수 있다. 상기 영상 분석부는 상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하고 상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제1 영역에서 상기 객체의 경계선 정보를 산출하도록 구현될 수 있다. 상기 영상 분석부는 상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하고 상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제2 영역에서 상기 객체의 경계선 정보를 산출하도록 구현될 수 있다. 상기 영상 분석부는 상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보를 비교하고 상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보가 일정한 유사도 이상으로 일치할 경우, 상기 제1 영역에서 추출된 상기 객체와 상기 제2 영역에서 추출된 상기 객체를 동일한 객체로 판단하도록 구현될 수 있다. According to another aspect of the present invention, there is provided an image processing apparatus including an image analysis unit, wherein the image analysis unit extracts an object from the image and determines whether the object exists in a first area Extracting a feature of the object in the first region, determining whether the object exists in the second region, extracting a feature of the object in the second region, And determine whether the feature of the object and the feature of the object extracted in the second region are the same. The image analyzer compares the minutiae points of the template object with the minutiae points of the object and extracts the minutiae when the minutiae of the template object and the minutiae points of the object coincide with each other by more than a certain degree of similarity. Wherein the image analyzing unit determines whether or not the feature points of the object and the feature points of the template object set in the first region coincide with each other by a certain degree of similarity or more and if the feature points of the object and the feature points of the template object set in the first region overlap And if it matches, calculating the boundary information of the object in the first area. Wherein the image analyzing unit determines whether or not the feature points of the object and the feature points of the template object set in the second region coincide with each other by a certain degree of similarity or more and if the feature points of the object and the feature points of the template object set in the second region overlap with each other, And to calculate boundary line information of the object in the second area if they match. Wherein the image analyzing unit compares boundary line information of the object in the first area and boundary line information of the object in the second area and determines boundary line information of the object in the first area and boundary line information of the object in the second area And if the object matches the predetermined similarity or more, the object extracted from the first region and the object extracted from the second region are determined to be the same object.
또한, 상기 영상 분석부는 상기 영상의 객체를 추출하고 상기 객체의 특징점이 미리 지정된 영상의 특정 영역에 존재하는지 여부를 판단하도록 구현될 수 있고, 상기 객체는 상기 객체의 특징을 나타내는 복수개의 특징점을 기반으로 모델링되고, 상기 복수개의 특징점은 제1 특징점, 제2 특징점, 제3 특징점을 포함하고, 상기 제1 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 먼저 존재하는 것으로 판단되는 객체의 특징점이고, 상기 제2 특징점은 상기 객체의 무게 중심에 해당하는 특징점이고 상기 제3 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 마지막에 존재하는 것으로 판단되는 상기 객체의 특징점일 수 있다. 상기 영상 분석부는 상기 객체의 상기 제1 특징점이 상기 제1 영역에 존재하는지 여부를 판단하고, 상기 객체의 상기 제2 특징점이 상기 제1 영역에 존재하는지 여부를 판단하고 상기 객체의 상기 제3 특징점이 상기 제1 영역에 존재하는지 여부를 판단하도록 구현될 수 있다.The image analyzing unit may be configured to extract an object of the image and to determine whether the feature point of the object exists in a predetermined region of a predetermined image, and the object may include a plurality of feature points indicating the feature of the object, Wherein the plurality of feature points include a first feature point, a second feature point, and a third feature point, and the first feature point is determined to exist first in a specific region of the image in consideration of the movement information of the object Wherein the second feature point is a feature point corresponding to the center of gravity of the object and the third feature point is a feature point of the object determined to be the last in a specific region of the image, It may be a feature point. Wherein the image analyzing unit determines whether the first feature point of the object exists in the first area, determines whether the second feature point of the object exists in the first area, Is present in the first area.
상술한 바와 같이 본 발명의 실시예에 따른 객체의 영역간 이동 감지 방법 및 장치에 따르면, 객체가 영상의 특정한 영역을 지나는지 여부를 센싱하여 센싱된 결과를 기반으로 객체 이동 감시 및 영상 처리를 자동적으로 수행할 수 있다.As described above, according to the method and apparatus for detecting movement between regions of an object according to an embodiment of the present invention, it is possible to detect whether an object passes through a specific region of the image, and automatically perform object movement monitoring and image processing based on the sensed result Can be performed.
도 1은 본 발명의 실시예에 따른 영상 내 객체의 이동을 감지하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 객체를 추출하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 ‘A’의 실루엣을 산출하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 또 다른 객체 탐지 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시에에 따른 객체 탐지 방법을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 개념도이다.FIG. 1 is a conceptual diagram illustrating a method for detecting movement of an object in an image according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a method of extracting an object according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a method of calculating a silhouette of 'A' according to an embodiment of the present invention.
4 is a conceptual diagram illustrating another object detection method according to an embodiment of the present invention.
5 is a flowchart illustrating an object detection method according to an embodiment of the present invention.
6 is a conceptual diagram illustrating an image processing apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals will be used for the same constituent elements in the drawings, and redundant explanations for the same constituent elements will be omitted.
도 1은 본 발명의 실시예에 따른 영상 내 객체의 이동을 감지하는 방법을 나타낸 개념도이다.FIG. 1 is a conceptual diagram illustrating a method for detecting movement of an object in an image according to an embodiment of the present invention.
도 1에서는 영상에서 특정한 객체가 미리 설정된 제1 지역(100)에서 제2 지역(110)으로 이동하는 경우, 객체(130)의 이동을 감지하는 방법에 대해 개시한다. FIG. 1 illustrates a method of detecting movement of an
도 1의 (A)를 참조하면, CCTV(closed circuit television)와 같이 특정한 객체(130)를 감지하는 영상 촬영 장치(120)에서는 영상에서 추출된 객체(130)의 이동 여부에 대해 판단을 수행할 수 있다. 또한 영상 판독을 수행하는 장치에서도 영상에서 추출된 특정한 객체(130)에 대한 이동 여부를 대해 판단할 수 있다. 객체(130)는 영상 촬영 장치(120)의 촬영 대상을 지시한다. 1 (A), the
예를 들어, 영상 촬영 장치(120)가 특정한 위치를 촬영하고 촬영되는 특정한 위치 내에서 객체(130)가 이동하는 경우 객체(130)를 추출할 수 있다. 추출된 객체(130)의 이동을 판단하기 위해 영상에서는 미리 객체(130)의 이동을 판단하기 위한 제1 영역(100)과 제2 영역(110)을 미리 결정할 수 있다. 영상 촬영 장치(120)는 제1 영역(100)에서 제2 영역(110)으로 객체(130)가 이동하는 경우 객체(130)가 이동하였음을 판단하여 센싱한 결과를 서버로 전송할 수 있다. 객체(130)의 이동을 판단하기 위한 제1 지역(100) 및 제2 지역(110)은 미리 설정된 지역일 수 있다. For example, the
도 1의 (A)를 참조하면, 제1 영역(100)과 제2 영역(110)은 영상 촬영 장치(120)의 촬상부가 움직이지 않고 고정적으로 특정한 위치를 촬영하는 경우 하나의 화면 내에서 설정된 지역일 수 있다. 즉, 촬상부가 움직이지 않고 객체의 이동을 판단할 수 있는 영상 영역일 수 있다.1 (A), the
도 1의 (B)를 참조하면, 제1 영역(140)과 제2 영역(160)은 영상 촬영 장치(180)의 촬상부가 움직여서 객체를 추적하여 촬영하는 경우, 제1 영역(140)과 제2 영역(160)은 서로 다른 배경 화면을 가진 지역이 될 수도 있다.Referring to FIG. 1B, the
이하, 영상 촬영 장치에서 모든 객체의 이동을 판단하기 위한 설명의 편의상 모든 동작이 수행된다고 가정하여 설명한다. 영상 촬영 장치에 연결된 프로세서와 같은 추가적인 모듈을 기반으로 객체 추출 및 객체 이동 등이 수행될 수 있으며 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. 영상 촬영 장치는 다른 용어로 영상 처리 장치라고 할 수도 있다.Hereinafter, it will be assumed that all operations are performed for the convenience of explanation for determining movement of all objects in the image photographing apparatus. Object extraction and object movement based on an additional module such as a processor connected to the image capturing apparatus can be performed and these embodiments are also included in the scope of the present invention. The image photographing apparatus may be referred to as an image processing apparatus in another terminology.
영상 촬영 장치에서는 제1 영역을 기반으로 이동을 탐지할 객체를 추출할 수 있다. 영상 감지 시스템에서 객체를 추출하는 방법으로는 다양한 방법이 사용될 수 있다.
The image capturing apparatus can extract an object to detect movement based on the first area. Various methods can be used to extract objects from the image sensing system.
도 2는 본 발명의 실시예에 따른 객체를 추출하는 방법을 나타낸 개념도이다.2 is a conceptual diagram illustrating a method of extracting an object according to an embodiment of the present invention.
도 2를 참조하면, 미리 설정된 객체 모양의 템플릿을 이용하여 해당 객체의 템플릿의 특징점을 산출하여 특징점이 유사한 객체가 영상에서 존재하는지 여부를 판단하여 영상에서 객체를 산출할 수도 있다. 템플릿은 영상 처리 장치에서 어떠한 객체를 추출하는지 여부에 따라서 다양하게 선택될 수 있다. 예를 들어, 사람의 이동을 영상 내에서 추출하는 경우 사람 모양의 3D-템플릿을 설정하여 설정한 사람의 3D 템플릿의 특징점과 추출된 영상의 특징점이 일정 부분에서 매칭되는 부분이 존재하는 경우 사람이 영상 내에 존재함을 판단하여 객체를 추출할 수 있다. 영상 촬영 장치에서는 추출하려는 객체에 따라 3D 템플릿을 서로 다르게 선택할 수 있다. 3D 템플릿에서 객체와 유사도를 판단하기 위해 사용하는 특징점은 사용자가 미리 설정한 점이거나 자동적으로 특징적인 부분을 3D 템플릿에서 설정한 점이 될 수 있다. 객체를 추출하는 방법으로는 이뿐만 아니라 다양한 다른 방법들이 사용될 수 있다.Referring to FIG. 2, feature points of a template of a corresponding object may be calculated using a preset object-shaped template, and it may be determined whether an object having similar feature points exists in the image to calculate an object in the image. The template can be variously selected depending on whether an object is extracted from the image processing apparatus. For example, when a person's movement is extracted in an image, if there is a portion where the minutiae of the 3D template of the person who sets and sets the 3D-template of the person and the minutiae of the extracted image match in a certain portion, It is possible to extract the object by judging that it exists in the image. In the image capturing apparatus, 3D templates can be selected differently according to objects to be extracted. The feature points used to determine the degree of similarity with the object in the 3D template may be a point preset by the user or automatically set a characteristic part in the 3D template. Various other methods can be used to extract objects as well.
추출한 객체(220)를 기반으로 객체(220)가 제1 영역(200)에 존재하는지 여부를 판단할 수 있다. 본 발명의 실시예에 따르면 영상 촬영 장치에서 추출된 객체(220)가 영상의 제1 영역(200)에서 제2 영역(250)으로 이동하는지 여부를 산출할 수 있다. 객체(220)가 제1 영역(200)에서 제2 영역(250)으로 이동하는지 여부를 판단하기 위해 우선적으로 촬영된 영상에서 객체(220)가 제1 영역(200)에 존재하는지 여부를 판단할 수 있다. It is possible to determine whether the
제1 영역(200)은 임의로 설정된 영상 영역으로 객체(220)의 모양에 따라 다양하게 선택될 수 있다. 본 발명의 실시예에서는 객체(220)를 포함하는 영상의 영역을 제1 영역(200)으로 사용하여 객체(220)가 제1 영역(200)에 존재하는지 여부에 대해 판단하나, 제1 영역(200)이 아닌 특정한 위치에 존재하는 적어도 하나의 점을 기반으로 객체(220)가 특정한 위치에 있는지 여부를 판단할 수 있다. 예를 들어, 영상에서 제1 영역(200)의 중심에 하나의 점을 설정하고 하나의 점을 기준으로 해당 점과 객체(220)가 중복되는 경우 객체(220)가 제1 영역(200)에 존재하는 것으로 판단할 수 있다.The
객체(220)가 제1 영역(200)에 존재하는지 여부는 다양한 방법을 기반으로 판단될 수 있다. 예를 들어, 객체(220)가 없을 경우의 제1 영역(200)의 영상과 객체(220)가 존재할 경우 제1 영역(200)의 영상을 기반으로 산출할 수 있다. 객체(220)가 제1 영역(200)에 존재하지 않을 경우는 제1 영역(200)에서 촬영된 영상은 배경이 될 수 있고 객체(220)가 존재하는 경우 제1 영역(200)에서 촬영된 영상은 배경을 가리는 객체의 영상이 되므로 영상의 휘도, 픽셀, 깊이 정보 등과 같은 다양한 정보가 달라지게 된다. 이러한 영상 간의 차이를 휘도, 색차와 같은 픽셀 정보를 기반으로 차이 값을 센싱하거나 영상을 코딩한 계수 값을 기반으로 영상의 차이를 산출하여 산출된 영상 간의 차이 값이 임계치 이상인 경우 객체(220)가 이동하고 있음을 판단할 수 있다. Whether the
또 다른 방법으로 템플릿을 이용하여 영상에 객체(220)가 존재하는지 여부를 판단할 수 있다. 객체를 추출하는 방법에서 마찬가지로 객체의 3D 또는 2D 템플릿을 기반으로 템플릿의 특징점과 영역을 이동하는 객체 사이의 매칭 정도를 판단하여 일정한 유사도 이상(예를 들어, 일치되는 특징점이 80%이상인 경우), 제1 영역(200)에 현재 객체(220)가 존재함을 판단할 수 있다.Alternatively, it is possible to determine whether the
제1 영역(200)에서 촬영된 객체(220)에 대해서는 객체의(220) 특징을 추출할 수 있다. 예를 들어, ‘A’라는 사람의 제1 영역(200)에서 제2 영역(250)으로의 움직임을 판단하는 경우, 객체(220)의 움직임 벡터를 연속적으로 검출하여 ‘A’의 제1 영역(200)에서 제2 영역(250)으로의 이동을 판단할 수도 있지만, ‘A’의 특징을 산출하여 제1 영역(200)과 제2 영역(250)에서 일정 시간 내에 산출된 객체가 동일한 ‘A’인지에 대해 판단할 수도 있다. 예를 들어, 촬영된 ‘A’의 실루엣을 기반으로 제1 영역(200)에서 탐지된 ‘A’와 제2 영역(250)에서 탐지된 ‘A’가 동일한지 여부에 대해 판단하는 외관 매칭(appearance matching)을 수행할 수 있다.
(220) feature of the object can be extracted for the
도 3은 본 발명의 실시예에 따른 ‘A’의 실루엣을 산출하는 방법을 나타낸 개념도이다.3 is a conceptual diagram illustrating a method of calculating a silhouette of 'A' according to an embodiment of the present invention.
도 3을 참조하면, A(320)의 실루엣을 산출하기 위해 A(320)의 외곽선(320-1)을 추출할 수 있다. A(320)라는 객체가 제1 영역(300)에서 촬영된 경우, 촬영된 A(320)의 외곽선(320-1)을 추출할 수 있다. Referring to FIG. 3, an outline 320-1 of A 320 may be extracted to calculate the silhouette of
추출된 A(320)의 외곽선은 제2 영역(350)에서도 추출될 수 있다. 즉, 제1 영역(300)과 제2 영역(350)의 객체(320, 370)의 추출된 외곽선(320-1, 370-1)이 동일한 경우 영상 촬영 장치는 제1 영역(300)에서 촬영된 A(320)와 제2 영역(350)에서 촬영된 A(370)가 동일한 객체라고 판단하여 제1 영역(300)에서 제2 영역(350)으로의 객체의 이동을 판단할 수 있다.The outline of the extracted A 320 can also be extracted in the
실루엣이 동일한 객체가 복수 개 존재하는 경우, 제1 영상(300)에서 촬영된 객체(320)와 제2 영상(350)에서 촬영된 객체(370)의 움직임 벡터(380)를 기반으로 제1 영역(300)에서 제2 영역(350)으로 이동하는 객체가 동일한지 여부를 추가적으로 판단할 수도 있다. 차량과 같이 객체의 실루엣이 동일한 객체가 복수개인 경우, 영상 내의 차량의 움직임 벡터(위치 및 속도)를 기반으로 차량의 움직임을 예측하여 제2 영상(350)에서 예측된 위치 내에 존재하는 차량을 제1 영상(300)에서 촬영된 차량과 동일한 차량으로 판단할 수 있다. 예를 들어, 제1 영역(300)에서 촬영된 차량의 속도와 움직임 방향을 기반으로 제2 영역(350)에서의 위치를 일정한 범위 내에서 예측할 수 있다. 제2 영역(350)에서 예측된 범위 및 제2 영역(350)에서의 객체의 실루엣을 기반을 제1 영역(300)의 차량과 제2 영역(350)의 차량의 동일성을 판단할 수 있다.When a plurality of objects having the same silhouette are present, the
위와 같은 동일성 판단 방법을 기반으로 영상 촬영 장치는 제1 영역(300)에서 객체가 검출된 후 제2 영역(350)에서 동일한 객체가 존재하는지 여부에 대해 판단할 수 있다. 본 발명에서는 영상에서 촬영되는 객체가 제1 영역(300)에서 제2 영역(350)으로 이동하는지 여부에 대해 판단하기 위해 제1 영역(300)에서 탐지된 객체가 일정한 시간 내에 제2 영역(350)에 존재하는지 여부를 판단할 수 있다.Based on the above-described method of determining the identity, the image photographing apparatus can determine whether or not the same object exists in the
구현에 따라, 제1 영역(300)에서 제2 영역(350)으로 이동하는 시간이 일정한 시간 이상일 경우 제1 영역(300)과 제2 영역(350)에서 객체를 센싱한 결과는 무시할 수 있다. 예를 들어, ‘A’라는 객체가 제1 영역(300)에서 오전 9시에 한번 센싱되고 제2 영역(350)에서 오후 6시에 센싱된 경우, A라는 객체가 제1 영역(300)에서 제2 영역(350)으로 이동하는 것은 아니라고 판단하여 객체를 센싱한 결과에 대해 객체의 이동으로 판단하지 않을 수 있다.According to the implementation, when the time from the
이러한 방법으로 사용함으로써 제1 영역(300)에서 객체가 추출된 후에 유의미한 센싱을 수행할 수 있는 시간이 지난 후 객체가 다시 제2 영역(350)에서 추출되어 센싱되는 결과를 방지할 수 있다. 제1 영역(300)에서 제2 영역(350)으로 객체가 미리 정한 임계 시간 안에 이동하는 경우에만 유의미한 센싱 결과로 판단하여 이를 기반으로 객체의 이동이 일어 났음을 판단할 수 있다.By using this method, it is possible to prevent a result that the object is extracted and sensed again in the
제2 영역(350)에 객체(370)가 존재하는지 여부도 제1 영역(300)에 객체가 존재하는지 여부를 판단하는 방법과 동일한 방법으로 수행될 수 있다. 즉, 템플릿의 특징점을 이용하는 등의 다양한 객체 추출 방법을 기반으로 제2 영역(350)에서 객체(370)가 존재하는지 여부를 판단할 수 있다. 또한 제2 영역(350)에서도 제1 영역(300)에서와 마찬가지로 객체(370)의 특징을 산출하기 위해 객체의 경계선(370-1)을 추출할 수 있다. 제1 영역(300)에서 추출된 객체(320)의 특징(320-1)과 제2 영역(350)에서 추출된 객체(370)의 특징(370-1)이 동일한 경우 제1 영역(300)에서 촬영된 객체(320)와 제2 영역(350)에서 촬영된 객체(370)가 동일한 객체라고 판단할 수 있다. 즉, 제1 영역(300)의 객체(320)와 제2 영역(350)의 객체(370)의 동일성을 판단하여 제2 영역(350)에서 촬영된 객체(370)가 제1 영역(300)으로부터 이동한 객체인지 여부에 대해 판단할 수 있다.Whether or not the
본 발명의 또 다른 실시예에 따르면, 제1 영역(300)과 제2 영역(350)이 하나의 영상에 존재하는 서로 동일한 배경을 가진 영역이 아니라 서로 다른 배경을 가지고 영상 촬영 장치가 이동하면서 촬영하는 서로 다른 영역일 수 있다. 이러한 경우, 제1 영역(300)에서 제2 영역(350)으로 이동 시 움직임 벡터를 계산하여 객체가 제2 영역(350)에 위치하는 시간을 예측하여 영상 촬영 장치의 촬상부의 이동을 수행할 수 있다.According to another embodiment of the present invention, the
예를 들어, 객체가 제1 영역(300)에서 제2 영역(350)으로 일정한 경향성을 가지고 이동을 수행 시 객체가 언제쯤 제2 영역(350)에 도달할지 여부를 판단하여 영상 촬영 장치는 촬상부의 영상 촬영 방향을 변화시켜 객체를 추적하여 촬영을 수행할 수 있다. 즉, 영상 내의 객체의 이동 속도를 산출하여 영상 촬영 장치의 영상 촬영부를 객체를 중심으로 이동시킬 수 있다. For example, when the object moves from the
영상 촬영 장치는 제1 영역(300)과 제2 영역(350)에서 동일한 객체의 이동이 판단되는 경우, 객체의 이동이 되었음을 특정한 신호를 발생시켜 외부의 시스템으로 전송할 수 있다. 예를 들어, 영상 감시 시스템이 따로 외부의 서버에 구비되어 있는 경우 센싱된 결과를 영상 감시 시스템으로 전송할 수 있다.
If it is determined that the same object is moved in the
도 4는 본 발명의 실시예에 따른 또 다른 객체 탐지 방법을 나타낸 개념도이다. 4 is a conceptual diagram illustrating another object detection method according to an embodiment of the present invention.
도 4에서는 객체가 특정한 영역을 지나가는지 여부를 판단하는 방법에 대해 개시한다.FIG. 4 illustrates a method for determining whether an object passes through a specific area.
도 4를 참조하면, 영상 촬영 장치에서는 임의의 제1 영역(400)을 생성하고 특정한 객체(450)가 제1 영역(400)을 통과하는지 여부에 대해 탐지할 수 있다. 특정한 객체(450)가 제1 영역(400)을 통과하는지 여부를 판단하기 위해서는 제1 영역(400)이 객체(450)보다 크다고 가정한다면 객체(450)의 일부, 객체(450)의 전부, 다시 객체(450)의 일부가 제1 영역(400)을 지나갈 수 있다.Referring to FIG. 4, the imaging device may generate an arbitrary
객체(450)가 제1 영역(400)을 통과하는지 여부를 판단하기 위해 제1 영역(400)을 지나는 객체(450)와 미리 정한 객체(450)의 특징점을 기반으로 객체(450)의 특징점과 제1 영역(400)을 지나는 객체(450)가 매칭되는 경우 해당 객체(450)가 현재 제1 영역(400)에 존재함을 판단할 수 있다. 객체(450)가 제1 영역(400)을 이동하는 경우 객체(450)가 제1 영역(400)에서 감지되는 순서가 일정한 순서를 가질 수 있다.In order to determine whether the
예를 들어, 육상이나 수영과 같은 경기를 수행하고 제1 영역(400)을 설정하여 객체(450)의 제1 영역(400) 이동 여부를 판단하는 경우, 객체(450)의 손, 몸통, 다리의 순서로 제1 영역(400)을 통과하게 된다. 이러한 경우, 제1 영역(400)에서 손에 해당하는 특징점이 감지된 경우 물체가 제1 영역(400)으로 들어왔음을 판단할 수 있고, 몸에 해당하는 특징점이 감지된 경우 객체(450)가 제1 영역(400)의 중간에 위치함을 판단할 수 있다. 마지막으로 다리 또는 발의 특징점 만이 감지되는 경우 객체(450)가 제1 영역(400)을 거의 통과하였음을 감지할 수 있다. 즉, 객체(450)의 탬플릿을 기반으로 객체(450)가 이동 시 제1 영역(400)을 통과하는 순서를 고려하여 객체(450)의 제1 영역(400) 내의 이동을 판단할 수 있다. For example, when a game such as a field or swimming is performed and the
즉, 객체(450)의 특징점이 제1 영역(400)에 존재하는지 여부를 판단하기 위해 객체(450)를 객체(450)의 특징을 나타내는 복수개의 특징점을 기반으로 모델링할 수 있다. 모델링을 한 특징점 중 일부의 트징점을 기반으로 객체(450)의 제1 영역(400) 통과 여부를 판단할 수 있다. 예를 들어, 객체(450)의 특징점 중 제1 특징점, 제2 특징점, 제3 특징점을 기반으로 객체의 제1 영역(400) 통과 여부를 판단할 수 있다. 제1 특징점은 객체(450)의 이동 정보를 고려하여 제1 영역(400)에서 가장 먼저 존재하는 것으로 판단되는 객체(450)의 특징점이고, 제2 특징점은 객체(450)의 무게 중심 또는 객체(450)의 중심으로 판단되는 특징점이고 제3 특징점은 객체(450)의 이동 정보를 고려하여 제1 영역(400)에서 가장 먼저 마지막에 존재하는 것으로 판단되는 객체(450)의 특징점일 수 있다. 수영을 하는 영상을 촬영하고 수영하는 사람이 영상에서 특정한 영역을 통과하는지 여부에 대해 판단하는 경우 제1 특징점은 사람의 손 또는 팔, 제2 특징점은 사람의 몸통, 제3 특징점은 사람의 다리 또는 발이 될 수 있다. 영상 촬영 장치에서는 객체(450)의 제1 특징점, 제2 특징점, 제3 특징점이 제1 영역(400)에 존재하는지 여부를 순차적으로 판단하여 제1 영역(400)에서 객체(450)가 지나감을 판단할 수 있다.That is, the
좀 더 세부적으로 객체의 일부가 움직이는 방향에 대해 판단할 수도 있다. You can also determine in more detail the direction in which a part of the object moves.
객체가 사람이라고 가정할 경우, 사람의 관절의 경우 일정한 경향성을 가지고 움직이게 된다. 예를 들어 사람이 목을 돌릴 경우 움직일 수 있는 각도, 팔을 움직일 경우 움직일 수 있는 범위는 관절의 이동 가능한 범위 의해 한정된 범위일 수 있다. 사람의 전체 신체를, 예를 들면, 일정한 개수의 관절을 기준으로 관절이 회전하는 축, 관절과 관절 사이의 상호 연관된 움직임 등으로 움직임을 샘플링할 수 있고 움직임에 따라 영상을 감지하여 특정한 움직임을 영상에서 감지할 수도 있다.If an object is assumed to be a person, the joints of a person will move with a certain tendency. For example, the angle at which a person can turn when his neck is turned, and the range at which the arm can move can be limited by the movable range of the joint. The entire body of a human being can be sampled, for example, the axis of rotation of a joint on the basis of a certain number of joints, the mutual movement between joints and joints, etc., Lt; / RTI >
예를 들어, 게이머의 동작을 판단하여 게임을 수행하는 프로그램의 구동 시 촬영된 영상에서의 게이머의 움직임과 3D 템플릿 상에서의 사람의 움직임을 비교하여 게이머의 동작을 추정할 수 있다. 촬영된 동작이 팔을 올리는 동작인 경우, 사람에 따라 서로 다른 동작 범위를 가질 수는 있으나 그 동작의 범위가 일정한 한계 범위 내일 수 있다. 따라서 이 한계 범위 내에서 촬영된 영상에서 객체인 팔의 움직임을 판단하여 팔이 올라갔는지 여부에 대해 판단할 수 있다. 또 다른 실시예로 촬영된 영상을 기반으로 운전자의 졸음 운전 여부를 판단할 수도 있다. 사람이 졸게 되면 숙여지는 머리의 이동을 촬영된 영상을 기반으로 졸음 운전 여부를 감지할 수 있다. 특정 범위의 영상 영역 내에서 머리의 이동이 발생한 경우 졸음 운전으로 판단하여 운전자에게 경고를 수행할 수 있다.
For example, it is possible to estimate the motion of the gamer by comparing the motion of the gamer on the photographed image with the motion of the person on the 3D template when the program for performing the game is judged by judging the motion of the gamer. When the photographed motion is an operation for raising the arm, it is possible to have different motion ranges depending on the person, but the motion range thereof may be within a certain limit range. Therefore, it is possible to judge whether the arm is raised by judging the movement of the arm, which is the object, in the image captured within the limit range. According to another embodiment, it is possible to determine whether or not the driver is driving the drowsy on the basis of the photographed image. When a person is sleeping, the movement of the head being moved can be detected based on the captured image. When head movement occurs within a specific range of the image area, it is determined that the driver is in the drowsy driving mode and the driver can be warned.
도 5는 본 발명의 실시에에 따른 객체 탐지 방법을 나타낸 순서도이다. 5 is a flowchart illustrating an object detection method according to an embodiment of the present invention.
도 5를 참조하면, 객체 탐지를 수행하기 위해서는 우선 영상에서 객체를 추출할 수 있다(단계 S500).Referring to FIG. 5, in order to perform object detection, an object may be extracted from an image (step S500).
전술한 바와 같이 영상에서 객체를 추출하는 방법은 다양한 방법을 사용할 수 있다. 전술한 바와 같이 영상의 3D 템플릿을 기반으로 객체를 추출할 수 있다. 3D 템플릿은 추출하려는 객체에 따라 다양하게 선택하여 사용할 수 있다.As described above, various methods can be used for extracting an object from an image. The object can be extracted based on the 3D template of the image as described above. 3D templates can be selected and used according to the object to be extracted.
객체가 제1 영역에 존재하는지 여부를 판단하고 제1 영역에서 상기 객체의 특징을 추출할 수 있다(단계 S510).It is possible to determine whether the object exists in the first area and to extract the feature of the object in the first area (step S510).
객체가 제1 영역에 존재하는지 여부를 판단히기 위해 다양한 방법이 사용될 수있다. 예를 들어, 객체가 제1 영역에 존재하는지 여부를 판단하기 위해 객체의 특징점과 제1 영역에 설정된 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단할 수 있다. 객체의 특징점과 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 제1 영역에서 객체의 경계선 정보를 산출하여 객체만의 특징을 산출할 수 있다. Various methods can be used to determine whether an object is present in the first area. For example, to determine whether the object exists in the first area, it may be determined whether the feature point of the object matches the feature point of the template object set in the first area by a certain degree of similarity or more. If the feature points of the object and the minutiae points of the template object set in the first region coincide with each other by a certain degree of similarity or more, the feature of only the object can be calculated by calculating the boundary information of the object in the first region.
추출된 객체의 특징은 추후 제2 영역에서 추출한 객체가 동일한 객체인지 여부에 대해 판단하기 위해 사용할 수 있다. 객체의 특징을 추출하는 방법으로 객체의 외곽선을 배경과 분리하여 추출하고 추출한 외곽선을 기반으로 제1 영역에서 추출한 객체와 제2 영역에서 추출한 객체가 동일한 객체인지 여부에 대해 판단할 수 있다. 객체의 특징을 추출하는 방법으로 다른 방법을 사용할 수도 있다. The feature of the extracted object can be used to determine whether or not the object extracted in the second area is the same object in the future. It is possible to determine whether or not the object extracted from the first region and the object extracted from the second region are the same object based on the extracted outline and extracting the outline of the object from the background. You can use other methods to extract the characteristics of an object.
상기 객체가 제2 영역에 존재하는지 여부를 판단하고 상기 제2 영역에서 상기 객체의 특징을 추출할 수 있다(단계 S520).It is possible to determine whether the object exists in the second area and to extract the characteristic of the object in the second area (step S520).
단계 S520을 기반으로 제1 영역에서 존재하는 것으로 판단된 객체가 제2 영역으로 이동하였는지 여부에 대해 판단할 수 있다. 제2 영역에서 탐색된 객체가 제1 영역에서 탐색된 객체와 동일한지 여부를 판단하여 제1 영역에서 제2 영역으로 이동을 수행한 객체인지 여부에 대해 판단할 수 있다. 전술한 바와 같이 객체가 제1 영역에서 제2 영역으로 이동한 시간이 일정한 범위 내에 있을 경우에만 의미가 있는 센싱 결과로 받아들일 수 있다. 센싱된 결과는 영상 감지 시스템과 같은 감시를 수행하는 시스템으로 전송될 수 있다.
It is possible to determine whether the object determined to exist in the first area has moved to the second area based on step S520. It can be determined whether the object searched in the second area is the same as the object searched in the first area and whether or not the object has moved from the first area to the second area. As described above, only when the time of moving the object from the first area to the second area is within a predetermined range, it can be accepted as a meaningful sensing result. The sensed results can be transmitted to a system that performs monitoring, such as an image sensing system.
도 6은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 개념도이다.6 is a conceptual diagram illustrating an image processing apparatus according to an embodiment of the present invention.
도 6을 참조하면, 영상 처리 장치는 영상 촬영부(600), 영상 분석부(620), 통신부(640)를 포함할 수 있다. 영상 처리 장치는 전술한 도 1 내지 도 5에 따른 발명의 실시예들을 구현할 수 있다.Referring to FIG. 6, the image processing apparatus may include an
위와 같은 구성은 설명의 편의상 기능상 각 구성부를 분리하여 표현한 것으로 하나의 구성부로 표현된 경우도 복수의 구성부로 나뉠 수 있고 복수의 구성부도 하나의 구성부로 합쳐질 수 있다.For the sake of convenience of description, the above-described structure is expressed by separating each constituent part from the functional point. Even when expressed by one constituent part, the constituent parts can be divided into a plurality of constituent parts, and a plurality of constituent parts can also be combined into one constituent part.
영상 촬영부(600)는 영상을 촬영하여 객체의 이동을 판단할 수 있다. 통신부(640)에서 전송된 제1 영역에 대한 정보 또는 제1 영역 및 제2 영역에 대한 정보를 기반으로 영상에서 포커싱을 맞추어 특정한 영역을 촬영할 수 있다. 제1 영역 및 제2 영역을 영상 촬영부(600)를 고정하여 촬영할 수 없는 경우, 영상 촬영부(600)는 객체가 제1 영역에서 제2 영역으로 이동 시 영상 촬영부(600)도 동시에 움직여서 촬영을 수행할 수 있다.The
영상 분석부(620)는 영상 촬영부(600)에서 촬영된 영상을 기반으로 객체의 제1 영역에서 제2 영역으로의 이동을 판단하거나 객체의 제1 영역 통과 여부를 판단할 수 있다. 영상 분석부(620)에서는 전술한 바와 같은 객체의 추출, 객체가 제1 영역에서 존재하는지 여부, 객체가 제2 영역에서 존재하는지 여부 등 다양한 방법을 기반으로 객체의 이동 및 객체의 변화 등을 판단할 수 있다. 또한 영상 분석부(620)에서는 제1 영역에서 촬영된 객체와 제2 영역에서 촬영된 객체가 동일한지 여부에 대해서도 판단할 수 있다.The
또한 영상 분석부(620)가 객체가 하나의 영역을 통과하는지 여부에 대해 판단하는 경우 전술한 바와 같이 영상의 특징점 중 일부의 특징점이 미리 설정된 제1 영역을 순차적으로 통과하는지 여부에 대해 판단을 수행할 수도 있다.In addition, when the
영상 분석부(620)는 영상 촬영부(600)와 유무선 통신을 통해 네트워킹을 수행하는 영상 감지 시스템에 구현되어 있을 수도 있다.The
통신부(640)는 산출된 영상 데이터, 판단된 객체의 이동 여부에 대한 데이터 등을 감지 시스템으로 유선 또는 무선으로 전송할 수 있다. 또한 외부의 영상 감지 시스템으로부터 제1 영역 및/또는 제2 영역의 설정 정보, 판단 대상 객체 정보 등을 수신하여 수신된 데이터에 기반하여 객체의 제1 영역에서 제2 영역으로의 이동을 판단할 수 있다.
The
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
Claims (14)
상기 영상에서 객체를 추출하는 단계;
상기 객체가 제1 영역에 존재하는지 여부를 판단하고 상기 제1 영역에서 상기 객체의 특징을 추출하는 단계;
상기 객체가 제2 영역에 존재하는지 여부를 판단하고 상기 제2 영역에서 상기 객체의 특징을 추출하는 단계; 및
상기 제1 영역에서 추출된 상기 객체의 특징과 상기 제2 영역에서 추출된 상기 객체의 특징이 동일한지 여부를 판단하는 단계를 포함하는 객체 이동을 판단하는 방법.A method for determining movement of an object in an image,
Extracting an object from the image;
Determining whether the object exists in the first area and extracting the characteristic of the object in the first area;
Determining whether the object exists in the second area and extracting the characteristic of the object in the second area; And
Determining whether the feature of the object extracted from the first region is the same as the feature of the object extracted from the second region.
템플릿 객체의 특징점과 상기 객체의 특징점을 비교하는 단계;
상기 템플릿 객체의 특징점과 상기 객체의 특징점이 일정한 유사도 이상으로 일치하는 경우, 상기 객체를 추출하는 단계를 포함하는 객체 이동을 판단하는 방법.The method of claim 1, wherein the extracting of the image object comprises:
Comparing the feature points of the template object and the feature points of the object;
And extracting the object if the feature points of the template object and the feature points of the object coincide with each other by more than a certain degree of similarity.
상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하는 단계; 및
상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제1 영역에서 상기 객체의 경계선 정보를 산출하는 단계를 포함하는 객체 이동을 판단하는 방법.3. The method of claim 2, wherein the step of determining whether the object exists in the first area and extracting the feature of the object in the first area comprises:
Determining whether a minutiae point of the object and a minutiae point of the template object set in the first area are equal to or more than a certain degree of similarity; And
And calculating boundary line information of the object in the first area when the feature points of the object and the feature points of the template object set in the first area coincide with each other by a certain degree of similarity or more.
상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하는 단계; 및
상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제2 영역에서 상기 객체의 경계선 정보를 산출하는 단계를 포함하는 객체 이동을 판단하는 방법.The method of claim 3, wherein the step of determining whether the object exists in the second region and extracting the feature of the object in the second region includes:
Determining whether a minutiae point of the object and a minutiae point of the template object set in the second area match at least a certain degree of similarity; And
And calculating boundary line information of the object in the second region when the feature points of the object and the feature points of the template object set in the second region coincide with each other by a certain degree of similarity or more.
상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보를 비교하는 단계; 및
상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보가 일정한 유사도 이상으로 일치할 경우, 상기 제1 영역에서 추출된 상기 객체와 상기 제2 영역에서 추출된 상기 객체를 동일한 객체로 판단하는 단계를 포함하는 객체 이동을 판단하는 방법.The method of claim 4, wherein the determining whether the feature of the object extracted from the first region and the feature of the object extracted from the second region are identical,
Comparing boundary line information of the object in the first area and boundary line information of the object in the second area; And
When the boundary line information of the object in the first area and the boundary line information of the object in the second area coincide with each other by more than a certain degree of similarity, the object extracted from the first area and the object extracted from the second area And determining that the object is the same object.
상기 영상의 객체를 추출하는 단계; 및
상기 객체의 특징점이 미리 지정된 영상의 특정 영역에 존재하는지 여부를 판단하는 단계를 포함하고,
상기 객체는 상기 객체의 특징을 나타내는 복수개의 특징점을 기반으로 모델링되고,
상기 복수개의 특징점은 제1 특징점, 제2 특징점, 제3 특징점을 포함하고,
상기 제1 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 먼저 존재하는 것으로 판단되는 객체의 특징점이고,
상기 제2 특징점은 상기 객체의 무게 중심에 해당하는 특징점이고
상기 제3 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 마지막에 존재하는 것으로 판단되는 상기 객체의 특징점인 객체 이동을 판단하는 방법.A method for determining movement of an object in an image,
Extracting an object of the image; And
Determining whether a feature point of the object exists in a predetermined area of a predetermined image,
Wherein the object is modeled based on a plurality of feature points representing a feature of the object,
Wherein the plurality of feature points include a first feature point, a second feature point, and a third feature point,
Wherein the first feature point is a feature point of an object determined to exist first in a specific region of the image in consideration of movement information of the object,
The second feature point is a feature point corresponding to the center of gravity of the object
Wherein the third feature point is a feature point of the object that is determined to be the last in a specific region of the image in consideration of the movement information of the object.
상기 객체의 상기 제1 특징점이 상기 제1 영역에 존재하는지 여부를 판단하는 단계;
상기 객체의 상기 제2 특징점이 상기 제1 영역에 존재하는지 여부를 판단하는 단계; 및
상기 객체의 상기 제3 특징점이 상기 제1 영역에 존재하는지 여부를 판단하는 단계를 포함하는 객체 이동을 판단하는 방법.7. The method of claim 6, wherein the step of determining whether a feature point of the object exists in a predetermined region of a predetermined image includes:
Determining whether the first feature point of the object exists in the first area;
Determining whether the second feature point of the object exists in the first area; And
Determining whether the third feature point of the object is present in the first region.
상기 영상 분석부는 상기 영상에서 객체를 추출하고 상기 객체가 제1 영역에 존재하는지 여부를 판단하고 상기 제1 영역에서 상기 객체의 특징을 추출하고, 상기 객체가 제2 영역에 존재하는지 여부를 판단하고 상기 제2 영역에서 상기 객체의 특징을 추출하고, 상기 제1 영역에서 추출된 상기 객체의 특징과 상기 제2 영역에서 추출된 상기 객체의 특징이 동일한지 여부를 판단하도록 구현되는 영상 처리 장치.An image processing apparatus for determining movement of an object in an image, the image processing apparatus including an image analysis unit,
The image analyzing unit extracts an object from the image, determines whether the object exists in the first area, extracts the characteristic of the object in the first area, determines whether the object exists in the second area, Wherein the feature extraction unit extracts the feature of the object in the second area and determines whether the feature of the object extracted in the first area is identical to the feature of the object extracted in the second area.
템플릿 객체의 특징점과 상기 객체의 특징점을 비교하고 상기 템플릿 객체의 특징점과 상기 객체의 특징점이 일정한 유사도 이상으로 일치하는 경우, 상기 객체를 추출하도록 구현되는 영상 처리 장치.9. The image processing apparatus according to claim 8,
Comparing the minutiae points of the template object and the minutiae points of the object, and extracting the minutiae of the template object and the minutiae of the minutiae when the minutiae coincide with each other by more than a certain degree of similarity.
상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하고 상기 객체의 특징점과 상기 제1 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제1 영역에서 상기 객체의 경계선 정보를 산출하도록 구현되는 영상 처리 장치.10. The image processing apparatus according to claim 9,
Determining whether or not the minutiae points of the object and the minutiae points of the template object set in the first area coincide with each other by a certain degree of similarity or more and if the minutiae points of the object and the minutiae points of the template object set in the first area coincide with each other by more than a certain degree of similarity, And calculate boundary line information of the object in the first area.
상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는지 여부를 판단하고 상기 객체의 특징점과 상기 제2 영역에 설정된 상기 템플릿 객체의 특징점이 일정 유사도 이상 일치하는 경우, 상기 제2 영역에서 상기 객체의 경계선 정보를 산출하도록 구현되는 영상 처리 장치.11. The image processing apparatus according to claim 10,
Determining whether or not the minutiae points of the object and the minutiae points of the template object set in the second area coincide with each other by a certain degree of similarity or more and if the minutiae points of the object and the minutiae points of the template object set in the second area coincide with each other by a certain degree of similarity, And the boundary information of the object is calculated in the second area.
상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보를 비교하고 상기 제1 영역에서 상기 객체의 경계선 정보 및 상기 제2 영역에서 상기 객체의 경계선 정보가 일정한 유사도 이상으로 일치할 경우, 상기 제1 영역에서 추출된 상기 객체와 상기 제2 영역에서 추출된 상기 객체를 동일한 객체로 판단하도록 구현되는 영상 처리 장치.12. The image processing apparatus according to claim 11,
Comparing the boundary line information of the object in the first area and the boundary line information of the object in the second area and comparing the boundary line information of the object in the first area and the boundary line information of the object in the second area more than a certain degree of similarity And determines that the object extracted from the first region and the object extracted from the second region are the same object.
상기 영상 분석부는 상기 영상의 객체를 추출하고 상기 객체의 특징점이 미리 지정된 영상의 특정 영역에 존재하는지 여부를 판단하도록 구현되고,
상기 객체는 상기 객체의 특징을 나타내는 복수개의 특징점을 기반으로 모델링되고, 상기 복수개의 특징점은 제1 특징점, 제2 특징점, 제3 특징점을 포함하고, 상기 제1 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 먼저 존재하는 것으로 판단되는 객체의 특징점이고, 상기 제2 특징점은 상기 객체의 무게 중심에 해당하는 특징점이고 상기 제3 특징점은 상기 객체의 이동 정보를 고려하여 상기 영상의 특정 영역에서 가장 마지막에 존재하는 것으로 판단되는 상기 객체의 특징점인 영상 처리 장치.An image processing apparatus for determining movement of an object in an image, the image processing apparatus including an image analysis unit,
Wherein the image analyzing unit is configured to extract an object of the image and to determine whether the feature point of the object exists in a predetermined region of a predetermined image,
Wherein the object is modeled based on a plurality of feature points representing a feature of the object, the plurality of feature points include a first feature point, a second feature point, and a third feature point, and the first feature point considers movement information of the object Wherein the second feature point is a feature point corresponding to a center of gravity of the object and the third feature point is a feature point of an object determined to exist first in a specific region of the image, Wherein the feature point is the feature point of the object that is determined to be the last in the specific region.
상기 객체의 상기 제1 특징점이 상기 제1 영역에 존재하는지 여부를 판단하고, 상기 객체의 상기 제2 특징점이 상기 제1 영역에 존재하는지 여부를 판단하고 상기 객체의 상기 제3 특징점이 상기 제1 영역에 존재하는지 여부를 판단하도록 구현되는 영상 처리 장치.14. The image processing apparatus according to claim 13,
Determining whether the first feature point of the object is present in the first area, determining whether the second feature point of the object is present in the first area, and determining whether the third feature point of the object exists in the first area Area of the image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130034239A KR20140118404A (en) | 2013-03-29 | 2013-03-29 | Method and apparatus for detecting movement of object betweeen region |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130034239A KR20140118404A (en) | 2013-03-29 | 2013-03-29 | Method and apparatus for detecting movement of object betweeen region |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20140118404A true KR20140118404A (en) | 2014-10-08 |
Family
ID=51991264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130034239A KR20140118404A (en) | 2013-03-29 | 2013-03-29 | Method and apparatus for detecting movement of object betweeen region |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20140118404A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230107463A (en) * | 2022-01-07 | 2023-07-17 | 주식회사 릴레이브랜드 | Sensory Information Providing Device |
-
2013
- 2013-03-29 KR KR1020130034239A patent/KR20140118404A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230107463A (en) * | 2022-01-07 | 2023-07-17 | 주식회사 릴레이브랜드 | Sensory Information Providing Device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6406241B2 (en) | Information processing system, information processing method, and program | |
JP7282851B2 (en) | Apparatus, method and program | |
JP5203281B2 (en) | Person detection device, person detection method, and person detection program | |
JP5722381B2 (en) | Video analysis | |
CN107438173A (en) | Video process apparatus, method for processing video frequency and storage medium | |
JP6590609B2 (en) | Image analysis apparatus and image analysis method | |
JP2009510541A (en) | Object tracking method and object tracking apparatus | |
JP2009211311A (en) | Image processing apparatus and method | |
JP5001930B2 (en) | Motion recognition apparatus and method | |
JP6868061B2 (en) | Person tracking methods, devices, equipment and storage media | |
JP2010237872A (en) | Device, method and program for detecting person area | |
WO2016031314A1 (en) | Individual identification device, individual identification method, and individual identification program | |
EP2966591A1 (en) | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information | |
JP2013152669A (en) | Image monitoring device | |
JP2007052609A (en) | Hand area detection device, hand area detection method and program | |
JP4728795B2 (en) | Person object determination apparatus and person object determination program | |
JP2008288684A (en) | Person detection device and program | |
KR100885418B1 (en) | System and method for detecting and tracking people from overhead camera video | |
JP2019040306A (en) | Information processing device, information processing program, and information processing method | |
KR101648786B1 (en) | Method of object recognition | |
JP7263094B2 (en) | Information processing device, information processing method and program | |
CN111626265A (en) | Multi-camera downlink identification method and device and computer readable storage medium | |
KR20140118404A (en) | Method and apparatus for detecting movement of object betweeen region | |
JP7048347B2 (en) | Positional relationship determination device | |
KR101320922B1 (en) | Method for movement tracking and controlling avatar using weighted search windows |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E601 | Decision to refuse application |