KR101917354B1 - System and Method for Multi Object Tracking based on Reliability Assessment of Learning in Mobile Environment - Google Patents
System and Method for Multi Object Tracking based on Reliability Assessment of Learning in Mobile Environment Download PDFInfo
- Publication number
- KR101917354B1 KR101917354B1 KR1020160090757A KR20160090757A KR101917354B1 KR 101917354 B1 KR101917354 B1 KR 101917354B1 KR 1020160090757 A KR1020160090757 A KR 1020160090757A KR 20160090757 A KR20160090757 A KR 20160090757A KR 101917354 B1 KR101917354 B1 KR 101917354B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- tracking
- level
- module
- learning
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 객체의 색상정보를 이용한 추적 기술과 객체의 특징점 정보를 이용한 추적 기술을 융합하여 다양한 환경 변화에도 강건한 객체 추적이 가능하도록 한 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법에 관한 것으로, 모바일 환경에서 학습된 정보를 이용하여 초기 객체를 자동으로 인식하고 인식된 객체의 정보를 업데이트 하는 초기화 모듈;객체의 색상정보를 이용한 추적과 객체의 특징점 정보를 이용한 추적을 융합하여 상기 초기화 모듈에서 인식된 객체를 추적하는 객체 추적 모듈;상기 초기화 모듈에서의 객체 검출, 인식 과정에서 생성된 가장 높은 신뢰도를 갖는 Level 0의 객체 정보를 기준으로 객체 추적에 성공한 객체를 평가하여 신뢰할 수 있는 객체인지 평가하여 학습을 하고, 신뢰도 수준을 결정하는 학습 모듈;상기 학습 모듈에서 학습된 객체의 정보를 이용하여 객체의 위치를 재탐색하고, 재탐색에 성공하였을 때 현재 재탐색된 객체의 정보를 기준으로 학습된 정보를 재정렬하는 객체 재탐색 모듈;을 포함하는 하는 것이다.The present invention relates to a fusion object tracking system and method using mobile environment object reliability evaluation and learning, which enables robust tracking of objects against various environmental changes by combining tracking technology using color information of objects and tracking technology using object feature point information An initialization module for automatically recognizing an initial object using information learned in a mobile environment and updating the information of the recognized object, a method of combining the tracking using the color information of the object and the tracking using the feature point information of the object, The object tracking module tracks an object recognized by the module, and evaluates an object succeeding the object tracking based on the object information of the highest reliability level generated in the object detection and recognition process in the initialization module, To do learning by assessing cognition, and to determine the level of confidence An object re-searching module for re-searching the location of the object using the information of the learned object in the learning module and realigning the learned information based on the information of the currently re-discovered object when the re-searching is successful; .
Description
본 발명은 객체 추적에 관한 것으로, 구체적으로 객체의 색상정보를 이용한 추적 기술과 객체의 특징점 정보를 이용한 추적 기술을 융합하여 다양한 환경 변화에도 강건한 객체 추적이 가능하도록 한 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법에 관한 것이다.The present invention relates to object tracking, and more particularly, to a method and apparatus for evaluating and learning a mobile environment object reliability that enables robust object tracking to various environmental changes by combining tracking technology using color information of objects and tracking technology using minutia information of objects To a fusion object tracking system and method.
객체 인식과 추적은 사진 혹은 동영상에서 특정 객체를 판별하여 인식하고, 인식된 객체의 움직임을 추적, 관측하여 그 궤도 및 위치를 정하는 것을 의미한다. Object recognition and tracking means identifying and recognizing a specific object in a photograph or moving image, tracking or observing the movement of the recognized object, and determining its orbit and position.
컴퓨터 비전을 기반으로 하는 추적 방법은 다양한 분야로 사용되고 있으며 그 방법 또한 다양하다.Tracking methods based on computer vision are used in various fields and methods are also various.
현재 모바일 기기의 성능이 발전함에 따라 컴퓨터 비전기반의 추적기술을 모바일에 적용하여 다양한 콘텐츠와 시장을 형성하고 있지만, 모바일 환경에서의 추적기술은 마커 기반의 추적기술이 많은 비중을 차지하고 있으며, 마커를 이용함으로써 발생되는 제약 때문에 다양한 분야에서 활용이 어렵다.As the performance of mobile devices develops, a variety of contents and markets are formed by applying computer vision based tracking technology to mobile. However, tracking technology in mobile environment occupies a lot of marker based tracking technology, It is difficult to utilize it in various fields due to the restriction caused by the use thereof.
비 마커 방법의 객체 추적 방법은 일반적으로 정확도를 높이기 위해선 계산 비용이 증가되고, 이는 정합의 효율성을 감소시킨다.The object tracking method of the non-marker method generally increases computation cost to improve accuracy, which reduces the efficiency of matching.
반면, 인식 속도를 향상시키기 위해 정확도에 대한 비중을 낮추면 잘못된 객체 인식 오류를 발생시켜 오정합 결과를 초래하기 때문에 객체들의 특징점을 추출하여 객체를 정확하고 빠르게 인식하기 위한 방법들이 제안되었다On the other hand, if we reduce the weight of accuracy to improve the recognition speed, wrong object recognition errors are generated, resulting in misalignment results. Therefore, methods for accurately and quickly recognizing objects by extracting feature points of objects have been proposed
그러나 이와 같은 종래 기술의 객체 추적 시스템은 하나의 알고리즘으로 객체를 추적하기 때문에 다양한 환경적 요인에 강건하지 못하다.However, such an object tracking system of the prior art is not robust against various environmental factors because it tracks an object with a single algorithm.
히스토그램 정보를 이용한 객체 추적 시스템은 객체의 색상 정보를 이용하여 이전의 객체 포즈 정보와 객체와 가장 유사한 색상이 밀집된 위치의 중심으로 객체의 위치를 예상하고 추적하기 때문에 객체의 색상 정보가 배경과 유사하게 되면 추적에 실패할 수 있다.Since the object tracking system using the histogram information predicts and tracks the position of the object at the center of the cluster where the colors are closest to the object pose information and the object pose information using the color information of the object, The trace may fail.
그리고 특징점 정보를 이용한 객체 추적 시스템은 주로 객체의 특징점을 이용하여 기존의 객체 특징점과 현재 객체의 특징점을 비교하여 객체의 위치를 업데이트 하는 방식으로 추적하고자 하는 객체의 형태가 심하게 바뀌는 경우, 객체에 대한 특징점의 수가 충분하지 않아 기하연산(호모그래피, 닮음 변환, 어파인 변환등)을 계산할 수 없어 객체 추적에 실패하는 경우가 많이 있다.The object tracking system using the feature point information mainly updates the position of the object by comparing the existing object feature points with the feature points of the current object by using the feature points of the object. If the type of the object to be tracked is seriously changed, There are many cases where object tracking fails because the number of minutiae points is not enough to calculate a geometry calculation (homography, similarity transformation, affine transformation, etc.).
특징점 정보로 객체의 위치 정보를 업데이트 할 때 8자유도를 갖는 호모그래피의 경우 뒤틀림 현상이나 뒤집힘, 오목, 볼록 현상 때문에 특징점 정보가 충분하여 기하연산을 수행하였을 경우에도 객체 추적에 실패할 수 있다.When the position information of the object is updated with the feature point information, the homography with 8 degrees of freedom may fail to track the object even if the geometric operation is performed because of the distortion point, inversion, concave, convex phenomenon.
또한, 종래 기술의 특징점 기반 추적 시스템은 주로 불변의 특징(SURF, FAST, ORB 등)점을 이용한 추적시스템으로써 객체를 추적하기 위해서는 연산량이 많기 때문에 알고리즘의 속도가 느리다는 단점이 있다. In addition, the feature point based tracking system of the prior art is a tracking system mainly using invariant features (SURF, FAST, ORB, etc.), and has a drawback in that the speed of the algorithm is slow due to a large amount of computation for tracking objects.
그리고 히스토그램을 이용한 객체 추적 시스템은 영상에서 객체와 유사한 색상이 존재할 경우 객체 추적에 실패를 할 수 있다.And the object tracking system using histogram can fail to track the object if the similar color exists in the image.
또한, 특징점을 이용한 객체 추적 시스템의 단점은 객체의 형태가 심하게 변하는 경우, 객체에 대한 특징점이 충분하지 않아 객체의 위치정보를 계산하는 기하연산을 수행하지 못하였을 경우 객체 추적에 실패를 할 수 있다. The disadvantage of the object tracking system using the feature points is that if the shape of the object changes greatly, there is not enough feature points for the object, and if the geometric operation for calculating the position information of the object can not be performed, the object tracking may fail .
따라서, 다양한 환경 변화에도 강건한 객체 추적이 가능하도록 한 추적 시스템의 개발이 요구되고 있다.Therefore, it is required to develop a tracking system capable of robust object tracking even in various environmental changes.
본 발명은 이와 같은 종래 기술의 객체 추적 시스템의 문제를 해결하기 위한 것으로, 객체의 색상정보를 이용한 추적 기술과 객체의 특징점 정보를 이용한 추적 기술을 융합하여 다양한 환경 변화에도 강건한 객체 추적이 가능하도록 한 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법을 제공하는데 그 목적이 있다.The object of the present invention is to solve the problem of the object tracking system of the related art, and to combine the tracking technique using the color information of the object and the tracking technique using the minutia information of the object to enable robust object tracking The object of the present invention is to provide a system and method for tracking a fusion object through evaluation and learning of reliability of a mobile environment object.
본 발명은 모바일 환경에서 추적하고자 하는 객체를 인식한 후, 상호 보완적인 관계를 갖도록 융합된 두 개의 추적 시스템에서 각 추적시스템이 검출한 객체에 대한 신뢰도를 평가하여 학습하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention relates to a mobile environment object reliability evaluation and learning method for evaluating reliability of objects detected by each tracking system in two tracking systems fused so as to have mutually complementary relationships after recognizing objects to be traced in a mobile environment And to provide a fusion object tracking system and method.
본 발명은 상호 보완적인 관계를 갖도록 융합된 두 개의 추적 시스템에서 추적된 객체의 정보를 학습된 객체의 정보와 비교하여 신뢰도를 평가하고 보다 유사한 객체의 정보를 학습하여 객체 추적에 실패하였을 경우 재탐색 할 수 있도록 한 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention evaluates the reliability by comparing the information of the tracked object with the information of the learned object in two tracking systems fused so as to have a mutually complementary relationship, and when the tracking of the object fails, The object of the present invention is to provide a system and method for tracking a fusion object through evaluation and learning of a mobile environment object reliability.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템은 모바일 환경에서 학습된 정보를 이용하여 초기 객체를 자동으로 인식하고 인식된 객체의 정보를 업데이트 하는 초기화 모듈;객체의 색상정보를 이용한 추적과 객체의 특징점 정보를 이용한 추적을 융합하여 상기 초기화 모듈에서 인식된 객체를 추적하는 객체 추적 모듈;상기 초기화 모듈에서의 객체 검출, 인식 과정에서 생성된 가장 높은 신뢰도를 갖는 Level 0의 객체 정보를 기준으로 객체 추적에 성공한 객체를 평가하여 신뢰할 수 있는 객체인지 평가하여 학습을 하고, 신뢰도 수준을 결정하는 학습 모듈;상기 학습 모듈에서 학습된 객체의 정보를 이용하여 객체의 위치를 재탐색하고, 재탐색에 성공하였을 때 현재 재탐색된 객체의 정보를 기준으로 학습된 정보를 재정렬하는 객체 재탐색 모듈;을 포함하는 하는 것을 특징으로 한다.In order to achieve the above object, according to the present invention, a fused object tracking system through mobile environment object reliability evaluation and learning is a system that automatically recognizes an initial object using information learned in a mobile environment, An object tracking module for tracking an object recognized by the initialization module by combining tracking using color information of the object and tracking using the minutia information of the object, A learning module for evaluating an object that has succeeded in tracking an object based on object information of level 0 and evaluating whether the object is a reliable object and determining a reliability level; , And when the re-search is successful, the currently re-searched object And an object re-search module for re-arranging the learned information based on the information of the object.
여기서, 상기 초기화 모듈은, SURF(Speeded-Up Robust Features) 특징점 묘사자를 학습한 정보와 LSH(Locality Sensitive Hashing)를 이용하여 학습된 정보와 현재 객체가 포함된 영상에 대하여 특징점을 매칭 및 비교하고 객체의 초기 정보와 위치정보를 업데이트하는 것을 특징으로 한다.Here, the initialization module matches and compares minutiae points with information obtained by learning the SINR (Speeded-Up Robust Features) minutiae descriptor, information learned using LSH (Locality Sensitive Hashing) and the current object, And updating the initial information and the position information of the first information.
그리고 상기 객체 추적 모듈은, 객체의 히스토그램 정보중 가장 많은 색상을 기준으로 마스크를 생성하고, 전경과 객체를 분리한 뒤 히스토그램 정보를 이용한 객체 추적 시스템(Camshift)를 적용하여 예상 객체 영역을 확보하는 것을 특징으로 한다.Then, the object tracking module generates a mask based on the most color of the histogram information of the object, separates the foreground and the object, and secures an expected object area by applying an object tracking system (Camshift) using histogram information .
그리고 상기 객체 추적 모듈은, 확보된 객체 영역을 다시 10x10 크기의 서브 윈도우(sub windows)로 세분화하여 객체의 정보와 유사한 영역을 확보하여 2차 마스크를 생성하고, 2차 마스크를 통해 전경과 객체를 분리한 뒤, 분리된 객체 정보에 특징점을 추출하여 연산량을 줄이는 것을 특징으로 한다.Then, the object tracking module subdivides the secured object region into sub-windows of 10x10 size to secure a region similar to the information of the object to generate a secondary mask, and transmits the foreground and the object through the secondary mask Extracting feature points from the separated object information, and reducing the amount of computation.
그리고 상기 학습 모듈에서의 신뢰도 수준을 결정하는 과정에서, 객체정보에 대한 신뢰도는 초기화 모듈에서 검출된 객체 정보가 가장 신뢰성 있는 객체 정보로써 Level 0으로 정의하고, 객체를 추적하면서 Level 6까지의 객체 정보에 대한 신뢰도 수준을 정의하는 것을 특징으로 한다.In the process of determining the reliability level in the learning module, the reliability of the object information is defined as Level 0 as the object information detected by the initialization module as the most reliable object information, and the object information And a reliability level for each of the plurality of network devices.
그리고 객체 추적에 실패하였을 경우 이러한 신뢰도 수준의 객체 정보를 이용하여 객체를 재탐색 하고, 가장 유사한 정보를 가장 신뢰성 있는 Level 0로 정의하여 객체 정보를 재 정렬하는 것을 특징으로 한다.If the object tracking fails, the object is re-searched using the object information of the reliability level, and the most similar information is defined as the most reliable Level 0, and the object information is rearranged.
그리고 상기 학습 모듈에서의 신뢰도 수준을 결정하는 과정에서, Level 0의 기준 객체와 추적에 성공한 객체 사이의 매칭된 특징점이 포함된 라벨의 종류가 많을수록 신뢰도 수준이 높은 것으로 판단하고, 매칭된 특징점의 수가 많을수록 신뢰도 수준이 높은 것으로 판단하는 것을 특징으로 한다.In the process of determining the reliability level of the learning module, it is determined that the reliability level is higher as the number of types of labels including matched minutiae between the reference object of level 0 and the succeeding object is higher, and the number of matched minutiae It is determined that the reliability level is higher.
그리고 상기 객체 재탐색 모듈은, 객체 추적이 실패하였을 때, 학습 모듈에서 학습된 객체의 정보를 이용하여 예상 객체 위치와 영역을 재탐색하고, 현재 객체 정보와 가장 유사한 객체 정보를 기준으로 학습된 객체 정보를 정렬하는 것을 특징으로 한다.When the object tracking fails, the object re-search module re-searches the predicted object location and area using the learned object information in the learning module, and searches for the learned object And sorting the information.
다른 목적을 달성하기 위한 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법은 초기화 모듈에서 추적하고 싶은 객체를 선택하고 정보 초기화를 수행하는 단계;객체 선택이 완료되면, 객체 정보를 추출하는 단계;객체 추적 모듈에서 객체를 추적하기 위해 히스토그램 색상정보만을 이용한 추적과 특징점을 추적하기 위한 방법을 융합하여 객체 추적을 하는 단계;추적된 객체 정보가 계속해서 학습 모듈로 들어가고, 추적이 성공한 것으로 판단되면, 초기화 모듈을 통하여 얻은 표준 객체 정보(Standard object information)와 비교하여 일치 정도를 평가하는 단계;프레임마다 객체정보를 얻어서 Level 1 ~ Level 6까지 구성하여 객체를 추적하여 학습하는 단계;만약 객체 추적이 실패하면 객체 추적 모듈은 정지하고 객체 재탐색 모듈이 동작을 하여 재탐색을 하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for tracking a fused object through mobile environment object reliability evaluation and learning, comprising the steps of: selecting an object to be tracked in an initialization module and performing initialization of information; A step of tracking an object by merging a tracking method using only histogram color information and a method for tracking a characteristic point to track an object in an object tracking module, a step of continuously tracking the object information, Evaluating the degree of correspondence by comparing with the standard object information obtained through the initialization module, obtaining object information for each frame, and tracing and learning the object by configuring from
여기서, 표준 객체 정보는, 추적하고 싶은 객체의 특징점, 색상정보, 모양을 추출한 것이고, 표준 객체 정보는 학습 모듈을 통해 가장 신뢰성 있는 정보 Level 0으로 데이터베이스에 저장되는 것을 특징으로 한다.Here, the standard object information is a feature point, color information, and shape of the object to be tracked, and the standard object information is stored in the database as the most reliable information Level 0 through the learning module.
그리고 프레임마다 객체정보를 얻어서 Level 1 ~ Level 6까지 구성하여 객체를 추적하여 학습하는 단계에서, 추적된 객체정보가 Level 1이 되고, 계속해서 추적을 하고 정보를 얻고 그 다음 프레임에서 얻는 정보가 Level 1보다 더 신뢰할 수 있는 정보이면 이 정보가 Level 1이 되고 이전의 정보는 Level 2가 되는 것을 특징으로 한다.In the step of tracing and learning the object by constructing
그리고 초기화 모듈은 인식된 객체의 정보를 업데이트 하고, 객체를 포함한 윈도우 포즈 정보를 업데이트 하기 위해 이전에 성공한 객체의 특징점 정보를 이용하여 현재 검출된 객체의 특징점과 매칭하여 6 자유도를 갖는 포즈 변화량 호모그래피(Homography)를 구하는 것을 특징으로 한다.The initialization module updates the information of the recognized object and matches the minutiae point of the currently detected object using the minutiae information of the previously successful object to update the window pose information including the object to obtain a pose change amount homography (Homography) is obtained.
그리고 호모그래피를 이용하여 객체의 포즈를 업데이트 할 때, 카메라는 고정되어있고 객체가 움직일 경우와, 객체가 고정되어있고 카메라가 움직이는 경우와, 객체와 카메라 모두 움직이는 경우를 구분하여 객체의 포즈를 정의하는 것을 특징으로 한다.When a pose of an object is updated using homography, the camera is fixed, and the pose of the object is defined by dividing the case where the object is moving, the case where the object is fixed and the camera is moving, .
그리고 카메라는 고정되어있고 객체가 움직일 경우 객체만을 포함한 특징점 변화량만을 고려하여 호모그래피를 구하고, 객체를 포함한 윈도우 영역을 업데이트 하여 객체의 포즈를 정의하고, 객체가 고정되어있고 카메라가 움직이는 경우, 객체를 포함한 윈도우 전체의 특징점을 제외하고 배경 영상만의 특징점을 고려하여 카메라의 포즈 변화를 계산한 뒤, 객체가 포함된 윈도우의 위치정보를 업데이트 하여 객체의 포즈를 정의하고, 객체와 카메라 모두 움직이는 경우, 객체만을 포함한 특징점의 변화량 만을 고려하여 호모그래피를 구한 후, 객체를 포함한 윈도우에 적용시켜 객체의 포즈를 정의하는 것을 특징으로 한다.When the camera is fixed and the object moves, the homography is obtained by considering only the change of the feature point including only the object, the pose of the object is updated by updating the window area including the object, and when the object is fixed and the camera moves, The pose change of the camera is calculated considering the feature points of only the background image except for the feature points of the entire window including the window, the pose of the object is updated by updating the position information of the window containing the object, And a pose of the object is defined by applying homography to the window including the object by considering only the variation of the feature point including only the object.
이와 같은 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법은 다음과 같은 효과를 갖는다.The system and method for tracking a fused object through evaluation and learning of mobile environment object reliability according to the present invention have the following effects.
첫째, 객체의 색상정보를 이용한 추적 기술과 객체의 특징점 정보를 이용한 추적 기술을 융합하여 다양한 환경 변화에도 강건한 객체 추적이 가능하다.First, it combines tracking technology using color information of objects and tracking technology using feature point information of objects, so it is possible to track robust objects in various environmental changes.
둘째, 모바일 환경에서 실시간으로 객체가 가려진 현상, 뒤집힘, 회전, 스케일이 작을 경우, 형태가 심하게 바뀌는 경우과 같은 다양한 환경 변화에도 강건한 객체 추적을 할 수 있다.Second, robust object tracking is possible even in various environment changes such as when the object is hidden in real time in the mobile environment, when the rotation is reversed, when the scale is small, and when the shape is severely changed.
셋째, 추적된 객체의 정보를 학습된 객체의 정보와 비교하여 신뢰도를 평가하고 보다 유사한 객체의 정보를 학습하여 객체 추적에 실패하였을 경우 재탐색 할 수 있도록 하여 다양한 환경적 요소에서도 보다 강건하게 신뢰성 있는 객체 추적이 가능하다.Third, by comparing the information of the tracked object with the information of the learned object, it is possible to evaluate the reliability and to search again when the object tracking is failed by learning information of similar objects. Therefore, Object tracking is possible.
넷째, 영상처리 분야에 융합되어 사용될 수 있고, 드론이나 국방 시스템에 적용할 수 있을 뿐만 아니라 VR과 AR같은 원하는 공간의 위치를 연산하거나 포즈 변화를 연산할 때 응용될 수 있어 활용 범위가 넓은 기술의 제공이 가능하다.Fourth, it can be applied to image processing field, applied to drone or defense system, can be applied to calculate the position of desired space such as VR and AR, or to calculate pose change. Can be provided.
도 1은 본 발명에 따른 융합 객체 추적 시스템의 구성도
도 2는 서브 윈도우를 통한 객체 정보와 마스크의 구성도
도 3은 기하 연산 오류를 나타낸 구성도
도 4는 학습된 객체 정보를 나타낸 구성도
도 5는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법을 나타낸 플로우 차트1 is a block diagram of a fused object tracking system according to the present invention;
FIG. 2 is a diagram illustrating object information and a mask configuration
FIG. 3 is a diagram showing a geometric calculation error
4 is a block diagram showing learned object information
FIG. 5 is a flow chart illustrating a method of tracking a fusion object through evaluation and learning of reliability of a mobile environment object
이하, 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a fusion object tracking system and method using mobile environment object reliability evaluation and learning according to the present invention will be described in detail as follows.
본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.The features and advantages of the fusion object tracking system and method through mobile environment object reliability evaluation and learning according to the present invention will be apparent from the following detailed description of each embodiment.
도 1은 본 발명에 따른 융합 객체 추적 시스템의 구성도이다.1 is a block diagram of a fused object tracking system according to the present invention.
그리고 도 2는 서브 윈도우를 통한 객체 정보와 마스크의 구성도이고, 도 3은 기하 연산 오류를 나타낸 구성도이다.FIG. 2 is a block diagram of object information and a mask through a sub-window, and FIG. 3 is a block diagram illustrating a geometric operation error.
본 발명은 다양한 환경 변화에도 강건한 객체 추적이 가능하도록 하기 위하여 다음과 같은 기술적 특징을 포함한다.The present invention includes the following technical features to enable robust object tracking even under various environmental changes.
첫째, 객체의 색상정보를 이용한 추적 기술과 객체의 특징점 정보를 이용한 추적 기술을 융합하여 객체 추적 시스템을 구현한다.First, we implement object tracking system by combining tracking technology using object color information and tracking technology using object minutia information.
둘째, 모바일 환경에서 추적하고자 하는 객체를 인식한 후, 상호 보완적인 관계를 갖도록 융합된 두 개의 추적 시스템에서 각 추적시스템이 검출한 객체에 대한 신뢰도를 평가하여 학습하는 구성을 포함한다.Secondly, the system recognizes the objects to be tracked in the mobile environment, and then evaluates and learns the reliability of the objects detected by the tracking systems in the two tracking systems fused so as to have mutually complementary relationships.
셋째, 상호 보완적인 관계를 갖도록 융합된 두 개의 추적 시스템에서 추적된 객체의 정보를 학습된 객체의 정보와 비교하여 신뢰도를 평가하고 보다 유사한 객체의 정보를 학습하여 객체 추적에 실패하였을 경우 재탐색하는 구성을 포함한다.Third, in the two tracking systems fused to have mutually complementary relations, the reliability of the tracked object is compared with the information of the learned object, and when the tracking of the object fails, ≪ / RTI >
이를 위한 본 발명에 따른 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템은 크게 초기화 모듈(10), 객체 추적 모듈(20), 학습 모듈(30), 객체 재탐색 모듈(40)을 포함한다.The fused object tracking system according to the present invention includes a
초기화 모듈(10)은 모바일 환경에서 빠르게 학습된 정보를 이용하여 초기 객체를 자동으로 인식하고 인식된 객체의 정보를 업데이트 할 수 있도록 한다.The
객체 추적 모듈(20)은 두 가지 추적 시스템이 융합되어 상호 보완적으로 객체를 추적하고, 학습 모듈(30)은 추적된 예상 객체 정보를 평가하여 보다 신뢰성 있는 객체 정보를 학습한다. The
마지막으로 객체 재탐색 모듈(40)은 객체 추적이 실패하였을 때, 객체 추적 모듈(20) 및 학습 모듈(30)에서 학습된 객체의 정보를 이용하여 예상 객체 위치와 영역을 재탐색하고, 현재 객체 정보와 가장 유사한 객체 정보를 기준으로 학습된 객체 정보를 정렬하는 방법으로써 모바일 환경에서 다양한 환경에서도 강건하게 객체를 추적할 수 있도록 한다.Finally, when the object tracking fails, the
이와 같은 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템은 히스토그램을 이용한 객체 추적시스템과 특징점 정보를 이용한 객체 추적시스템을 융합하여 객체와 배경의 색상 정보가 유사할 경우 보다 강건한 특징점 정보를 이용하여 객체를 추적한다.The convergent object tracking system based on the evaluation and learning of the mobile environment object reliability according to the present invention converges the object tracking system using the histogram and the object tracking system using the minutia information to provide a more robust feature point Track objects using information.
그리고 객체의 형태 변화가 심하거나 객체의 스케일이 작아 특징점을 충분히 추출할 수 없는 경우 객체의 히스토그램 정보를 이용하여 다양한 변화에도 강건하고 상호 보완적인 객체 추적이 가능하도록 한 것이다.In addition, if feature points are not sufficiently extracted due to a large change in the shape of the object or a small scale of the object, robust and complementary object tracking is possible with various changes using the histogram information of the object.
또한, 두 추적시스템에서 추적한 객체 정보를 학습된 객체 정보와 비교하여 보다 유사한 객체로 객체의 정보와 위치를 업데이트 하기 때문에 보다 신뢰성 있는 객체 정보를 학습하고 추적할 수 있다. Also, since the object information tracked by both tracking systems is compared with the learned object information, the information and position of the object are updated with similar objects so that more reliable object information can be learned and tracked.
그리고 기하 연산을 수행하여 객체의 위치 정보를 연산할 때 뒤틀림이나 뒤집힘, 오목, 볼록에 대한 연산 오류를 줄이기 위해 판별식을 이용하여 오류를 검출 한다.Then, when calculating the position information of the object by performing the geometric calculation, the error is detected by using the discriminant to reduce the calculation error of warping, inversion, concavity and convexity.
그리고 객체정보에 대한 신뢰도는 초기화 모듈(10)에서 검출된 객체 정보가 가장 신뢰성 있는 객체 정보로써 Level 0으로 정의하고 객체를 추적하면서 Level 6까지의 객체 정보에 대한 신뢰도 수준을 정의한다.The reliability of the object information is defined as Level 0 as the object information detected by the
만약, 객체 추적에 실패하였을 경우 이러한 신뢰도 수준의 객체 정보를 이용하여 객체를 재탐색 하고, 가장 유사한 정보를 가장 신뢰성 있는 Level 0로 정의하여 객체 정보를 재 정렬한다. If the object tracking fails, the object is re-searched using the object information of the reliability level, and the object information is rearranged by defining the most reliable information as the most reliable Level 0.
객체를 초기화할 때 SURF(Speeded-Up Robust Features) 특징점을 사용하며 LSH(Locality Sensitive Hashing)으로 특징점 정보를 비교 및 매칭 하기 때문에 NN(Nearest Neighbor) 문제에서 kd-tree 구조보다 빠르기 때문에 모바일 환경에서도 SURF 특징점 정보를 이용할 수 있다.Since the feature point information is compared and matched with Locality Sensitive Hashing (LSH) using the SURF (Speeded Up Robust Features) feature point when initializing the object, it is faster than the kd-tree structure in the NN (Nearest Neighbor) Minutiae point information can be used.
여기서, SURF 알고리즘은 특이점을 추출하는 특징점 추출(feature extraction) 부분과 특이점 주변 영상에 대한 정보를 서술하는 특징점 서술(feature description) 부분으로 나눌 수 있다.Here, the SURF algorithm can be divided into a feature extraction portion for extracting a singular point and a feature description portion for describing information about a singular point surrounding image.
특징점 추출(feature extraction) 부분에서 적분 영상을 생성하는 이유는 SURF 알고리즘에서 박스 타입의 필터와 컨벌루션 연산을 빠르게 수행하기 위함이며, 고속헤이시안 행렬(Fast-Hessian Matrix)에서는 x, y, xy 축으로 근사화된 2 차 미분 LoG(Laplacian of Gaussian) 박스필터와 적분 영상간의 컨벌루션 연산을 통해 헤이시안 행렬을 구한한 후 행렬의 디터미넌트 값을 계산한다.The reason for generating the integral image in the feature extraction part is to quickly perform the box type filter and convolution operations in the SURF algorithm. In the fast-Hessian matrix, the x, y, and xy axes Calculate the determinant of the matrix after calculating the Hashian matrix by convolution between the approximated Laplacian of Gaussian (LoG) box filter and the integral image.
그리고 Non-maxima Supperssion을 통해 헤이시안 행렬식(Determinant)이 임계값보다 크고 인접 스케일과 비교하여 디터미넌트가 가장 클 경우 특이점으로 결정된다.If the determinant is greater than the threshold value and the determiner is larger than the adjacent scale, the singularity is determined by Non-maxima Supperssion.
특징점 서술(feature description) 부분에서는 추출된 특이점의 주 방향(dominant direction)을 결정하고 그 주변 영상의 서술자를 생성한다.In the feature description section, the dominant direction of the extracted singularity is determined and a descriptor of the surrounding image is generated.
그리고 LSH는 특징 벡터간 유사성이 보존되도록 설계된 해시 함수를 통해 최소기리외 객체가 검색 대상 특징 백터와 동일한 해시 함수 값을 가질 확률이 높도록 개선한 해싱 방법이다.And LSH is a hashing method that improves the probability that the least extraordinary object has the same hash function value as the search target feature vector through a hash function designed to preserve similarity between feature vectors.
먼저, d 차원의 특징벡터 p = (x1,...xd)를 수학식 1과 같은 변환함수 v(p)을 이용하여 d'차원의 해밍 공간으로 변환한다.First, the feature vector p = (x 1 , ... x d ) of the d dimension is converted into a Hamming space of the d 'dimension using the transformation function v (p) as shown in Equation (1).
여기서, d'은 C*d 로 계산된다. C 는 xi가 가질 수 있는 최대값이다.Here, d 'is calculated as C * d. C is the maximum value that x i can have.
Unaryc를 x 개의 1 과 (C-x)개의 0으로 이루어진 길이 C 인 비트열을 나타낸다.Unary c represents a bit string of length C consisting of x 1s and (Cx) 0s.
해밍거리를 이용하는 LSH는 주어진 데이터를 해밍 공간에 매핑하여 실제 데이터를 이진 표현으로 나타낸다. 이때, 실제 데이터 p 는 d 개의 값을 갖는 벡터이며, 각 차원의 값은 모든 데이터 값중 가장 큰 값 C 의 길이의 2 진수로 변환된다 The LSH using the Hamming distance maps the given data to the Hamming space to represent the actual data in binary representation. In this case, the actual data p is a vector having d values, and the value of each dimension is converted into a binary number having the length of the largest value C among all the data values
p의 이진표현 v(p)는 이러한 C 길이의 2 진수 d 개를 결합한 길이 dC 의 2 진수로 표현된다. 각 차원의 값은 해당 값 만큼의 연속된 1 과 C 에서 해당 값을 뺀 만큼의 연속된 0 으로 이루어진다.The binary representation v (p) of p is expressed as a binary number of length dC that combines the binary numbers d of these C lengths. The value of each dimension consists of consecutive zeros of the corresponding value of 1 and minus the corresponding value of C.
해밍거리를 이용하는 해쉬 함수 집합은 이렇게 변환된 p 의 이진표현으로부터 미리 임의로 정해진 k 개의 비트를 선택하는 방식으로 정의된다.The hash function set using the Hamming distance is defined as a method of selecting k bits arbitrarily predetermined from the binary representation of p thus transformed.
해밍 거리를 이용하는 LSH 는 해밍거리 해쉬 함수를 L 개 정의하고 각각의 해쉬 함수에 상응하는 해쉬 테이블을 L 개 생성한다.LSH using Hamming distance defines L Hamming distance hash functions and L hash tables corresponding to each hash function.
전체 데이터에 대해 L 개의 해쉬 테이블을 이용한 인덱스를 생성한 이후 쿼리 데이터 아이템 q 가 주어지면 q를 L 개의 해쉬 함수를 통해 해쉬하여 나온 해쉬 값에 해당하는 L 개의 해쉬 버킷들에 들어있는 아이템들을 후보 아이템들로 간주하고, 이러한 아이템들의 수는 전체 아이템 수에 비해 매우 적기 때문에 k-최근접 검색 방법에서 굉장히 빠른 속도를 가진다.When an index using L hash tables is generated for all data, if a query data item q is given, items in L hash buckets corresponding to a hash value obtained by hashing q through L hash functions are classified as candidate items , And the number of such items is very small compared to the total number of items, and thus has a very fast speed in the k-nearest neighbor search method.
p - Stable 함수를 이용하는 LSH 는 해쉬 함수를 구성하기 위한 k 개의 요소를 각각 다음 수학식2를 통해 계산한다.The LSH using the p - Stable function calculates k elements for constructing the hash function through the following
이때, 주어진 데이터의 벡터표현 v 를 미리 임의로 정해진 같은 길이의 벡터 a 와 역시 임의로 정해진 상수 b 를 이용하여 하나의 값으로 바꾸고, 이를 r 개의 구간으로 나누어 해슁한다.At this time, the vector representation v of the given data is changed into a single value by using a vector a of the same length and a constant b, which are arbitrarily determined, and is divided into r intervals and hashed.
이렇게 여러 종류의 객체 정보를 각각 인덱스와 그에 따른 SURF 를 통한 특징점, 128 차원의 기술자를 학습시켜 데이타베이스에 저장한 뒤, 현재 영상에 대한 정보와 데이타베이스를 통한 정보를 LSH를 사용하여 빠르게 검색을 한다.This kind of object information is stored in the database by learning feature points and 128-dimensional descriptors through indexes and corresponding SURFs respectively. Then, information of the current image and information through the database are quickly retrieved using LSH do.
LSH를 통한 객체 검출 및 인식 결과에서 추출된 객체의 정보는 가장 신뢰할 수 있는 Level 1의 정보로 학습되고 이 정보는 신뢰도를 평가할 때 기준 정보가 되어 추적에 성공하여 학습될 객체의 정보를 비교 및 평가되는데 사용된다.The object information extracted from the object detection and recognition result through LSH is learned by the most
그리고 추적 및 추적 객체 신뢰도 평가 학습에 관하여 구체적으로 설명하면 다음과 같다.In addition, the tracking and tracking object reliability evaluation learning will be described in detail as follows.
객체 검출 및 인식 과정에서 추출한 객체의 정보 특징점, ROI, 카메라의 위치 정보, 히스토그램 정보 등을 기반으로 광류를 이용한 객체 추적을 한다.Object tracking is performed based on information minutiae, ROI, camera position information, and histogram information extracted from the object detection and recognition process.
추적에 성공하게 되면 학습을 통하여 추적에 성공한 객체를 평가 학습하게 되는데, 평가는 현재 성공한 객체에 대해 k-means 를 통해 히스토그램을 군집화하고 각 특징점이 위치한 히스토그램 라벨과 신뢰도 Level 0의 히스토그램 라벨과의 비교를 통해 매칭된 히스토그램의 라벨이 다양하고 고르게 분포 되어 있을수록 높은 점수의 신뢰도를 가지며, Level 0의 신뢰도를 갖는 객체에 대하여 매칭된 특징점의 분포가 넓을수록 높은 점수의 신뢰도를 갖는다.If the tracking is successful, the object that has succeeded in tracking is learned through learning. The evaluation is performed by clustering the histogram through the k-means for the currently successful object, comparing the histogram label where each feature point is located with the histogram label of the reliability level 0 And the reliability of the score is higher as the distribution of the matching feature points for the object having the reliability of Level 0 is wider.
또한, PCA를 통한 매칭영역의 고유벡터가 유사하고, 추적에 성공한 영상이 가장 최신일수록 높은 점수의 신뢰도를 얻게 된다.Also, the eigenvectors of the matching region through the PCA are similar, and the more recent the tracked image is, the more reliable the score is.
객체 추적에 관하여 구체적으로 설명하면 다음과 같다.The object tracking will be described in detail as follows.
객체 추적은 옵티컬 플로우의 LK 알고리즘을 통해 수행되고 다음의 3가지 가정에 기초하고 있다.Object tracking is performed through the LK algorithm of optical flow and is based on the following three assumptions.
첫 번째, 밝기 항상성(Brightness constancy)은 추적하고 있는 물체의 픽셀의 밝기값은 프레임이 변하더라도 변하지 않는다는 가정이다.First, the brightness constancy assumes that the brightness value of the pixel of the object being tracked does not change even if the frame changes.
이러한 가정에 의해 다음의 수학식 3이 유도된다.By this assumption, the following
여기서, 
두 번째, 시간 지속성(Temporal persistence)은 영상에서 물체의 움직임에 비하여 시간의 변화가 더 빠르게 진행되며, 이는 연속된 프레임 사이에서 물체의 이동량이 많지 않음을 의미한다.Second, temporal persistence means that the temporal change is faster than the motion of the object in the image, which means that the amount of movement of the object between successive frames is not large.
이러한 가정을 2차원으로 확장하여 y 축 방향으로의 속도 성분을 v 라 하고, x 축 방향으로의 속도 성분을 u라고 표시하면 다음 수학식 4가 성립된다.By expanding this assumption in two dimensions, expressing the velocity component in the y-axis direction as v and the velocity component in the x-axis direction as u, the following equation (4) is established.
여기서 원하는 y 축 방향으로의 속도 성분 v와 x 축 방향으로서의 속도 성분 u 를 구하려 할 때 식을 이용해서는 유일한 해를 구할 수 없으므로, 대신 법선 방향의 움직임 성분을 구한다.Here, when a desired velocity solution component v in the y-axis direction and a velocity component u in the x-axis direction are to be obtained, a unique solution can not be obtained by using the equation.
LK의 마지막 가정인 공간 일관성(spatial coherence)이 사용된다. 공간 일관성은 공간적으로 서로 인접하는 점들은 동일한 물체에 속할 가능성이 높고, 동일한 움직임을 갖는다는 가정이다.The last assumption of LK, spatial coherence, is used. Space coherence is the assumption that spatially adjacent points are likely to belong to the same object and have the same motion.
5x5 크기의 윈도우를 사용하면 다음과 같은 25개의 방정식 수학식 5를 유도할 수 있다.Using a 5x5 window, we can derive the following 25 equations (5).
위 식을 풀기 위해 최소 자승법을 사용하며,
그리고 신뢰도 평가 및 학습에 관하여 구체적으로 설명하면 다음과 같다.The reliability evaluation and learning will be described in detail as follows.
신뢰도에 대한 평가 및 객체 학습은 객체 검출, 인식 과정에서 생성된 가장 높은 신뢰도를 갖는 Level 0의 객체 정보를 기준으로 객체 추적에 성공한 객체를 평가하여 신뢰할 수 있는 객체인지 평가하여 학습을 하고, 신뢰도 수준을 결정한다.The evaluation of reliability and object learning are performed by evaluating objects that have succeeded in object tracking based on object information of Level 0 having the highest reliability generated in the object detection and recognition process and evaluating whether they are reliable objects. .
기준이 되는 Level 0의 객체 정보를 분석하여 픽셀을 군집화
또한, Level 0의 객체 정보에 포함된 특징점의 좌표 
Level 0의 기준 객체와 추적에 성공한 객체 사이의 매칭된 특징점이 포함된 라벨의 종류가 많을수록 넓고 다양한 종류의 픽셀을 포함한 특징점이 매칭되었을 확률이 높기 때문에 높은 점수를 받고, 매칭된 특징점의 수가 많을수록 높은 점수를 받는다.The higher the number of types of labels including matching feature points between the reference object of Level 0 and the traced object is, the higher the probability that feature points including a wide variety of pixels are matched, and thus the higher the score, the higher the number of matching feature points Get your score.
또한, 매칭된 특징점을 기반으로 매칭 영역을 설정 한뒤, PCA(principal component analysis)를 수행하여 k 개의 고유벡터 
Level 0와 근사한 계수인지 근사 계수 H를 수학식 8과 같이 조사한다.The approximate coefficient H approximating the level 0 is examined as shown in Equation (8).
추적에 성공한 객체가 최신의 영상영상부터 추적에 성공한 객체일수록 높은 점수를 받고, 신뢰도를 수학식 9와 같이 평가 및 결정한다.The more successful the tracked object is from the latest video image, the higher the score is, and the reliability is evaluated and determined as shown in Equation (9).
수학식 9와 같이 추적에 성공한 객체에 대한 신뢰도를 평가하여 Level 0의 신뢰도를 갖는 객체를 기준으로 Level 5까지 각각의 객체를 평가하여 총 6가지의 신뢰도 갖는 객체들로 구성한다.As shown in Equation (9), the reliability of the tracked object is evaluated, and each object is evaluated up to Level 5 based on the object having the reliability of Level 0, thereby constituting a total of six reliability objects.
이렇게 구성된 객체들은 추적에 실패하였을 때나, 객체를 검출 또는 인식할 때 사용된다.These configured objects are used when tracking fails or when detecting or recognizing objects.
객체가 추적에 실패했을 때, 학습된 객체에 대한 정보를 이용하여 현재 영상과 학습된 객체간 신뢰도를 재평가하여 학습된 객체 정보를 정렬하고, 가장 신뢰 할 수 있는 학습된 객체 정보를 이용하여 현재 검출된 객체 정보를 업데이트 한다.When the object fails to track, it re-evaluates the reliability between the current image and the learned object using information about the learned object, aligns the learned object information, and detects the current detected object information using the most reliable learned object information Updated object information.
또한, 정렬된 학습 객체 정보는 Level 0, Level 1, Level 2의 신뢰도에 대한 객체 정보를 제외하고 초기화한 뒤, 다시 객체 추적 모듈로 돌아가 업데이트 된 객체의 정보를 기반으로 추적을 시행한다.In addition, the aligned learning object information is initialized except for object information for Level 0,
이와 같은 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법은 모바일 환경에서 실시간으로 객체가 가려진 현상, 뒤집힘, 회전, 스케일이 작을 경우, 형태가 심하게 바뀌는 경우과 같은 다양한 환경 변화에도 강건한 객체 추적을 할 수 있다.The system and method for tracking a fused object through the evaluation and learning of the mobile environment object reliability according to the present invention can be applied to a variety of environment changes such as a phenomenon in which the object is hidden in real time in a mobile environment, You can also do robust object tracking.
본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템은 도 1에서와 같이, 객체의 초기 정보를 습득하는 초기화 모듈(10)과, 두 가지 추적기를 융합하여 강건한 객체 추적을 할 수 있는 객체 추적 모듈(20)과, 객체 검출, 인식 과정에서 생성된 가장 높은 신뢰도를 갖는 Level 0의 객체 정보를 기준으로 객체 추적에 성공한 객체를 평가하여 신뢰할 수 있는 객체인지 평가하여 학습을 하고, 신뢰도 수준을 결정하는 학습 모듈(30)과, 객체 추적에 실패하였을 경우 객체 정보를 이용하여 재탐색 할 수 있는 객체 재탐색 모듈(40)로 구성되어 있다.As shown in FIG. 1, the fused object tracking system through the evaluation and learning of the mobile environment object reliability according to the present invention includes an
초기화 모듈(10)은 SURF 특징점 묘사자를 학습한 정보와 LSH를 이용하여 학습된 정보와 현재 객체가 포함된 영상에 대하여 빠른 속도로 특징점을 매칭 및 비교하고 객체의 초기 정보와 위치정보를 업데이트 한다.The
그리고 객체 추적 모듈(20)은 객체의 히스토그램 정보중 가장 많은 색상을 기준으로 마스크를 생성하고 전경과 객체를 분리한 뒤 히스토그램 정보를 이용한 객체 추적 시스템(Camshift)를 적용하여 예상 객체 영역을 확보한다.Then, the
이렇게 확보된 객체 영역을 다시 10x10 크기의 서브 윈도우(sub windows)로 세분화하여 객체의 정보와 유사한 영역을 확보하여 2차 마스크를 생성한다.The secured object region is subdivided into 10x10 sub windows to secure a region similar to the information of the object to generate a secondary mask.
도 2는 서브 윈도우를 통한 객체의 생상정보 업데이트와 2차 마스크, 히스토그램 정보를 나타낸 것이다.FIG. 2 is a diagram showing update information of a creature information, a secondary mask, and histogram information through a subwindow.
2차 마스크를 통해 전경과 객체를 분리한 뒤, 분리된 객체 정보에 특징점을 추출하여 연산량을 줄인다.After the foreground and object are separated through the secondary mask, feature points are extracted from the separated object information to reduce the amount of computation.
ORB 특징점을 사용하여 불변의 특징을 갖는 특징점을 추출하지만 빠르게 특징점을 추출할 수 있다.The ORB feature points are used to extract feature points with invariant features, but feature points can be extracted quickly.
피라미드 이미지를 통해 특징점을 추출하기 때문에 보다 강건한 특징점이 추출된다. Since feature points are extracted through pyramid images, more robust feature points are extracted.
옵티컬 플로우(Optical flows)를 이용한 추적 시스템을 적용하여 객체의 포즈 변화를 계산하고, 도 3에서와 같은 객체의 위치를 계산하는 기하 연산에서의 오류를 줄이기 위해 판별식을 사용한다. A tracking system using optical flows is applied to calculate the pose change of the object and a discriminant is used to reduce the error in the geometric operation for calculating the position of the object as shown in FIG.
이와 같은 특징점을 이용한 6자유도를 갖는 객체 포즈 업데이트에 관하여 구체적으로 설명하면 다음과 같다.An object pose update with six degrees of freedom using such feature points will now be described in detail.
옵티컬 플로우에 사용된 객체에 대한 특징점 정보를 이용하여 6 자유도를 갖는 객체를 포함한 윈도우의 포즈 정보를 업데이트 하여 객체를 검출한 뒤, 업데이트된 윈도우의 포즈 변화 정보를 이용하여 객체의 포즈를 정의하고 객체 추적에 성공하게 되면 객체에 대한 정보를 평가한 뒤 학습시킨다.The pose information of the window including the object having 6 degrees of freedom is updated by using the minutia information about the object used in the optical flow to define the pose of the object using the updated window pose change information, When tracking is successful, the information about the object is evaluated and learned.
먼저, 객체를 포함한 윈도우 포즈 정보를 업데이트 하기 위해 이전에 성공한 객체의 특징점 정보를 이용하여 현재 검출된 객체의 특징점과 매칭하여 6 자유도를 갖는 포즈 변화량 호모그래피(Homography)를 구한다.First, to update the window pose information including the object, the pose change amount homography having 6 degrees of freedom is obtained by matching with the feature point of the currently detected object using the feature point information of the previously successful object.
이때 사용되는 호모그래피를 정규화하여 객체의 포즈 정보를 업데이트 할 때보다 정확하게 업데이트 하도록 한다.The homography used at this time is normalized so that the pose information of the object is updated more accurately than when it is updated.
먼저, 매칭되는 특징점을 RANSAC을 이용하여 근사하고, epipola line 위치 상에 있는 매칭점만을 이용하여 매칭되는 특징점에 특이점을 모두 제거한 뒤, 호모그래피를 적용한다.First, the matching feature points are approximated using RANSAC, and all singularities are removed from matching feature points using only the matching points on the epipola line position, and homography is applied.
호모그래피는 하나의 평면을 다른 하나의 평면으로 옮기는 투영 변화를 의미한다. 2 개의 이미지에 서로 대응되는 한점 (x, y)와 (x,y) 가 있다면 두 이미지에 관련된 Homography H는 수학식 10에서와 같다.Homography refers to a projection change that moves one plane to another. If there are one point (x, y) and (x, y) corresponding to the two images, the homography H related to the two images is as shown in Equation (10).
영상의 중심이 원점에 위치할 수 있도록 영상 좌표계에서 노말라이즈 좌표계로 변환한 뒤, 매칭되는 특징점에 같은 방법을 적용시켜 호모그래피를 구한다.After converting the image coordinate system to the normalized coordinate system so that the center of the image can be located at the origin, homography is obtained by applying the same method to matching feature points.
이때 구해진 호모그래피가 비 정상적인 변환임을 판단하는 과정이 필요하다.At this time, it is necessary to judge that the obtained homography is an abnormal conversion.
비정상적인 호모그래피는 객체 포즈 변화를 업데이트할 때 잘못된 객체의 정보를 업데이트 할 수 있기 때문에 이러한 오류를 줄이고자 호모그래피를 판별한다.Since abnormal homography can update the information of the wrong object when updating the object pose change, the homography is determined by reducing this error.
먼저, 호모그래피를 수학식 11의 형태와 같이 Homogeneous 형태로 표현한다.First, the homography is expressed in a homogeneous form as shown in Equation (11).
Homogeneous 형태로 표현된 3x3 변환 행렬에서 처음 2x2 부분행렬은 회전, 스케일, shearing, reflection 파트를, h13,h23은 평행이동(translation), h31,h32은 원근(prespective) 변화를 나타낸다.In a 3x3 transformation matrix represented by Homogeneous form the first 2x2 sub-matrix is rotating, scaling, shearing, reflection part, h 13, h 23 is a parallel movement (translation), h 31, h 32 represents a perspective (prespective) changes.
h11,h11,h11,h11은 부분행렬식 값을 D(determinant)라 하고 sx 는 x 축 스케일 팩터(Scale factor), sy 는 y 축 스케일 팩터, P 는 perspective 정도를 나타낸다.h 11 , h 11 , h 11 , and h 11 are D (determinant), sx is the x-scale scale factor, sy is the y-scale factor and p is the perspective.
Homogeneous 형태로 변환 후, 수학식 12에서와 같은 조건을 만족하면 비 정상 변환으로 판단한다. A, B, C, D는 객체가 포함된 윈도우라고 가정을 하고 이를 Homography 적용시켜 오목인지 각도를 이용하여 판단한다.After the conversion into the homogeneous form, if the same condition as in Equation 12 is satisfied, it is determined to be an abnormal conversion. Let A, B, C, and D be a window containing an object, and then apply homography to determine whether it is a concave or an angle.
수학식 12에 의하여 평가된 호모그래피가 정상적인 변환이라면 윈도우에 적용시켜 객체의 포즈를 업데이트 한다.If the homography evaluated by equation (12) is a normal transformation, it is applied to the window to update the pose of the object.
여기서, 호모그래피를 이용하여 객체의 포즈를 업데이트 할 때 다음과 같은 3 가지 경우를 고려한다.Here, the following three cases are considered when updating a pose of an object by using homography.
첫째, 카메라는 고정되어있고 객체가 움직일 경우 객체만을 포함한 특징점 변화량만을 고려하여 호모그래피를 구하고, 객체를 포함한 윈도우 영역을 업데이트 하여 객체의 포즈를 정의한다.First, when the camera is fixed and the object moves, the homography is calculated by considering only the feature point variation including only the object, and the pose of the object is defined by updating the window region including the object.
둘째, 객체가 고정되어있고 카메라가 움직이는 경우, 객체를 포함한 윈도우 전체의 특징점을 제외하고 배경 영상만의 특징점을 고려하여 카메라의 포즈 변화를 계산 한 뒤, 객체가 포함된 윈도우의 위치정보를 업데이트 하여 객체의 포즈를 정의한다.Second, when the object is fixed and the camera moves, the pose change of the camera is calculated considering the feature points of the background image except for the feature points of the entire window including the object, and then the position information of the window including the object is updated Defines the pose of the object.
셋째, 객체와 카메라 모두 움직이는 경우, 객체만을 포함한 특징점의 변화량 만을 고려하여 호모그래피를 구한 후, 객체를 포함한 윈도우에 적용시켜 객체의 포즈를 정의한다.Third, when both object and camera are moving, homography is calculated considering only the amount of change of feature points including only the object, and the pose of the object is defined by applying the homography to the window including the object.
위와 같은 경우를 제외하고 가려짐 현상에 의한 특징점 변화에 따른 객체 추적 실패의 경우 추적에 성공하여 학습된 객체의 정보를 영상을 누적시켜 생성한 배경 이미지를 기반으로 2진 마스크 영상 처리를 하여 만약 추적하는 객체 내에 가려In the case of object tracking failure due to the feature point change due to occlusion phenomenon, except for the above case, if tracking succeeds, binary mask image processing is performed based on the background image generated by accumulating the information of the learned object, Inside an object
짐 현상에 발생하게 되면 가려진 부분에 대한 특징점 매칭은 이루어 지지 않으며 가려짐 현상이 없는 객체에 대한 정보를 이용하여 윈도우의 포즈를 업데이트 하고 객체의 포즈를 정의한다.When a load occurs, the feature point matching for the hidden part is not performed, and the pose of the window is updated using the information about the object which is not obstructed and the pose of the object is defined.
이상에서와 같이 객체의 정보를 학습된 정보와 비교하여 신뢰도를 평가하고 보다 정확한 객체의 위치를 업데이트 한 뒤 객체 정보를 학습하여 다양한 환경 변화에서도 신뢰성 있고 강건한 객체를 추적할 수 있다. As described above, by comparing the information of the object with the learned information, it is possible to track the reliable and robust object in various environment changes by evaluating the reliability, updating the position of the more accurate object, and learning the object information.
객체 재탐색 모듈(40)에서 객체 추적에 실패하였을 때 도 4에서와 같은 학습된 객체의 정보를 이용하여 객체의 위치를 재탐색하고 재탐색에 성공하였을 때 현재 재 탐색된 객체의 정보를 기준으로 학습된 정보를 재정렬한다.When the
이와 같은 구성을 갖는 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법을 구체적으로 설명하면 다음과 같다.A method for tracking a fusion object through evaluation and learning of a mobile environment object reliability according to the present invention having such a configuration will be described in detail as follows.
도 5는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법을 나타낸 플로우 차트이다.5 is a flowchart illustrating a method of tracking a fusion object through evaluation and learning of a mobile environment object reliability.
초기화 모듈(10)이 추적하고 싶은 객체를 선택하고 정보 초기화를 수행한다.(S501)The
객체 선택이 완료되면(S502), 객체 정보를 추출한다.(S503)When object selection is completed (S502), object information is extracted (S503)
여기서, 추적하고 싶은 객체의 특징점, 색상정보, 모양 등을 추출한 것이 표준 객체 정보(Standard object information)이다.Here, standard object information is extracted from the minutiae, color information, and shape of the object to be tracked.
표준 객체 정보는 학습 모듈(30)을 통해 가장 신뢰성 있는 정보 즉, Level 0 으로 데이터베이스에 저장된다.The standard object information is stored in the database as the most reliable information, i.e., Level 0, through the
그리고 객체 추적 모듈(20)이 객체를 추적하기 위해 히스토그램 색상정보만을 이용한 추적과 특징점을 추적하기 위한 방법을 융합하여 상호보완적인 방법으로 객체 추적을 한다.(S504)Then, the
이와 같이 추적된 객체 정보가 계속해서 학습 모듈(30)로 들어가고, 추적이 성공한 것으로 판단되면(S505), 초기화 모듈(10)을 통하여 얻은 표준 객체 정보(Standard object information)와 비교해서 색상, 특징점 정보 등이 얼마나 일치하는지를 평가한다.(S506)If it is determined that the tracked object information continues to be input to the
이와 같이 추적된 객체정보가 Level 1(Level 0은 고정 스탠다드 정보)이 되고, 계속해서 추적을 하고 정보를 얻는데 그 다음 프레임에서 얻는 정보가 Level 1보다 더 신뢰할 수 있는 정보이면 Level 1이 되고 이전의 정보는 Level 2가 된다.If the information obtained from the next frame is more reliable than
이와 같이 프레임마다 객체정보를 얻어서 Level 1 ~ Level 6까지 구성하여 객체를 추적하여 학습을 한다.(S507)In this manner, the object information is obtained for each frame, and the object is traced by constructing from
이 과정에서 만약 객체 추적을 실패할 때에는 객체 추적 모듈(20)은 정지하고 객체 재탐색 모듈(40)이 동작을 하여 재탐색을 한다.(S509)In this process, if object tracking fails, the
객체 재탐색 모듈(40)은 영상 내에서 받아들일 수 있는 모든 정보가 학습되어 Level 0이 되어 계속 추적을 실시한다.(S510)The
이상에서 설명한 본 발명에 따른 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법은 객체의 색상정보를 이용한 추적 기술과 객체의 특징점 정보를 이용한 추적 기술을 융합하여 다양한 환경 변화에도 강건한 객체 추적이 가능하도록 한 것으로, 모바일 환경에서 추적하고자 하는 객체를 인식한 후, 상호 보완적인 관계를 갖도록 융합된 두 개의 추적 시스템에서 각 추적시스템이 검출한 객체에 대한 신뢰도를 평가하여 학습하는 것이다.The fused object tracking system and method through the evaluation and learning of the mobile environment object reliability according to the present invention described above combines the tracking technology using the color information of the object and the tracking technology using the feature point information of the object, The objective of this study is to evaluate the reliability of objects detected by each tracking system in two tracking systems fused so as to have a mutually complementary relationship after recognizing objects to be traced in a mobile environment.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents thereof are intended to be embraced therein It should be interpreted.
10. 초기화 모듈 20. 객체 추적 모듈
30. 학습 모듈 40. 객체 재탐색 모듈10.
30.
Claims (14)
객체의 색상정보를 이용한 추적과 객체의 특징점 정보를 이용한 추적을 융합하여 상기 초기화 모듈에서 인식된 객체를 추적하는 객체 추적 모듈;
상기 초기화 모듈에서의 객체 검출, 인식 과정에서 생성된 가장 높은 신뢰도를 갖는 Level 0의 객체 정보를 기준으로 객체 추적에 성공한 객체를 평가하여 신뢰할 수 있는 객체인지 평가하여 학습을 하고, 신뢰도 수준을 결정하는 학습 모듈;
상기 학습 모듈에서 학습된 객체의 정보를 이용하여 객체의 위치를 재탐색하고, 재탐색에 성공하였을 때 현재 재탐색된 객체의 정보를 기준으로 학습된 정보를 재정렬하는 객체 재탐색 모듈;을 포함하고,
상기 학습 모듈에서의 신뢰도 수준을 결정하는 과정에서, Level 0의 기준 객체와 추적에 성공한 객체 사이의 매칭된 특징점이 포함된 라벨의 종류가 많을수록 신뢰도 수준이 높은 것으로 판단하고, 매칭된 특징점의 수가 많을수록 신뢰도 수준이 높은 것으로 판단하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템.An initialization module that automatically recognizes an initial object using information learned in a mobile environment and updates information of the recognized object;
An object tracking module for tracking an object recognized by the initialization module by combining tracking using color information of an object and tracking using minutia information of the object;
The object that has succeeded in object tracking is evaluated based on the object information of Level 0 having the highest reliability generated in the process of detecting and recognizing the object in the initialization module, learning is performed by evaluating whether the object is a reliable object, Learning module;
And an object re-search module for re-searching the location of the object using the information of the learned object in the learning module and realigning the learned information based on the information of the currently re-searched object when re-searching is successful ,
In the process of determining the reliability level in the learning module, it is determined that the reliability level is higher as the number of types of labels including matched minutiae between the reference object of Level 0 and the succeeding object is higher. And a reliability level of the mobile object is determined to be high.
SURF(Speeded-Up Robust Features) 특징점 묘사자를 학습한 정보와 LSH(Locality Sensitive Hashing)를 이용하여 학습된 정보와 현재 객체가 포함된 영상에 대하여 특징점을 매칭 및 비교하고 객체의 초기 정보와 위치정보를 업데이트하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템.2. The apparatus of claim 1, wherein the initialization module comprises:
SURF (Speeded-Up Robust Features) Matches and compares minutiae points of information learned with descriptor and LSH (Locality Sensitive Hashing) and images containing current object, Wherein the object is a mobile object and the object is a mobile object.
객체의 히스토그램 정보중 가장 많은 색상을 기준으로 마스크를 생성하고,
전경과 객체를 분리한 뒤 히스토그램 정보를 이용한 객체 추적 시스템(Camshift)를 적용하여 예상 객체 영역을 확보하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템.2. The method of claim 1,
A mask is generated based on the most color of the histogram information of the object,
A fuzzy object tracking system based on evaluation and learning of mobile environment object reliability, characterized by separating foreground and object and securing an expected object area by applying object tracking system (Camshift) using histogram information.
확보된 객체 영역을 다시 10x10 크기의 서브 윈도우(sub windows)로 세분화하여 객체의 정보와 유사한 영역을 확보하여 2차 마스크를 생성하고,
2차 마스크를 통해 전경과 객체를 분리한 뒤, 분리된 객체 정보에 특징점을 추출하여 연산량을 줄이는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템.4. The apparatus of claim 3,
The secured object region is subdivided into sub-windows of 10x10 size to secure a region similar to the information of the object to generate a secondary mask,
A fusion object tracking system using mobile environment object reliability evaluation and learning, characterized in that foreground and object are separated through a secondary mask, and feature points are extracted from the separated object information, thereby reducing the amount of computation.
객체정보에 대한 신뢰도는 초기화 모듈에서 검출된 객체 정보가 가장 신뢰성 있는 객체 정보로써 Level 0으로 정의하고, 객체를 추적하면서 Level 6까지의 객체 정보에 대한 신뢰도 수준을 정의하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템.2. The method of claim 1, wherein in determining the confidence level in the learning module,
The reliability of the object information is defined as Level 0 as the object information detected by the initialization module as the most reliable object information and defines the reliability level for object information up to level 6 while tracing the object. Fusion Object Tracking System through Reliability Evaluation and Learning.
객체 추적이 실패하였을 때, 학습 모듈에서 학습된 객체의 정보를 이용하여 예상 객체 위치와 영역을 재탐색하고,
현재 객체 정보와 가장 유사한 객체 정보를 기준으로 학습된 객체 정보를 정렬하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템.The apparatus of claim 1, wherein the object re-
When the object tracking fails, the predicted object location and area are re-searched using the learned object information in the learning module,
Wherein the object information is sorted based on the object information most similar to the current object information.
객체 선택이 완료되면, 객체 정보를 추출하는 단계;
객체 추적 모듈에서 객체를 추적하기 위해 히스토그램 색상정보만을 이용한 추적과 특징점을 추적하기 위한 방법을 융합하여 객체 추적을 하는 단계;
추적된 객체 정보가 계속해서 학습 모듈로 들어가고, 추적이 성공한 것으로 판단되면, 초기화 모듈을 통하여 얻은 표준 객체 정보(Standard object information)와 비교하여 일치 정도를 평가하는 단계;
프레임마다 객체정보를 얻어서 Level 1 ~ Level 6까지 구성하여 객체를 추적하여 학습하는 단계;
만약 객체 추적이 실패하면 객체 추적 모듈은 정지하고 객체 재탐색 모듈이 동작을 하여 재탐색을 하는 단계;를 포함하고,
상기 표준 객체 정보는 추적하고 싶은 객체의 특징점, 색상정보, 모양을 추출한 것이고, 표준 객체 정보는 학습 모듈을 통해 가장 신뢰성 있는 정보 Level 0으로 데이터베이스에 저장되는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법.Selecting an object to be tracked in the initialization module and performing information initialization;
Extracting object information when object selection is completed;
Tracking an object by fusing a method using only histogram color information and a method for tracking a feature point to track an object in an object tracking module;
Comparing the tracked object information with the standard object information obtained through the initialization module when it is determined that the tracked object information continues to be entered into the learning module and tracking is successful;
Obtaining object information per frame and constructing from Level 1 to Level 6 to track and learn the object;
If the object tracking fails, the object tracking module stops and the object re-searching module operates and re-searches;
Wherein the standard object information extracts minutiae points, color information, and shapes of the object to be tracked, and the standard object information is stored in the database as the most reliable information level 0 through the learning module. A method for tracking a fused object through a method.
추적된 객체정보가 Level 1이 되고, 계속해서 추적을 하고 정보를 얻고 그 다음 프레임에서 얻는 정보가 Level 1보다 더 신뢰할 수 있는 정보이면 이 정보가 Level 1이 되고 이전의 정보는 Level 2가 되는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법.10. The method of claim 9, wherein object information is obtained for each frame,
If the tracked object information becomes Level 1, the tracking information is continuously acquired, and the information obtained in the next frame is more reliable than Level 1, then this information becomes Level 1 and the previous information becomes Level 2 A Fusion Object Tracking Method through Mobile Environment Object Reliability Evaluation and Learning.
객체를 포함한 윈도우 포즈 정보를 업데이트 하기 위해 이전에 성공한 객체의 특징점 정보를 이용하여 현재 검출된 객체의 특징점과 매칭하여 6 자유도를 갖는 포즈 변화량 호모그래피(Homography)를 구하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법.10. The method of claim 9, wherein the initialization module updates information of the recognized object,
And the pose change amount homography having six degrees of freedom is obtained by matching with the feature point of the currently detected object using the feature point information of the previously successful object in order to update the window pose information including the object. Fusion object tracking method through evaluation and learning.
카메라는 고정되어있고 객체가 움직일 경우와, 객체가 고정되어있고 카메라가 움직이는 경우와, 객체와 카메라 모두 움직이는 경우를 구분하여 객체의 포즈를 정의하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법.13. The method of claim 12, wherein when updating a pose of an object using homography,
The camera is fixed and defines the pose of the object by distinguishing the case where the object is moving, the case where the object is fixed and the case where the camera is moving, and the case where the object and the camera are both moving. Fusion object tracking method.
객체가 고정되어있고 카메라가 움직이는 경우, 객체를 포함한 윈도우 전체의 특징점을 제외하고 배경 영상만의 특징점을 고려하여 카메라의 포즈 변화를 계산 한 뒤, 객체가 포함된 윈도우의 위치정보를 업데이트 하여 객체의 포즈를 정의하고,
객체와 카메라 모두 움직이는 경우, 객체만을 포함한 특징점의 변화량 만을 고려하여 호모그래피를 구한 후, 객체를 포함한 윈도우에 적용시켜 객체의 포즈를 정의하는 것을 특징으로 하는 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 방법.
14. The method according to claim 13, wherein the camera is fixed and when the object moves, homography is obtained by considering only the amount of change of the feature point including only the object, the pose of the object is defined by updating the window region including the object,
When the object is fixed and the camera moves, the pose change of the camera is calculated by taking into consideration only the feature points of the background image except for the feature points of the entire window including the object, and the location information of the window containing the object is updated, Define poses,
When both the object and the camera are moved, the homography is calculated by considering only the variation of the feature points including only the object, and then the pose of the object is defined by applying the homography to the window including the object. Tracking method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160090757A KR101917354B1 (en) | 2016-07-18 | 2016-07-18 | System and Method for Multi Object Tracking based on Reliability Assessment of Learning in Mobile Environment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160090757A KR101917354B1 (en) | 2016-07-18 | 2016-07-18 | System and Method for Multi Object Tracking based on Reliability Assessment of Learning in Mobile Environment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180009180A KR20180009180A (en) | 2018-01-26 |
| KR101917354B1 true KR101917354B1 (en) | 2018-11-09 |
Family
ID=61025650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160090757A KR101917354B1 (en) | 2016-07-18 | 2016-07-18 | System and Method for Multi Object Tracking based on Reliability Assessment of Learning in Mobile Environment |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101917354B1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102557049B1 (en) | 2018-03-30 | 2023-07-19 | 한국전자통신연구원 | Image Feature Matching Method and System Using The Labeled Keyframes In SLAM-Based Camera Tracking |
| KR102022889B1 (en) * | 2018-05-15 | 2019-09-19 | 한국과학기술연구원 | Object tracking system using a single model and method for object tracking using the same |
| KR102195940B1 (en) * | 2018-09-18 | 2020-12-28 | 전남대학교 산학협력단 | System and Method for Detecting Deep Learning based Human Object using Adaptive Thresholding Method of Non Maximum Suppression |
| KR102052535B1 (en) * | 2018-12-05 | 2020-01-08 | 주식회사 비욘드테크 | Apparatus for judging illegal duplication using feature point and method thereof |
| KR102198920B1 (en) * | 2019-02-28 | 2021-01-06 | 네이버 주식회사 | Method and system for object tracking using online learning |
| CN110134090B (en) * | 2019-05-23 | 2020-09-29 | 电子科技大学 | Reliability evaluation method for industrial robot control system fusing multi-source information |
| KR20220076048A (en) * | 2020-11-30 | 2022-06-08 | 삼성전자주식회사 | Electronic device and controlling method of electronic device |
| CN113837296B (en) * | 2021-09-28 | 2024-05-31 | 安徽大学 | RGBT visual tracking method and system based on two-stage fusion structure search |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101517359B1 (en) * | 2013-12-27 | 2015-06-05 | 전남대학교산학협력단 | Method for tracking of object and appaaratus using the same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009111499A2 (en) * | 2008-03-03 | 2009-09-11 | Videoiq, Inc. | Dynamic object classification |
| KR20160078545A (en) * | 2014-12-24 | 2016-07-05 | 전자부품연구원 | Method and Apparatus for Object Tracking with Object Detection and Tracking |
-
2016
- 2016-07-18 KR KR1020160090757A patent/KR101917354B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101517359B1 (en) * | 2013-12-27 | 2015-06-05 | 전남대학교산학협력단 | Method for tracking of object and appaaratus using the same |
Non-Patent Citations (1)
| Title |
|---|
| 홍지원, 외 2, "대용량 멀티미디어 데이터베이스를 위한 LSH 파라메터 실험", 한국콘텐츠학회 종합학술대회 논문집, 2015. 5, pp. 445-446.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180009180A (en) | 2018-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101917354B1 (en) | System and Method for Multi Object Tracking based on Reliability Assessment of Learning in Mobile Environment | |
| Zhang et al. | Jointly modeling motion and appearance cues for robust RGB-T tracking | |
| Nedevschi et al. | Stereo-based pedestrian detection for collision-avoidance applications | |
| Hernández-Vela et al. | Probability-based dynamic time warping and bag-of-visual-and-depth-words for human gesture recognition in rgb-d | |
| CN104200495B (en) | A kind of multi-object tracking method in video monitoring | |
| US8050453B2 (en) | Robust object tracking system | |
| Yuan et al. | Robust superpixel tracking via depth fusion | |
| Rekha et al. | Hand gesture recognition for sign language: A new hybrid approach | |
| Sukanya et al. | A survey on object recognition methods | |
| Lee et al. | Place recognition using straight lines for vision-based SLAM | |
| Chen et al. | TriViews: A general framework to use 3D depth data effectively for action recognition | |
| Bao et al. | Context modeling combined with motion analysis for moving ship detection in port surveillance | |
| Antonio et al. | Pedestrians' detection methods in video images: A literature review | |
| Zhang et al. | Fine detection and classification of multi-class barcode in complex environments | |
| Nandhini et al. | SIFT algorithm-based Object detection and tracking in the video image | |
| Zhou et al. | Learning a superpixel-driven speed function for level set tracking | |
| Tang et al. | Place recognition using line-junction-lines in urban environments | |
| Kavimandan et al. | Human action recognition using prominent camera | |
| Dilawari et al. | Toward generating human-centered video annotations | |
| Farfan-Escobedo et al. | Towards accurate building recognition using convolutional neural networks | |
| Kovács et al. | Visual real-time detection, recognition and tracking of ground and airborne targets | |
| He et al. | Deep multivariate mixture of gaussians for object detection under occlusion | |
| Mishra et al. | Automated detection of fighting styles using localized action features | |
| Guo et al. | Global-Local MAV Detection Under Challenging Conditions Based on Appearance and Motion | |
| Li et al. | Move and the robot will learn: Vision-based autonomous learning of object models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |