WO2013015601A1 - 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법 - Google Patents

추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법 Download PDF

Info

Publication number
WO2013015601A1
WO2013015601A1 PCT/KR2012/005905 KR2012005905W WO2013015601A1 WO 2013015601 A1 WO2013015601 A1 WO 2013015601A1 KR 2012005905 W KR2012005905 W KR 2012005905W WO 2013015601 A1 WO2013015601 A1 WO 2013015601A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image object
penalty
tracking
particles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2012/005905
Other languages
English (en)
French (fr)
Inventor
오치민
김종구
서융호
이칠우
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Foundation of Chonnam National University
Original Assignee
Industry Foundation of Chonnam National University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Foundation of Chonnam National University filed Critical Industry Foundation of Chonnam National University
Priority to US14/234,207 priority Critical patent/US9349065B2/en
Publication of WO2013015601A1 publication Critical patent/WO2013015601A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a multi-image object tracking method, and more particularly, to avoid hijacking avoidance of a tracker that can prevent hijacking problems, in which identifiers are changed or disappeared between objects in a short distance when tracking multiple objects.
  • the present invention relates to a multi-object tracking method based on a penalty graph.
  • the tracking technology of multiple image objects is a technology related to human computer interaction (HCI), which has recently attracted attention due to the increase of devices using multi-touch such as tabletop displays, smart phones, and smart TVs. It is widely used in the field of multi-touch tracking for more intuitive interface.
  • HCI human computer interaction
  • the tracking technology of a multi-image object is a technique of assigning identification information to a plurality of touch areas generated by multi-touch, and continuously assigning the same identification number even when the touch area is moved.
  • the present inventors have tried to improve the tracking success rate of multiple image objects by preventing robbery when tracking image objects.
  • the weights are calculated in consideration of the distance between adjacent image objects, so that the image objects are recognized as one or the identification information is different from each other.
  • the present invention has been completed by developing a technical configuration of a multi-image object tracking method that can be inverted.
  • the present invention re-samples the particles from the image object tracked in the previous image, calculates the weight of each of the re-sampled particles, and positions each particle.
  • the multiple image object tracking method for predicting and tracking the position of the image objects in the current image based on the value multiplied by the corresponding weight when the image object of the previous image has a neighboring image object located within a critical distance, The weight of the particles sampled from the image object is calculated by multiplying the image value by a penalty which is a distance value between the particles and the neighboring image object.
  • the penalty is a value between '0' and '1', and the penalty for particles within the critical distance with the neighboring image object is calculated as '1' and is located at the same position as the neighboring image object.
  • the distance value of the overlapping particles is calculated as '0', and the particles closer to the neighboring image object within the threshold distance are calculated so that the penalty is closer to '0'.
  • the position of the image object in the current image is predicted as an average value of the positions of the positions of the particles multiplied by a corresponding weight.
  • a penalty graph comprising a set of coordinates and an edge information set which is information of a position coordinate of the first image object and a position coordinate of a neighboring image object of the first image object. Particles of the first image object existing in the set of position coordinates are calculated as distance values from neighboring image objects bound by edge information of the first image object.
  • the penalty graph is calculated by the following equation.
  • G is a penalty graph
  • V is a position coordinate set
  • E is an edge information set
  • X i, t is a first image object
  • X j, t is a neighbor image object.
  • the penalty graph is updated for the tracked image objects, and the updated penalty graph is calculated when the position of the image objects is tracked in the next image. Use as a base.
  • the present invention further provides a medium in which a multiple image object tracking program is stored, which can be performed by a computer as a means.
  • the present invention further provides a server system in which the multiple image object tracking program is stored and which can transmit the multiple image object tracking program through a communication network.
  • the present invention further provides a computer system in which a multi-image object tracking program is installed to perform the multi-image object tracking method.
  • the present invention has the following excellent effects.
  • the position of each image object is the position of the neighboring image object. It is effective to prevent robbery in tracking objects by updating them so that they are not too close to each other.
  • FIG. 1 is a flowchart of a multi-image object tracking method according to an embodiment of the present invention
  • FIG. 2 is a view for explaining an image object to be tracked in the multiple image object tracking method according to an embodiment of the present invention
  • FIG. 3 is a view for explaining a penalty graph of a multiple image object tracking method according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining the penalty of the multi-image object tracking method according to an embodiment of the present invention.
  • a multi-image object tracking method is to track an object having position information in a two-dimensional plane.
  • an image of a touch point 11 in a touch screen 10 is provided.
  • any technique for tracking an object having location information in a two-dimensional plane such as an object's movement in a surveillance image, for example, an object's movement or security in a satellite image can be applied.
  • the multi-image object tracking method is performed by a computer system in which the multi-image object tracking program is installed as a function of each means, the computer system is connected through a computer-readable medium or a communication network After receiving and installing the program from the server system, multiple image object tracking can be performed.
  • the multi-image object tracking method by re-sampling particles from the image object tracked in the previous image, such as a particle filter, by weighting the re-sampled particles
  • the present invention can be applied to any method of predicting an image object of a current image from weighted particles.
  • the multi-image object tracking method according to an embodiment of the present invention is different from the conventional multi-image object tracking method in the method of weighting the particles, but for the convenience and understanding of the description, the multi-image object tracking method The overall procedure of the method will be explained together.
  • the touch point 11 itself, that is, the position information of the object to be tracked is detected on the touch screen 10 itself.
  • the following steps of extracting the image object and acquiring the position information may be omitted, and the target to be tracked may be a constant object having the position information instead of the image object.
  • the image object X 1, t , X 2, t , X 3, t , X 4, t is extracted from the current image and location information is obtained (S2000).
  • the position of the image object (X 1, t , X 2, t , X 3, t , X 4, t ) was extracted using an integrated image, and the integrated image is a region in which no object exists ( A pixel of 12) has a pixel value of '0' and an area in which an object exists is obtained from a binary image having a pixel value of '1'.
  • the position of the region having many white pixels in the binary image is extracted as the image objects (X 1, t , X 2, t , X 3, t , X 4, t ).
  • the image objects (X 1, t , X 2, t , X 3, t , X 4, t ) are extracted as a rectangular area surrounding the outside of the touch point.
  • each extracted image object (X 1, t , X 2, t , X 3, t , X 4, t ) is registered in a tracking list and labeled with different identifiers.
  • the penalty graph (G) is defined as information having a position coordinate set (V) and an edge information set (E), and the position coordinate set (V) is the image objects (X 1, t , X 2, t , X 3, t , X 4, t ), which is defined as a set of image objects in which a neighboring image object, which is another image object, exists within a critical distance C, and the edge information set E is the threshold distance from each other.
  • C It will be defined as a set of paired image object pairs by matching the image objects existing in the (C).
  • the first image object X 1, t and the second image object X 2, t exist within the critical distance C, and the third image object is present.
  • the penalty graph G may be expressed as Equation 1 below, and the position coordinate set (V) is calculated as a set having four position coordinates as shown in Equation 2 below, and the edge information set E is a first image object X 1, t and a second image object X 2, t.
  • Equation 3 Is a pair (X 1, t , X 2, t ) paired and the other pair (X 4, t ) and the third image object (X 3, t ) and the fourth image object (X 4, t ) paired 3, t , X 4, t ), that is, calculated as a set of two image object bundles as shown in Equation 3 below.
  • the particle set of each of the image objects (X 1, t , X 2, t , X 3, t , X 4, t ) is a Gaussian random variable ( ⁇ ) at the position (x, y) of each image object. Is generated as a plus.
  • the particle set is a set of objects having location information separated by a Gaussian random variable from the corresponding image object.
  • a Gaussian random variable is added to each particle and thus may be predicted as a particle set in the current image.
  • the particle weight is given in proportion to the brightness of the image at the position of the particle, more specifically, since the particle is substantially a two-dimensional position coordinates, and set a region of a constant size around the position of each particle, In a white pixel, that is, a region having a large pixel value of '1' in a binary image is calculated with a high weight, and a region having a small '1' is calculated with a low weight.
  • the weight is a value between '0' and '1', and normalization is performed such that the sum of the weights of all particles is '1'.
  • the calculating of the penalty (S7000) is a key step of the present invention along with generating the penalty graph (G) (S4000), the image object that is the basis of particle prediction has a neighboring image object
  • G penalty graph
  • the penalty is a value between '0' and '1'.
  • the particles are a penalty in inverse proportion to the distance between the second video object, the first image object (X 1, t) neighboring video object in the (X 2, t) calculated in the second image object (X 2, t) do.
  • the first particles x t 1 , y present at the critical distance C of the first image object X 1, t . t 1 has a penalty of '1' since the distance d1 from the first image object X 1, t is equal to the threshold distance C, and extremely the first image object X 1, t For particles present at the same position as), a penalty of '0' is obtained.
  • the second particles x t 2 and y t 2 positioned within the critical distance C have a penalty between '1' and '0'.
  • the second particles x t 2 and y t 2 are separated from the first image object X 1, t by a distance d2 of '0.5C', the second particles x t
  • the penalty for 2 , y t 2 ) is '0.5' (0.5C / C).
  • the particles that are close to the neighboring image object are multiplied by a low penalty close to '0', so the weight is calculated to be low, and thus the degree of reflecting the image object position in the current image is low.
  • the position of the image object is predicted and updated in the current image based on the positions of the weighted particles, and the penalty graph G is also updated according to the position of the updated image object.
  • the position average value of all weighted particles is predicted and updated as the position of the image object in the current image.
  • the position average value of the particles having a weight greater than or equal to a certain value or the position value of the particle having the largest weight can be predicted and updated as the position of the image object in the current image.
  • the particles are resampled to be based on particle set prediction in the next image (S9100).
  • resampling of particles removes particles below a certain weight and fills the particle number by copying particles having a high weight, thereby increasing the tracking success rate during the next tracking.
  • step S9200 it is checked whether there is an input of the next image (S9200). If there is an input of the next image, the method returns to step S2000 of extracting an image object and obtaining position information, and if not, it ends.
  • the multi-image object tracking method according to the present invention is a technology related to human computer interaction (HCI: human computer interaction), and can be used in a device using a multi-touch such as a tabletop display, a smart phone, and a smart TV.
  • HCI human computer interaction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다중 영상 객체 추적 방법에 관한 것으로, 보다 구체적으로는 다중 객체 추적시 근거리에 있는 객체들 간에 서로 식별자가 바뀌거나 사라지는 현상인 강탈 현상(hijacking problem)을 방지할 수 있는 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법에 관한 것이다.

Description

추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법
본 발명은 다중 영상 객체 추적 방법에 관한 것으로, 보다 구체적으로는 다중 객체 추적시 근거리에 있는 객체들 간에 서로 식별자가 바뀌거나 사라지는 현상인 강탈 현상(hijacking problem)을 방지할 수 있는 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법에 관한 것이다.
다중 영상 객체의 추적 기술은 인간과 컴퓨터의 상호작용(HCI:Human computer interaction)에 관한 기술로써, 최근 들어, 테이블탑 디스플레이, 스마트폰, 스마트TV와 같은 멀티터치를 활용한 장치의 증가로 주목받고 있으며 보다 직관적인 인터페이스를 위하여 멀티터치 추적분야에서 크게 활용되고 있다.
또한, 다중 영상 객체의 추적 기술은 멀티 터치에 의해 발생하는 여러 개의 터치 영역에 각각 식별정보를 부여하고 터치 영역이 이동하더라도 지속으로 동일한 식별번호가 부여되도록 하는 기술이다.
그러나 종래의 다중 영상 객체 추적 기술은 이전 객체의 위치에만 기반하여 추적이 이루어지므로 영상 객체들이 서로 근접하여 위치할 경우 한 개의 영상 객체로 인식되어 어느 하나의 영상 객체의 식별정보가 사라지거나, 두 개의 영상 객체의 식별정보가 서로 뒤바뀔 수 있으며, 하나의 객체가 두 개의 식별정보를 가져갈 수 있는 추적기 강탈 현상이 발생하는 문제점이 있다.
본 발명자들은 영상 객체 추적시 강탈 현상을 방지하여 다중 영상 객체의 추적 성공률을 높이기 위해 연구 노력한 결과, 서로 인접한 영상 객체들 간의 거리를 고려하여 가중치를 계산함으로써, 영상 객체들이 하나로 인식되거나 식별정보가 서로 뒤바뀌지 않게 할 수 다중 영상 객체 추적 방법의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 영상 객체 추적시 강탈 현상을 방지하여 다중 영상 객체 추적의 성공률을 높일 수 있는 다중 영상 객체 추적 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위하여 본 발명은 이전 영상에서 추적된 영상객체로부터 입자들(patricle)을 리-샘플링(re-sampling)하고, 리-샘플링된 각 입자들의 가중치를 계산하며, 각 입자의 위치에 해당 가중치를 곱한 값을 기반으로 현재 영상에서 상기 영상객체들의 위치를 예측하여 추적하는 다중 영상객체 추적 방법에 있어서, 상기 이전 영상의 영상객체가 임계거리 내에 위치하는 이웃 영상객체를 갖는 경우, 상기 영상객체로부터 샘플링된 입자들의 가중치는, 상기 영상 값에 해당 입자들과 상기 이웃 영상객체와의 거리 값인 벌점이 곱해져 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법을 제공한다.
바람직한 실시예에 있어서, 상기 벌점은 '0'에서 '1'사이의 값이고, 상기 이웃 영상객체와 상기 임계거리 내에 있는 입자들의 벌점은 '1'로 계산되고, 상기 이웃 영상객체와 동일한 위치에 겹치는 입자들의 거리 값은 '0'으로 계산되며, 상기 임계 거리 내에서 상기 이웃 영상객체와 가까운 입자들일수록 벌점이 '0'에 가깝도록 계산된다.
바람직한 실시예에 있어서, 상기 현재 영상 내에서 상기 영상객체의 위치는 상기 각 입자들의 위치에 해당 가중치를 곱한 위치들의 평균값으로 예측된다.
바람직한 실시예에 있어서, 상기 이전 영상에서 영상객체들의 위치를 추적한 후에, 각 영상객체에 대해 상기 임계거리 내에 이웃 영상객체가 있는지 판단하고, 이웃 영상객체가 있는 영상객체들인 제1 영상객체의 위치좌표 집합과, 상기 제1 영상객체의 위치좌표와 상기 제1 영상객체의 이웃 영상객체의 위치좌표를 서로 대응시킨 정보인 에지 정보 집합으로 이루어지는 벌점 그래프를 생성하는 단계를 더 포함하고, 상기 벌점은 상기 위치좌표 집합에 존재하는 제1 영상객체의 입자들에 대해서 상기 제1 영상객체의 에지 정보로 묶여있는 이웃 영상객체와의 거리 값으로 계산된다.
바람직한 실시예에 있어서, 상기 벌점 그래프는 아래의 수학식에 의해 계산된다.
[수학식]
Figure PCTKR2012005905-appb-I000001
여기서, G는 벌점 그래프, V는 위치좌표 집합, E는 에지 정보 집합, Xi,t는 제1 영상객체, Xj,t는 이웃 영상객체이다.
바람직한 실시예에 있어서, 상기 현재 영상에서 영상객체들의 위치를 추적한 후에 추적된 영상객체들에 대해서 상기 벌점 그래프를 갱신하고, 갱신된 벌점 그래프를 다음 영상에서 영상객체들의 위치 추적시에 벌점계산의 기반으로 사용한다.
또한, 본 발명은 상기 다중 영상 객체 추적 방법을 컴퓨터를 수단으로 기능시켜 수행할 수 있는 다중 영상 객체 추적 프로그램이 저장된 매체를 더 제공한다.
또한, 본 발명은 상기 다중 영상 객체 추적 프로그램이 저장되고 통신망을 통해 상기 다중 영상 객체 추적 프로그램을 전송할 수 있는 서버 시스템을 더 제공한다.
또한, 본 발명은 다중 영상 객체 추적 프로그램이 설치되어 상기 다중 영상 객체 추적 방법을 수행할 수 있는 컴퓨터 시스템을 더 제공한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
먼저, 본 발명의 다중 영상 객체 추적 방법에 의하면 벌점 그래프를 이용하여 각 입자들의 가중치에 인접한 영상 객체인 이웃 영상 객체의 거리에 반비례하는 벌점을 부가함으로써, 각 영상 객체의 위치가 이웃 영상 객체의 위치와 서로 너무 근접하지 않도록 갱신하여 객체 추적에 강탈현상을 방지할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법의 흐름도,
도 2는 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법에서 추적의 대상이 되는 영상 객체를 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법의 벌점 그래프를 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 다른 다중 영상 객체 추적 방법의 벌점을 설명하기 위한 도면이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법은 이차원 평면에서 위치정보를 갖는 객체를 추적하기 위한 것으로, 본 발명에서는 터치 스크린(10)에서 터치점(11)인 영상 객체를 추적하는 것을 예로 들었으나 위성 사진에서의 객체의 움직임 또는 보안 등을 위한 감시 영상에서 객체의 움직임 등, 이차원 평면에서 위치정보 갖는 객체를 추적하기 위한 어떠한 기술에도 적용이 가능하다.
또한, 본 발명의 일 실시예 따른 다중 영상 객체 추적 방법은 실질적으로 다중 영상 객체 추적 프로그램이 설치된 컴퓨터 시스템이 각 수단으로 기능하여 수행되고, 상기 컴퓨터 시스템은 컴퓨터로 읽을 수 있는 매체나 통신망을 통해 연결된 서버 시스템으로부터 상기 프로그램을 전송받아 설치한 후, 다중 영상 객체 추적을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법은 파티클 필터(particle filter)와 같이 이전 영상에서 추적된 영상객체로부터 입자들을 리-샘플링하고, 리-샘플링된 입자들에 가중치를 부여함으로써 가중치가 부여된 입자들로부터 현재 영상의 영상 객체를 예측하는 모든 방법에 적용이 가능하다.
또한, 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법은 입자들에 가중치를 부여하는 방법에 있어서 종래의 다중 영상 객체 추적 방법과 차이가 있으나, 설명의 편의와 이해를 돕기 위해 다중 영상 객체 추적 방법의 전체 과정을 함께 설명하기로 한다.
먼저, 현재 영상이 입력된다(S1000).
또한, 도 2를 참조하면, 상기 현재 영상은 터치 스크린(10)에서 입력되는 영상인 것을 예로 들었으나, 상기 터치 스크린(10) 자체에서 터치 점(11) 즉, 추적하고자 하는 객체의 위치정보를 생성하여 출력해주는 경우에는 아래의 영상 객체 추출 및 위치 정보 획득의 단계가 생략될 수 될 수 있으며, 추적하고자 하는 대상도 영상 객체가 아닌 위치 정보를 갖는 일정한 객체일 수 있다.
다음, 상기 현재 영상에서 영상 객체(X1,t,X2,t,X3,t,X4,t)의 추출하고 위치정보를 획득한다(S2000).
또한, 본 발명에서는 상기 영상 객체(X1,t,X2,t,X3,t,X4,t)의 위치를 적분영상을 이용하여 추출하였으며, 적분영상은 객체가 존재하지 않는 영역(12)의 픽셀은 '0'의 픽셀 값을 갖고 객체가 존재하는 영역은 '1'의 픽셀 값을 갖는 이진영상으로부터 얻어진다.
즉, 이진 영상 내에서 흰색의 픽셀이 많은 영역의 위치가 상기 영상 객체(X1,t,X2,t,X3,t,X4,t)로 추출된다.
본 발명에서는 상기 영상 객체(X1,t,X2,t,X3,t,X4,t)를 터치 점의 외부를 감싸는 사각형 영역으로 추출하였다.
또한, 추출된 각 영상 객체(X1,t,X2,t,X3,t,X4,t)는 추적목록에 등록되며 서로 다른 식별자로 레이블링(labling)된다.
그러나, 이전 영상에서 객체 추적이 있었을 경우, 새로운 객체가 있는지 판단하고(S3000), 새로운 객체가 있을 경우, 추적 목록에 등록하고 새로운 식별자로 레이블링한다(S3100).
다음, 벌점 그래프(G)를 생성한다(S4000).
또한, 상기 벌점 그래프(G)는 위치좌표 집합(V)과 에지 정보 집합(E)을 갖는 정보로 정의하며, 상기 위치좌표 집합(V)은 상기 영상 객체들(X1,t,X2,t,X3,t,X4,t) 중, 임계거리(C) 내에 다른 영상 객체인 이웃 영상 객체가 존재하는 영상 객체들의 집합으로 정의하고, 상기 에지 정보 집합(E)은 서로 상기 임계거리(C) 내에서 존재하는 영상 객체들을 대응시켜 짝지은 영상 객체 묶음의 집합으로 정의하기로 한다.
또한, 도 3을 참조하면, 본 발명의 실시예에서는 제1 영상객체(X1,t)와 제2 영상객체(X2,t)가 서로 임계거리(C) 내에 존재하고, 제3 영상객체(X3,t)와 제4 영상객체(X4,t)가 서로 임계거리(C) 내에 존재하므로, 상기 벌점 그래프(G)는 아래의 수학식 1과 같이 표현할 수 있고, 상기 위치좌표 집합(V)는 아래의 수학식 2와 같이 네 개의 위치좌표를 갖는 집합으로 계산되고, 상기 에지 정보 집합(E)는 제1 영상객체(X1,t)와 제2 영상객체(X2,t)가 짝지어진 하나의 묶음(X1,t,X2,t)과 상기 제3 영상객체(X3,t)와 제4 영상객체(X4,t)가 짝지어진 다른 하나의 묶음(X3,t,X4,t), 즉, 아래의 수학식 3과 같이 두개의 영상 객체 묶음의 집합으로 계산된다.
수학식 1
Figure PCTKR2012005905-appb-M000001
수학식 2
Figure PCTKR2012005905-appb-M000002
수학식 3
Figure PCTKR2012005905-appb-M000003
즉, 상기 벌점 그래프(G)는 각 영상객체들(X1,t,X2,t,X3,t,X4,t)에 대해 임계거리(C)에 내에 존재하는 영상 객체의 정보와 각 영상 객체와 인접한 이웃 영상객체의 정보를 갖는다.
다음, 상기 각 영상객체들(X1,t,X2,t,X3,t,X4,t)의 입자집합을 예측한다(S5000).
또한, 상기 각 영상객체들(X1,t,X2,t,X3,t,X4,t)의 입자집합은 각 영상객체의 위치(x,y)에 가우시안 랜덤변수(ε)를 더한 값으로 생성된다.
즉, 상기 입자집합은 해당 영상객체와 가우시안 랜덤변수만큼 떨어진 위치정보를 갖는 객체들의 집합이다.
그러나, 이전 영상에서 리 샘플링된 입자집합이 존재할 경우, 각 입자에 가우시안 랜덤변수가 더해져 현재 영상에서 입자 집합으로 예측될 수 있다.
다음, 예측된 입자들의 입자 가중치를 계산한다(S6000).
또한, 상기 입자 가중치는 상기 입자의 위치에서 영상의 밝기에 비례하여 부여되며, 더욱 자세하게는, 상기 입자는 실질적으로 이차원 위치좌표 이므로 각 입자의 위치를 중심으로 일정한 크기의 영역을 설정하고, 영역 내에 백색 픽셀 즉, 이진 영상에서 픽셀 값이 '1'이 많은 영역은 가중치가 높게 계산되고, '1'이 적은 영역은 가중치가 낮게 계산된다.
또한, 상기 가중치는 '0'에서 '1'사이의 값이며, 모든 입자들의 가중치의 합은 '1'이 되도록 정규화를 수행한다.
다음, 상기 가중치에 벌점을 부여한다(S7000).
또한, 상기 벌점을 계산하는 단계(S7000)는 상기 벌점 그래프(G)를 생성하는 단계(S4000)와 함께 본 발명의 핵심이 되는 단계로써, 입자 예측의 기반이 되는 영상 객체가 이웃 영상객체를 갖는 경우 각 입자와 이웃 영상객체의 거리에 반비례하는 벌점을 계산하여 가중치에 곱함으로써 이웃 영상객체와의 거리가 가까운 입자들은 가중치가 낮게 계산되고, 거리가 먼 입자들은 가중치가 높게 계산되게 하는 단계이다.
도 4는 상기 제2 영상객체(X2,t)의 입자들(particle)에 대한 벌점계산의 일례를 보여주는 것으로, 도 4를 참조하면, 상기 벌점은 '0'과 '1' 사이의 값이며, 상기 제2 영상객체(X2,t)의 각 입자들은 상기 제2 영상객체(X2,t)의 이웃 영상객체인 제1 영상객체(X1,t)와의 거리에 반비례하여 벌점이 계산된다.
즉, 상기 제2 영상객체(X2,t)의 입자들(particle) 중, 상기 제1 영상객체(X1,t)의 임계거리(C)에 존재하는 제1 입자(xt 1,yt 1)는 상기 제1 영상객체(X1,t)와 의 거리(d1)가 임계거리(C)와 동일하므로 '1'의 벌점을 갖고, 극단적으로 상기 제1 영상객체(X1,t)와 동일한 위치에 존재하는 입자의 경우'0'의 벌점을 갖는다.
또한, 임계거리(C) 내에 위치하는 제2 입자(xt 2,yt 2)는 '1'과 '0'사이의 값으로 벌점을 갖는다.
예를 들어, 상기 제2 입자(xt 2,yt 2)가 상기 제1 영상객체(X1,t)로부터 '0.5C'의 거리(d2)만큼 떨어져 있을 경우 상기 제2 입자(xt 2,yt 2)의 벌점은 '0.5'(0.5C/C)가 된다.
또한, 임계거리(C)를 벗어난 제3 입자(xt 3,yt 3)의 경우에는 별도로 벌점이 계산되지 않는다. 그러나 상기 제3 입자(xt 3,yt 3)에 '1'을 초과하는 벌점으로 계산하여 가중치를 증가시킬 수 있음은 물론이다.
즉, 이웃 영상객체에 가깝게 존재하는 입자들은 '0'에 가까운 낮은 벌점이 곱해지므로 가중치가 낮게 계산되어, 현재 영상에서 영상 객체 위치 예측시 반영되는 정도가 낮아진다.
따라서, 인접한 이웃 영상 객체가 존재하는 각 영상 객체의 위치는 이웃 영상객체에 너무 근접하게 예측되지 않으므로 추적기의 강탈현상을 방지할 수 있는 것이다.
다음, 가중치가 '0'인 입자들을 영상 객체의 위치 갱신에 영향을 미치지 않도록 제거한다(S8000).
다음, 가중치가 부여된 입자들의 위치를 기반으로 현재 영상에서 영상 객체의 위치를 예측하여 갱신하고, 상기 벌점 그래프(G)도 갱신된 영상 객체의 위치에 따라 갱신한다.
본 발명의 실시예에서는 가중치가 부여된 모든 입자들의 위치 평균값을 현재 영상에서 영상객체의 위치로 예측하여 갱신하였다.
그러나, 일정한 값 이상의 가중치를 갖는 입자들의 위치 평균값이나 가장 큰 가중치를 갖는 입자의 위치 값을 현재 영상에서 영상객체의 위치로 예측하여 갱신할 수 있음은 물론이다.
다음, 상기 입자들을 리 샘플링하여 다음 영상에서 입자 집합 예측에 기반이 될 수 있도록 한다(S9100)
또한, 입자들의 리 샘플링은 일정한 가중치 이하의 입자들은 제거하고, 가중치가 높은 입자들의 복사하여 입자 수를 채우는 과정으로써 다음 추적시 추적성공률을 높일 수 있도록 도와준다.
다음, 다음 영상의 입력이 있는지 확인하고(S9200), 다음 영상의 입력이 있을 경우 영상 객체를 추출하고 위치정보를 획득하는 단계(S2000)로 리턴하고, 없을 경우 종료한다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
본 발명에 다중 영상 객체 추적 방법은 인간과 컴퓨터의 상호작용(HCI:Human computer interaction)에 관한 기술로써, 테이블탑 디스플레이, 스마트폰, 스마트TV와 같은 멀티터치를 활용한 장치에 이용이 가능하다.

Claims (9)

  1. 이전 영상에서 추적된 영상객체로부터 입자들(patricle)을 리-샘플링(re-sampling)하고, 리-샘플링된 각 입자들의 가중치를 계산하며, 각 입자의 위치에 해당 가중치를 곱한 값을 기반으로 현재 영상에서 상기 영상객체들의 위치를 예측하여 추적하는 다중 영상객체 추적 방법에 있어서,
    상기 이전 영상의 영상객체가 임계거리 내에 위치하는 이웃 영상객체를 갖는 경우, 상기 영상객체로부터 샘플링된 입자들의 가중치는, 상기 영상 값에 해당 입자들과 상기 이웃 영상객체와의 거리 값인 벌점이 곱해져 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
  2. 제 1 항에 있어서,
    상기 벌점은 '0'에서 '1'사이의 값이고, 상기 이웃 영상객체와 상기 임계거리 내에 있는 입자들의 벌점은 '1'로 계산되고, 상기 이웃 영상객체와 동일한 위치에 겹치는 입자들의 거리 값은 '0'으로 계산되며,
    상기 임계 거리 내에서 상기 이웃 영상객체와 가까운 입자들일수록 벌점이 '0'에 가깝도록 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
  3. 제 2 항에 있어서,
    상기 현재 영상 내에서 상기 영상객체의 위치는 상기 각 입자들의 위치에 해당 가중치를 곱한 위치들의 평균값으로 예측되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
  4. 제 2 항에 있어서,
    상기 이전 영상에서 영상객체들의 위치를 추적한 후에,
    각 영상객체에 대해 상기 임계거리 내에 이웃 영상객체가 있는지 판단하고, 이웃 영상객체가 있는 영상객체들인 제1 영상객체의 위치좌표 집합과,
    상기 제1 영상객체의 위치좌표와 상기 제1 영상객체의 이웃 영상객체의 위치좌표를 서로 대응시킨 정보인 에지 정보 집합으로 이루어지는 벌점 그래프를 생성하는 단계를 더 포함하고,
    상기 벌점은 상기 위치좌표 집합에 존재하는 제1 영상객체의 입자들에 대해서 상기 제1 영상객체의 에지 정보로 묶여있는 이웃 영상객체와의 거리 값으로 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
  5. 제 4 항에 있어서,
    상기 벌점 그래프는 아래의 수학식에 의해 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
    [수학식]
    Figure PCTKR2012005905-appb-I000002
    여기서, G는 벌점 그래프, V는 위치좌표 집합, E는 에지 정보 집합, Xi,t는 제1 영상객체, Xj,t는 이웃 영상객체이다.
  6. 제 4 항에 있어서,
    상기 현재 영상에서 영상객체들의 위치를 추적한 후에 추적된 영상객체들에 대해서 상기 벌점 그래프를 갱신하고, 갱신된 벌점 그래프를 다음 영상에서 영상객체들의 위치 추적시에 벌점계산의 기반으로 사용하는 것을 특징으로 하는 다중 영상 객체 추적 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항의 다중 영상 객체 추적 방법을 컴퓨터를 수단으로 기능시켜 수행할 수 있는 다중 영상 객체 추적 프로그램이 저장된 매체.
  8. 제 7 항의 다중 영상 객체 추적 프로그램이 저장되고 통신망을 통해 상기 다중 영상 객체 추적 프로그램을 전송할 수 있는 서버 시스템.
  9. 제 7 항의 다중 영상 객체 추적 프로그램이 설치되어 상기 다중 영상 객체 추적 방법을 수행할 수 있는 컴퓨터 시스템.
PCT/KR2012/005905 2011-07-28 2012-07-25 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법 Ceased WO2013015601A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/234,207 US9349065B2 (en) 2011-07-28 2012-07-25 Method for tracking multiple image objects based on a penalty graph for avoiding hijacking of a tracker

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0075049 2011-07-28
KR1020110075049A KR101254087B1 (ko) 2011-07-28 2011-07-28 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법

Publications (1)

Publication Number Publication Date
WO2013015601A1 true WO2013015601A1 (ko) 2013-01-31

Family

ID=47601329

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005905 Ceased WO2013015601A1 (ko) 2011-07-28 2012-07-25 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법

Country Status (3)

Country Link
US (1) US9349065B2 (ko)
KR (1) KR101254087B1 (ko)
WO (1) WO2013015601A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600191B2 (en) * 2017-02-13 2020-03-24 Electronics And Telecommunications Research Institute System and method for tracking multiple objects

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020058560A1 (en) * 2018-09-17 2020-03-26 Nokia Solutions And Networks Oy Object tracking
JP2022032776A (ja) * 2020-08-14 2022-02-25 富士通株式会社 画像処理装置及び画面処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100635883B1 (ko) * 2005-05-27 2006-10-18 성균관대학교산학협력단 실시간 물체 추적 장치
JP2007328746A (ja) * 2006-06-09 2007-12-20 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法
JP2008257526A (ja) * 2007-04-05 2008-10-23 Nippon Hoso Kyokai <Nhk> 識別情報推定装置及び識別情報推定プログラム
KR20090043016A (ko) * 2007-10-29 2009-05-06 재단법인 포항산업과학연구원 파티클 필터를 이용한 다중물체 추적방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100635883B1 (ko) * 2005-05-27 2006-10-18 성균관대학교산학협력단 실시간 물체 추적 장치
JP2007328746A (ja) * 2006-06-09 2007-12-20 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法
JP2008257526A (ja) * 2007-04-05 2008-10-23 Nippon Hoso Kyokai <Nhk> 識別情報推定装置及び識別情報推定プログラム
KR20090043016A (ko) * 2007-10-29 2009-05-06 재단법인 포항산업과학연구원 파티클 필터를 이용한 다중물체 추적방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600191B2 (en) * 2017-02-13 2020-03-24 Electronics And Telecommunications Research Institute System and method for tracking multiple objects

Also Published As

Publication number Publication date
KR101254087B1 (ko) 2013-04-12
US9349065B2 (en) 2016-05-24
KR20130013416A (ko) 2013-02-06
US20140177923A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
WO2012102519A2 (en) Terminal having touch screen and method for identifying touch event therein
WO2017074005A1 (ko) Cctv 자동선별 모니터링 시스템, cctv 자동선별 모니터링 관리서버 및 관리방법
WO2019164074A1 (ko) 미세 먼지 분석 방법 및 이를 수행하기 위한 장치
EP3538975A1 (en) Electronic device and methods for determining orientation of the device
CN110009712A (zh) 一种图文排版方法及其相关装置
WO2022025565A1 (en) System and method for generating bokeh image for dslr quality depth-of-field rendering and refinement and training method for the same
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2013015601A1 (ko) 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
WO2011078596A2 (ko) 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
WO2013047967A1 (en) Apparatus and method for generating and retrieving location-tagged content in computing device
WO2013022159A1 (en) Traffic lane recognizing apparatus and method thereof
WO2011043498A1 (ko) 지능형 영상 감시 장치
WO2026049425A1 (ko) 단일 소실점 인식 기반의 카메라 칼리브레이션 방법
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
WO2022103171A1 (en) Method and device of depth densification using rgb image and sparse depth
WO2019009579A1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
WO2016204412A1 (ko) 단말 장치 및 이에 의한 이미지 표시 방법, 및 웹 서버 및 이에 의한 웹 페이지 제공 방법
WO2014021490A1 (ko) 화면 인지성 검사 장치 및 이를 이용한 화면 인지성 테스트 시스템
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2025135266A1 (ko) 이미지 기반의 미세먼지 측정 방법 및 시스템
WO2024019336A1 (ko) 디자인 이미지 클러스터링 방법 및 장치
WO2013047944A1 (ko) 저시력인을 위한 터치스크린 장치 및 그 디스플레이 방법
WO2020101063A1 (ko) 강화학습 기반 ptz 카메라 제어 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12817238

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14234207

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12817238

Country of ref document: EP

Kind code of ref document: A1