WO2013180530A1 - 특징점 기술자에 의한 객체 추적장치 및 방법, 에러 특징점 제거장치 및 방법, 그리고 이동 단말에 구현되는 장치 - Google Patents

특징점 기술자에 의한 객체 추적장치 및 방법, 에러 특징점 제거장치 및 방법, 그리고 이동 단말에 구현되는 장치 Download PDF

Info

Publication number
WO2013180530A1
WO2013180530A1 PCT/KR2013/004840 KR2013004840W WO2013180530A1 WO 2013180530 A1 WO2013180530 A1 WO 2013180530A1 KR 2013004840 W KR2013004840 W KR 2013004840W WO 2013180530 A1 WO2013180530 A1 WO 2013180530A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
interest
descriptors
descriptor
feature point
Prior art date
Application number
PCT/KR2013/004840
Other languages
English (en)
French (fr)
Inventor
허준희
이정선
정용욱
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Publication of WO2013180530A1 publication Critical patent/WO2013180530A1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Definitions

  • the present invention relates to an object tracking device and method by a feature point descriptor, and an error feature point removal device and method. More specifically, an object of interest that generates a feature descriptor from an input image and targets a target object to be detected. An apparatus and method for removing a mismatched feature point to track a.
  • the SIFT algorithm is a method of expressing the histogram of the gradient direction of each pixel in eight directions in the detail region centered on the feature points extracted from the image and expressing it in a 128-dimensional vector.
  • a plurality of differential images should be generated from the original image, and operations such as vector calculation should be performed on all pixels of each differential image. Therefore, when tracking the object of interest, the accuracy is higher than that of other feature-based algorithms.
  • the disadvantage is that the computational complexity is high.
  • the SURF algorithm improves the speed of the SIFT algorithm and improves the processing speed by using an integrated image and a fast Hessian detector based on an approximate Hessian detector to extract feature points.
  • this method has the disadvantage that the accuracy performance is lowered instead of being faster than the SIFT algorithm.
  • U. S. Patent No. 6, 711, 293 (Registration Date: Mar. 23, 2004) discloses a method for identifying size-invariant feature points in an image and using the feature points to determine the position of an object included in the image. Is disclosed.
  • U.S. Patent Application Publication No. 2009/0238460 (published on Sep. 24, 2009) also discloses a method for rapidly finding feature points of magnitude and rotational invariance.
  • An object of the present invention is to provide an apparatus and method for tracking an object by a feature point descriptor that can reduce the computational complexity and detect and track an object of interest in real time on a mobile device.
  • Another technical problem to be solved by the present invention is a computer recording a program for executing an object tracking method on a computer by a feature descriptor capable of detecting and tracking an object of interest in real time on a mobile device by reducing computational complexity.
  • a feature descriptor capable of detecting and tracking an object of interest in real time on a mobile device by reducing computational complexity.
  • Another object of the present invention is to provide an apparatus and method for removing error features that can improve the accuracy of detecting and tracking an object of interest in a mobile environment in which there is a lot of shaking.
  • Another technical problem to be solved by the present invention is a computer-readable recording program for executing an error feature removal method that can improve the accuracy of detecting and tracking an object of interest in a mobile environment in which there is a lot of shaking. To provide the medium.
  • Another object of the present invention is to provide an apparatus implemented in a mobile terminal capable of improving the accuracy of detecting and tracking an object of interest in a mobile environment in which there is a lot of shaking.
  • an apparatus for tracking an object by a feature descriptor according to an embodiment of the present invention, wherein the feature descriptor of the object of interest representing information of each of the feature points of the object of interest extracted from an input image to be detected.
  • a feature descriptor generator for generating descriptors
  • a matching unit to determine the feature descriptors of the object of interest corresponding to the target object in comparison with the feature descriptors of the object of interest and previously stored feature descriptors of the target object
  • a feature point remover configured to determine at least one final feature descriptor of the object of interest by removing feature descriptors that do not satisfy the geometric comparison condition among the feature descriptors of the object of interest.
  • a method for tracking an object by a feature descriptor according to an embodiment of the present invention. Generating feature point descriptors; (b) the tube corresponding to the target object by comparing the feature descriptors of the object of interest with the feature descriptors of the target object previously stored; Determining a feature descriptor of the core object; And (C) removing the feature descriptors that do not satisfy the geometric comparison condition among the feature descriptors of the object of interest to determine the final feature descriptor of the object of interest.
  • an error feature point removing apparatus inputs feature point descriptors of an object of interest extracted from an input image by matching with feature point descriptors of a target object stored in advance.
  • an error feature point removal method includes (a) feature point descriptors of an object of interest extracted from an input image by matching with feature point descriptors of a target object stored in advance. Receiving an input; (b) applying a predetermined geometric comparison condition to the feature descriptors of the object of interest; And (c) determining the final feature descriptor of the object of interest by removing a feature descriptor that does not satisfy the geometric comparison condition among the feature descriptors of the object of interest.
  • an apparatus implemented in a mobile terminal removes feature descriptors that do not satisfy geometric comparison conditions among feature point descriptors of an object of interest, and removes the feature points.
  • An error feature removal unit for generating final feature descriptors of the object of interest based on descriptors;
  • a storage unit for storing the final feature descriptors and the target object, wherein the geometric comparison condition is a ratio of a first projection transformation matrix calculated for the feature descriptors of the object of interest to the feature descriptor of the stored target object.
  • the object tracking device and method in detecting an object of interest from an input image, a geometric comparison condition is applied to the feature points obtained by matching.
  • a geometric comparison condition is applied to the feature points obtained by matching.
  • FIG. 1 is a block diagram showing the configuration of a preferred embodiment of an apparatus for tracking an object by a feature descriptor according to the present invention
  • FIG. 2 is a block diagram showing a configuration of an embodiment of a feature descriptor generator
  • FIG. 3 illustrates an embodiment of generating an image pyramid by repeatedly applying a Gaussian filter to an input image.
  • FIG. 4 is a diagram illustrating an example for determining whether a corner feature point is centered on an increasing point p;
  • FIG. 5 illustrates an embodiment of detecting corner feature points by the FAST technique.
  • FIG. 6 is a diagram illustrating an example of generating a feature descriptor by dividing a pixel area into nine sub-areas
  • FIG. 7 is a block diagram showing the configuration of a preferred embodiment of the error feature point removing apparatus according to the present invention.
  • Figure 8 is a view showing the same for the points on the geometric ratio for o T condition inspection plane
  • FIG. 9 is a diagram illustrating an example of determining a final feature point descriptor using geometric comparison conditions
  • FIG. 10 is a flowchart illustrating a preferred embodiment of a method for tracking an object by a feature descriptor according to the present invention.
  • 11 is a flowchart illustrating a preferred embodiment of the method for removing an error feature point according to the present invention.
  • FIG. 1 is a block diagram showing the configuration of a preferred embodiment of an object tracking device by a feature descriptor according to the present invention.
  • an object tracking apparatus is a feature point descriptor generation unit.
  • a matching unit 120 a matching unit 110, a matching unit 120, a feature point removing unit 130, and a storage unit 140.
  • the feature point descriptor generation unit 110 generates a plurality of feature point descriptors indicating information of each of the plurality of feature points detected from the input image to detect an object of interest.
  • the feature descriptor generator 110 may generate a feature descriptor by using an existing known technique or by modifying the known technique.
  • FIG. 2 is a block diagram illustrating a configuration of an embodiment of the feature point descriptor generator 110.
  • the feature point descriptor generator 110 may include an image pyramid generator 112, a corner point detector 114, and a descriptor generator 116.
  • the image pyramid generator 112 generates an image pyramid composed of differential images whose resolution changes in stages from an input image.
  • An image pyramid can be created by iteratively applying a low pass filter such as a Gaussian filter to an input image.
  • FIG. 3 is a diagram illustrating an embodiment of generating an image pyramid by repeatedly applying a Gaussian filter to an input image. Referring to FIG. 3, it can be confirmed that a result, such that the input image is gradually blurred by the Gaussian filter and consequently the input image is reduced, is obtained.
  • the number of differential images constituting the image pyramid, that is, the number of times the Gaussian filter is applied may be preliminarily set.
  • the corner point detector 114 detects a corner feature point from each difference image constituting the image pyramid, and determines a corner feature point commonly detected from each difference image of the image pyramid as a size-invariant feature point.
  • the corner point detector 114 may use the FAST Features from Accelerated Segment Test (FAST Features) technique, which is one of methods for detecting corner feature points, in advance based on a center point for checking whether the corner feature points are present. It is possible to determine whether the center point corresponds to the corner feature point by comparing the values of the center point and the surrounding pixels of the circular area located within the set distance.
  • FAST Features FAST Features from Accelerated Segment Test
  • the corner point detecting unit 114 includes n consecutive preset preset points (e.g.
  • n 12) when the surrounding pixels have a pixel value higher than a predetermined threshold value compared to the center point, or when consecutive n or more peripheral pixels have a pixel value lower than the threshold value than the center point, the center point is selected. It can be detected as corner feature points of the difference image. 4 illustrates an example for determining whether a corner feature point is centered on the center point p.
  • FIG. 5 is a diagram illustrating an embodiment of detecting corner feature points by the FAST technique.
  • a point denoted by a circle represents a corner feature point in which nine consecutive peripheral pixels have a high or low pixel value above a threshold value
  • a point denoted by a triangle denotes a threshold of 12 consecutive peripheral pixels. Represents a corner feature that has a pixel value that is higher or lower than its value.
  • the corner point detecting unit 114 detects corner feature points from each difference image of the image pyramid by the method described above, and then converts the corner feature points commonly detected from all the difference images as feature size constants of the input image. Decide
  • the descriptor generator 116 generates a feature descriptor for each of the size-invariant feature points determined by the corner point detector 114.
  • a 128D vector feature descriptor is generated, while the descriptor generator 116 can generate a 36D vector feature descriptor having only gradient components of the X and Y axes of the image. have.
  • the descriptor generation unit 116 divides a pixel area having a predetermined size centering on each corner feature point into a plurality of sub-regions, and then calculates gradients in four directions for each sub-region. By storing it as a histogram, we can create feature descriptors of the magnitude block.
  • the gradient is a vector representing the direction and size of the pixel value change, and may be calculated by Equation 1 below.
  • I (x, y) means a pixel value of (x, y) coordinate of the image
  • magnitude (x, y) means a pixel value of (x, y) coordinate of the image
  • the descriptor generation unit 116 divides the pixel area centered on each corner feature point into nine sub-areas of 3 3 (pixel) size, and a histogram of the gradient in four directions for each sub-area. As a result, a 36-dimensional feature descriptor can be generated as a result.
  • 6 is a diagram illustrating an example of generating a feature descriptor by dividing a pixel area into nine sub-regions.
  • the present invention is to track an object of interest at a high speed by reducing the amount of computation in a mobile device. Computation speed can be improved compared to creating feature point descriptors.
  • the matching unit 120 determines the feature descriptor of the object of interest corresponding to the target object by comparing the feature descriptors generated by the method described above with the feature descriptors of the target object previously stored.
  • the target object is a comparison target for detecting an object of interest from the input image
  • the target object may be previously stored in the database before the image recording for tracking the object of interest is started.
  • the object of interest detected from the first image frame in which object detection is started may be stored in a database as a target object.
  • the matching unit 120 calculates a distance between the feature descriptors generated from the current input image and the feature descriptors of the target object stored in the database, and calculates only the feature descriptors having the calculated distance less than or equal to a preset threshold. Determine as a feature point descriptor.
  • the distance between the feature descriptors can be calculated using a variety of existing methods, for example, can be calculated by the sum of Absolute Difference (SAD), as shown in Equation 2 below.
  • SAD Absolute Difference
  • f n (i) is the i-th value of the 36-dimensional feature point descriptor generated from the input image
  • f m '(i) is the i-th value of the feature point descriptor corresponding to the target object.
  • the threshold for determining whether it corresponds to the feature descriptor of the object of interest may be calculated by Equation 3 below.
  • W is a weight
  • dist is a distance value calculated for all feature descriptors generated from the input image
  • min (a) is the minimum value of a
  • avg (a) is the value of a Mean average value.
  • the feature point that is applied to the object of interest by matching with the target object as described above Even if the operator is determined, matching errors may occur as the dimension of the feature descriptor is reduced. Furthermore, the image captured by the mobile device has a higher probability of occurrence of such a matching error than the image captured in the stationary state.
  • the feature point removing unit 130 of the object tracking apparatus determines the final feature descriptor of the object of interest by removing feature descriptors that do not satisfy the geometric invariant among the feature descriptors of the object of interest. do. According to this additional filtering process, an error feature that is incorrectly matched with the target object may be removed.
  • the feature point removing unit 130 may be implemented as some components of the object tracking device according to the present invention as described above, and may be implemented as one independent device to detect an existing object. It may be used to improve the performance of.
  • Figure 7 is a block diagram showing the configuration of a preferred embodiment of the error feature point removal apparatus according to the present invention.
  • the error feature point removing apparatus includes an input unit 210, a feature point processor 220, and a feature point determiner 230.
  • the error feature point removing apparatus according to the present invention will be described in detail as having the same configuration as the feature point removing unit 130 of the object tracking apparatus according to the present invention described above.
  • the input unit 210 of the error feature point removing apparatus receives feature point descriptors of an object of interest extracted from an input image by matching with feature point descriptors of a target object stored in advance. This is the same as the feature point remover 130 of the object tracking device according to the present invention receives the feature descriptors of the object of interest determined by the matching unit 120.
  • the feature point processor 220 applies a geometric comparison condition set in advance to the feature descriptors of the object of interest.
  • the feature point processor 220 compares the ratio of the projection transformation determinant calculated for the feature descriptors of the object of interest to the ratio of the projection transformation determinant calculated for the feature descriptors of the target object. Examine whether the technicians meet the geometric comparison requirements.
  • the feature point processor 220 may use five points located on the same plane of the object of interest and the object of interest to check whether the geometric comparison condition is satisfied.
  • 8 is a diagram showing points on the same plane for checking the geometric comparison condition. Five points of ⁇ to P 5 as shown in FIG. 8 may be represented as in Equation 4 below.
  • (Xi.y;) is the coordinate at the image of the i th point
  • Zi is 1 because 5 points are located on the same plane. Is set to.
  • one 3 3 matrix may be generated from three points 3 ⁇ 4, Pj and P k represented by Equation 4, which may be represented by Equation 5 below.
  • m ijk in Equation 5 is a matrix obtained for Pi, Pj and P k of the object of interest, similarly to IV, Pj 'and IV corresponding to Pi, Pj and P k in the target object
  • a matrix m ' ijk of FIG. 3 may be generated.
  • the ratio of the determinant of the matrix generated from three points is known to be invariant to the perspective transformat ion (P. Put jarupong, C. Pintavirooj, W. Withayachumnankul). , and M. Sangworasi 1, "Image Registration Exploiting Five-point Co lanar Perspective ' Invariant and Maximum-Curvature Point", In Journal WSCG, volume 12, pages 341348, 2004).
  • the following equation (6) holds for two different projection transformations.
  • the feature point processing unit 220 sequentially applies geometric invariants to the feature point descriptors of the object of interest as shown in Equation 6, and the feature point determination unit 230 performs a geometric comparison by the feature point processing unit 220.
  • the final feature descriptor of the object of interest is determined by removing the feature descriptor that is determined not to satisfy the condition.
  • the feature point processor 220 may first of all the feature point descriptors of an object of interest.
  • feature point processing unit In operation 220, six feature descriptors are selected from feature descriptors of an object of interest, and then six geometric comparison condition equations are calculated from five points each by 6 C 5 to compare the condition.
  • the feature point determiner 230 removes feature descriptors that do not satisfy the geometric comparison condition among the initial feature descriptors.
  • the number of feature descriptors to be removed may be set in advance.
  • the feature point processing unit after some feature point descriptors are removed by the feature point determiner 230.
  • the feature point determiner 230 may determine the final feature descriptor of the object of interest. As described above, the above process is performed by the feature point removing unit 130 of the object tracking apparatus according to the present invention.
  • the storage 140 stores a final feature descriptor of the object of interest determined by the feature point remover 130 in a database (not shown).
  • the storage 140 stores a new final feature descriptor database in real time whenever the feature descriptors of the object of interest are selected by the feature removal unit 130 each time and the process of checking whether the geometric comparison condition is satisfied is repeated. Can be added to (not shown).
  • FIG. 9 is a diagram illustrating an example of determining a final feature point descriptor using geometric comparison conditions.
  • FIG. 9A the ratios of the six projection transformation determinants from the seven points were calculated and matched with the target object with an average error of 4.3%.
  • FIG. 9 (b) the ratio of 14 projection transformation determinants from 9 points was calculated, and the target object was matched with an error of 5.0% on average.
  • FIG. 10 is a flowchart illustrating a preferred embodiment of a method for tracking an object by a feature descriptor according to the present invention.
  • the image pyramid generator 112 generates an image pyramid composed of differential images whose resolution changes in stages from an input image (S1010), and the corner point detector 114 generates an image pyramid. A corner feature point is detected from each difference image of (S1020). As described above, image pyramid generation and corner feature point detection may be performed using existing known techniques.
  • the descriptor generator 116 generates a feature point descriptor for each of the size-invariant feature points, which are corner feature points commonly detected in each difference image (S1030).
  • the matching unit 120 determines feature point descriptors of the object of interest by performing feature point matching by a method of calculating a distance between the generated feature point descriptors and the feature point descriptors of the target object stored in advance (S1040).
  • the feature point remover 130 determines the final feature descriptor of the object of interest by removing the feature descriptors that do not satisfy the geometric comparison condition among the feature descriptors of the object of interest (S1050).
  • 11 is a flowchart illustrating a preferred embodiment of the method for removing an error feature point according to the present invention.
  • the feature point processing unit ( 220 applies a geometric comparison condition set in advance to the feature descriptors of the object of interest (S1120).
  • the feature point determiner 230 determines the final feature descriptor of the object of interest by removing the feature descriptors that do not satisfy the geometric comparison condition among the feature descriptors of the object of interest (S1130).
  • the present invention can also be embodied as computer readable code on a computer readable talk medium.
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법이 개시된다. 특징점 기술자 생성부는 관심객체를 검출하고자 하는 입력영상으로부터 추출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자를 생성한다. 매칭부는 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 목표객체에 대응하는 관심객체의 특징점 기술자를 결정한다. 특징점 제거부는 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 관심객체의 최종 특징점 기술자를 확정한다. 본 발명에 따르면, 입력영상으로부터 관심객체를 검출함에 있어 매칭에 의해 얻어진 특징점들에 기하학적 비교 조건을 적용하여 잘못 매칭된 특징점을 제거함으로써 객체 추적의 정확도를 향상시킬 수 있다.

Description

【명세서】
【발명의명칭】
특징점 기술자에 의한 객체 추적장치 및 방법， 에러 특징점 제거장치 및 방 법, 그리고 이동 단말에 구현되는 장치
【기술분야】
<1> 본 발명은 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징 점 제거장치 및 방법에 관한 것으로, 보다 상세하게는， 입력영상으로부터 특징점 기술자를 생성하여 검출 대상인 목표객체에 대웅하는 관심객체를 추적하기 위해 잘 못 매칭된 특징점을 제거하는 장치 및 방법에 관한 것이다.
【배경기술】
<2> 최근 모바일 기기의 성능 향상에 따라 모바일 기기에서 단독으로 영상의 관 심객체를 검출 및 추적하기 위한 시도가 늘고 있다. 영상에 포함된 관심객체를 검 출하는 기존의 알고리즘으로는 Scale Invariant Feature Transform(SIFT)와 Speeded Up Robust Features (SURF)가 있다 .
<3> SIFT 알고리즘은 영상으로부터 추출된 특징점올 중심으로 하는 세부영역에서 각 화소의 기울기 방향 히스토그램을 8개의 방향으로 구분하여 128차원의 백터로 표현하는 방법이다. 이를 위해 원본영상으로부터 복수의 차분영상을 생성하고， 각 각의 차분영상의 모든 화소들에 대해 백터 산출 등의 연산을 수행하여야 하므로 관 심객체를 추적할 때 다른 특징점 기반 알고리즘에 비해 정확도가 높은 대신 계산 복잡도가 높다는 단점이 있다.
<4> 또한 SURF 알고리즘은 SIFT 알고리즘의 속도를 향상시킨 것으로， 특징점을 추출하기 위해 근사화된 헤시안 검출기 (Hessian detector)를 기반으로 적분영상과 고속 헤시안 검출기를 사용함으로써 처리속도를 향상시킨다. 그러나 이 방법은 SIFT 알고리즘에 비해 속도가 빨라진 대신 정확도 성능이 저하되었다는 단점을 가 진다.
<5> 미국등톡특허 제 6， 711， 293호 (등록일: 2004. 03. 23.)에는 영상에서 크기 불 변 특징점을 식별하고， 특징점을 사용하여 영상에 포함된 객체의 위치를 파악하는 방법이 개시되어 있다. 또한 미국공개특허 제 2009/0238460호 (공개일: 2009. 09. 24.)에는 크기 및 회전 불변의 특징점을 빠른 속도로 찾기 위한 방법이 개시되어 있다.
【발명의 내용】
【기술적 과제】 본 발명이 이루고자 하는 기술적 과제는， 계산 복잡도를 완화시켜 모바일 기 기에서 실시간으로 영상의 관심객체를 검출 및 추적할 수 있는 특징점 기술자에 의 한 객체 추적장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 계산 복잡도를 완화시켜 모바 일 기기에서 실시간으로 영상의 관심객체를 검출 및 추적할 수 있는 특징점 기술자 에 의한 객체 추적방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는， 흔들림이 많이 존재하는 모바일 환경에서 관심객체 검출 및 추적의 정확도를 향상시킬 수 있는 에러 특징점 제거장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는， 흔들림이 많이 존재하는 모바일 환경에서 관심객체 검출 및 추적의 정확도를 향상시킬 수 있는 에러 특징점 제거방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽올 수 있는 기록매체를 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 흔들림이 많이 존재하는 모바일 환경에서 관심객체 검출 및 추적의 정확도를 향상시킬 수 있는 이동 단말에 구현되는 장치를 제공하는 데 있다.
【기술적 해결방법】
상기의 기술적 과제를 달성하기 위한， 본 발명에 따른 특징점 기술자에 의한 객체 추적장치는, 관심객체를 검출하고자 하는 입력영상으로부터 추출된 상기 관심 객체의 특징점들 각각의 정보를 나타내는 상기 관심객체의 특징점 기술자
(descriptor)들을 생성하는 특징점 기술자 생성부; 상기 관심객체의 특징점 기술자 들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 상기 목표객체에 대응 하는 상기 관심객체의 특징점 기술자 * 결정하는 매칭부; 및 상기 관심객체의 특징 점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자들을 제거하여 상기 관심객체의 최종 특징점 기술자를 적어도 하나 확정하는 특징점 제거부；를 구 비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 특징점 기술자에 의한 객체 추적방법은， (a) 관심객체를 검출하고자 하는 입력영상으로부터 추출된 상기 관심객체의 특징점들 각각의 정보를 나타내는 관심객체의 특징점 기술자 (descriptor)들을 생성하는 단계; (b) 상기 관심객체의 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 상기 목표객체에 대응하는 상기 관 심객체의 특징점 기술자를 결정하는 단계; 및 (C) 상기 관심객체의 특징점 기술자 들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객 체의 최종 특징점 기술자를 확정하는 단계;를 갖는다.
<13> 상기의 다른 기술적 과제를 달성하기 위한， 본 발명에 따른 에러 특징점 제 거장치는, 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으 로부터 추출된 관심객체의 특징점 기술자들을 입력받는 입력부; 상기 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조건을 적용하는 특징점 처리부; 및 상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족 하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정 하는 특징점 확정부；를 구비한다.
<14> . 상기의 다른 기술적 과제를 달성하기 위한， 본 발명에 따른 에러 특징점 제 거방법은， (a) 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영 상으로부터 추출된 관심객체의 특징점 기술자들을 입력받는 단계; (b) 상기 관심객 체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조건을 적용하는 단 계; 및 (c) 상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족 하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정 하는 단계 ;를 갖는다.
<15> 상기의 또 다른 기술적 과제를 달성하기 위한ᅳ 본 발명에 따른 이동 단말에 구현되는 장치는， 관심객체의 특징점 기술자들 중에서 기하학적 비교 조건올 만족 하지 않는 특징점 기술자들을 제거하고， 상기 제거된 특징점 기술자들에 기초하여 상기 관심객체의 최종 특징점 기술자들을 생성하는 에러 특징점 제거부; 및 상기 최종 특징점 기술자들 및 목표객체를 저장하는 저장부；를 구비하고， 상기 기하학적 비교 조건은 상기 관심객체의 특징점 기술자들에 대해 계산된 제 1투영 변환 행렬식 의 비와 상기 저장된 목표객체의 특징점 기술자들에 대해 계산된 제 2투영 변환 행 렬식의 비의 비교결과에 기초한 조건을 갖는다.
【유리한 효과】
<16> 본 발명에 따른 특징점 기술자에 의한 객체 추적장치 및 방법 , 그리고 에러 특징점 제거장치 및 방법에 의하면， 입력영상으로부터 관심객체를 검출함에 있어 매칭에 의해 얻어진 특징점들에 기하학적 비교 조건을 적용하여 잘못 매칭된 특징 점을 제거함으로써 객체 추적의 정확도를 향상시킬 수 있으며， 연산량을 감소시켜 객체 추적 속도를 향상시킬 수 있으므로 모바일 기기에 구현하기 적합하다.
【도면의 간단한 설명】 <17> 도 1은 본 발명에 따른 특징점 기술자에 의한 객체 추적장치에 대한 바람직 한 실시예의 구성을 도시한 블록도,
<18> 도 2는 특징점 기술자 생성부에 대한 일 실시예의 구성을 도시한 블록도，
<19> 도 3은 입력영상에 가우시안 필터를 반복적으로 적용하여 영상 피라미드를 생성하는 일 실시예를 나타낸 도면，
<20> 도 4는 증심점 p를 중심으로 코너 특징점 여부를 결정하기 위한 일 예를 도 시한 도면，
<2i> 도 5는 FAST기법에 의해 코너 특징점을 검출하는 일 실시예를 도시한 도면，
<22> 도 6은 화소영역을 9개의 서브영역으로 분할하여 특징점 기술자를 생성하는 일 예를 도시한 도면,
<23> 도 7은 본 발명에 따른 에러 특징점 제거장치에 대한 바람직한 실시예의 구 성을 도시한 블록도，
<24> 도 8은 기하학적 비ᅩ교 조건 검사를 위한 위한 동일 평면상의 점들을 도시한 도면，
<25> 도 9는 기하학적 비교 조건을 사용하여 최종 특징점 기술자를 확정하는 예를 나타낸 도면，
<26> 도 10은 본 발명에 따른 특징점 기술자에 의한 객체 추적방법에 대한 바람직 한 실시예의 수행과정을 도시한 흐름도, 그리고，
<27> 도 11는 본 발명에 따른 에러 특징점 제거방법에 대한 바람직한 실시예의 수 행과정을 도시한 흐름도이다.
【발명의 실시를 위한 형태】
<28> 이하에서 첨부된 도면들을 참조하여 본 발명에 따른 특징점 기술자에 의한 객체 추적장치 및 방법， 그리고 에러 특징점 제거장치 및 방법의 바람직한 실시예 에 대해 상세하게 설명한다 .
<29> 도 1은 본 발명에 따른 특징점 기술자에 의한 객체 추적장치에 대한 바람직 한 실시예의 구성을 도시한 블록도이다.
<30> 도 1을 참조하면， 본 발명에 따른 객체 추적장치는 특징점 기술자 생성부
(110), 매칭부 (120), 특징점 제거부 (130) 및 저장부 (140)를 구비한다.
<3i> 특징점 기술자 생성부 (110)는 관심객체를 검출하고자 하는 입력영상으로부터 검출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자를 생성한다. 이를 위해 특징점 기술자 생성부 (110)는 기존의 알려진 기법을 사용하거나, 알려진 기법을 변형하여 특징점 기술자를 생성할 수 있다. <32> 도 2는 특징점 기술자 생성부 (110)에 대한 일 실시예의 구성을 도시한 블록 도이다. 도 2를 참조하면, 특징점 기술자 생성부 (110)는 영상 피라미드 생성부 (112), 코너점 검출부 (114) 및 기술자 생성부 (116)를 구비할 수 있다.
<33> 영상 피라미드 생성부 (112)는 입력영상으로부터 단계적으로 해상도가 변화하 는 차분영상들로 이루어진 영상 피라미드를 생성한다. 영상 피라미드는 입력영상에 가우시안 필터 (Gaussian filter)와 같은 저역 통과 필터를 반복적으로 적용함으로 써 생성될 수 있다.
<34> 도 3은 입력영상에 가우시안 필터를 반복적으로 적용하여 영상 피라미드를 생성하는 일 실시예를 나타낸 도면이다. 도 3을 참조하면， 가우시안 필터에 의해 입력영상이 단계적으로 블러링되어 결과적으로 입력영상이 축소되는 것과 같은 결 과가 얻어지는 것을 확안할 수 있다. 영상 피라미드를 구성하는 차분영상의 개수， 즉 가우시안 필터의 적용 횟수는 적웅적으로 사전에 설정될 수 있다.
<35> 코너점 검출부 (114)는 영상 피라미드를 구성하는 각각의 차분영상으로부터 코너 특징점을 검출하고， 영상 피라미드의 각 차분영상으로부터 공통적으로 검출된 코너 특징점을 크기 불변의 특징점으로 결정한다.
<36> 일 실시예로서， 코너점 검출부 (114)는 코너 특징점을 검출하기 위한 방법 중 하나인 FAST Features from Accelerated Segment Test) 기법을 사용하여 코너 특징 점 여부를 확인하기 위한 중심점올 기준으로 사전에 설정된 거리 내에 위치하는 원 형 영역의 주변 화소들과 중심점의 값을 대비하여 중심점이 코너 특징점에 해당하 는지 판단할 수 있다.
<37> 구체적으로, 코너점 검출부 (114)는 연속하는 사전에 설정된 n개 (예를 들면ᅳ
n=12) 이상의 주변 화소들이 중심점에 비해 사전에 설정된 임계값 이상으로 높은 화소값을 가지는 경우 또는 연속하는 n개 이상의 주변 화소들이 중심점에 비해 임 계값 이상으로 낮은 화소값을 가지는 경우에 해당 중심점을 차분영상의 코너 특징 점으로 검출할 수 있다. 도 4에는 중심점 p를 중심으로 코너 특징점 여부를 결정하 기 위한 일 예가 도시되어 있다.
<38> 또한 코너점 검출부 (114)는 도 4에서 중심점 p로부터 일정 거리만큼 떨어져 원형으로 배열된 16개의 화소들을 모두 중심점 p와 대비하는 대신 코너 특징점 검 출의 속도를 높이기 위하여 중심점 p에 대하여 수직 및 수평 방향으로 위치한 네 개의 화소들， 예를 들면, 도 4에서 1， 5， 9 및 13으로 표시된 화소들만을 중심점 p 와 대비한 후 주변 화소들에 대해 기계 학습 (Machine Learning) 방법 중 하나인 의 사결정 트리 (Decision Tree)를 적용하여 빠르게 코너 특징점을 검출할 수 있다. <39> 도 5는 FAST 기법에 의해 코너 특징점을 검출하는 일 실시예를 도시한 도면 이다. 도 5에서 원 (circle)으로 표시된 지점은 9개의 연속하는 주변 화소들이 임계 값 이상으로 높거나 낮은 화소값을 가지는 코너 특징점을 나타내며， 삼각형 (triangle)으로 표시된 지점은 12개의 연속하는 주변 화소들이 임계값 이상으로 높 거나 낮은 화소값을 가지는 코너 특징점을 나타낸다.
<40> 코너점 검출부 (114)는 이상에서 설명한 방법에 의해 영상 피라미드의 각 차 분영상으로부터 코너 특징점을 검출한 후 모든 차분영상으로부터 공통적으로 검출 되는 코너 특징점을 입력영상에 대한 크기 불변의 특징점으로 결정한다.
<4i> 다음으로 기술자 생성부 (116)는 코너점 검출부 (114)에 의해 결정된 크기 불 변의 특징점 각각에 대하여 특징점 기술자를 생성한다. 기존의 SIFT 알고리즘에서 는 128차원 백터 형태의 특징점 기술자가 생성되는 반면， 기술자 생성부 (116)는 영 상의 X축 및 y축에 대한 그라디언트 성분만올 가지는 36차원 백터 형태의 특징점 기술자를 생성할 수 있다.
<42> 구체적으로， 기술자 생성부 (116)는 각 코너 특징점을 중심으로 하는 사전에 설정된 크기의 화소영역을 복수의 서브영역으로 분할한 후， 각각의 서브영역마다 네 방향으로의 그라디언트를 계산하고 히스토그램으로 저장함으로써 크기 블변의 특징점 기술자를 생성할 수 있다. 여기서 그라디언트는 화소값의 변화 방향과 크기 를 나타내는 백터로서， 다음의 수학식 1에 의해 산출될 수 있다.
<43> 【수학식 1】
dx=I(x+\, i(x-l,y-)
Figure imgf000008_0001
<44> 여기서， I(x,y)는 영상의 (x,y) 좌표의 화소값을 의미하며， magnitude(x,y)
는 (x,y) 화소에 대한 그라디언트의 크기, orienta on(x.y)는 (x,y) 화소에 대한 그라디언트의 방향을 나타낸다.
<45> 기술자 생성부 (116)는 각 코너 특징점을 중심으로 하는 화소영역을 3 3(화 소) 크기의 9개의 서브영역으로 분할하고， 각각의 서브영역에 대하여 네 방향으로 의 그라디언트에 대한 히스토그램을 생성하여 결과적으로 36차원의 특징점 기술자 를 생성할 수 있다. 도 6은 화소영역을 9개의 서브영역으로 분할하여 특징점 기술 자를 생성하는 일 예를 도시한 도면이다.
<46> 앞에서 언급한 바와 같이 본 발명은 모바일 기기에서 연산량을 감소시켜 빠 른 속도로 관심객체를 추적하기 위한 것이므로, 기존의 SIFT 기법에서 128차원의 특징점 기술자를 생성하는 것과 대비하여 연산 속도를 향상시킬 수 있다.
<47> 매칭부 (120)는 이상에서 설명한 방법에 의해 생성된 특징점 기술자들과 사전 에 저장된 목표객체의 특징점 기술자들을 대비하여 목표객체에 대응하는 관심객체 의 특징점 기술자를 결정한다.
<48> 여기서 목표객체는 입력영상으로부터 관심객체를 검출하기 위한 비교 대상이 되며， 목표객체는 관심객체 추적을 위한 영상 촬영이 개시되기 이전에 데이터베이 스에 미리 저장되어 있는 것일 수도 있고, 연속적인 영상 촬영에 의해 객체를 추적 하는 경우 객체 검출이 개시된 첫 번째 영상 프레임으로부터 검출된 관심객체가 목 표객체로서 데이터베이스에 저장된 것일 수도 있다.
<49> 또한 이상의 두 가지 목표객체를 함께 사용하여 관심객체를 추적할 경우， 영 상 촬영시의 조도 변화와 같은 각종 환경 변화를 고려하여 정확한 관심객체 검출이 가능하다.
<50> 매칭부 (120)는 현재 입력영상으로부터 생성된 특징점 기술자와 데이터베이스 에 저장되어 있는 목표객체의 특징점 기술자 사이의 거리를 산출하고， 산출된 거리 가 사전에 설정된 임계치 이하인 특징점 기술자만을 관심객체의 특징점 기술자로서 결정한다.
<51> 특징점 기술자 사이의 거리는 기존의 다양한 방법을 사용하여 산출할 수 있 으며， 예를 들면 다음의 수학식 2와 같이 절대차 합 (Sum of Absolute Difference ： SAD)에 의해 산출할 수 있다.
<52> 【수학식 2】
AD^∑ 1/„( -/；„(；) I
<53> 여기서， fn(i)는 입력영상으로부터 생성된 36차원 특징점 기술자의 i번째 값 이고， fm'(i)는 목표객체에 대응하는 특징점 기술자의 i번째 값이다. <54> 또한 관심객체의 특징점 기술자에 해당하는지 여부를 결정하기 위한 임계치 는 다음의 수학식 3에 의해 산출될 수 있다.
<55> 【수학식 3】
<56> 여기서, W는 가중치이고， dist는 입력영상으로부터 생성된 모든 특징점 기술 자에 대하여 산출된 거리값을 의미하며 , min(a)는 a의 최소값올 의미하고, avg(a) 는 a의 평균값을 의미한다.
<57> 한편， 이와 같이 목표객체와의 매칭에 의해 관심객체에 대웅하는 특징점 기 술자를 결정하더라도 특징점 기술자의 차원을 감소시킴에 따른 매칭 오차가 발생할 수 있다. 나아가 모바일 기기에 의해 촬영된 영상은 정지 상태에서 촬영된 영상에 비해 이러한 매칭 오차의 발생 확률이 높다.
<58> 따라서 본 발명에 따른 객체 추적장치의 특징점 제거부 (130)는 관심객체의 특징점 기술자들 중 기하학적 비교 조건 (perspective invariant)을 만족하지 않는 특징점 기술자를 제거하여 관심객체의 최종 특징점 기술자를 확정한다. 이러한 추 가적인 필터링 과정에 따라 목표객체와 잘못 매칭된 에러 특징점 (garbage feature) 이 제거될 수 있다.
<59> 한편, 특징점 제거부 (130)는 이상에서 설명한 바와 같이 본 발명에 따른 객 체 추적장치의 일부 구성요소로서 구현될 수도 있으며， 독립적인 하나의 장치로서 구현되어 기존의 객체 검출 및 추적 시스템의 성능올 향상시키기 위해 사용될 수도 있다.
<60> 도 7은 본 발명에 따른 에러 특징점 제거장치에 대한 바람직한 실시예의 구 성을 도시한 블록도이다.
<6!> 도 7을 참조하면， 본 발명에 따른 에러 특징점 제거장치는， 입력부 (210)， 특 징점 처리부 (220) 및 특징점 확정부 (230)를 구비한다. 이하에서는 본 발명에 따른 에러 특징점 제거장치가 이상에서 설명한 본 발명에 따른 객체 추적장치의 특징점 제거부 (130)와 동일한 구성을 가지는 것으로 하여 구체적으로 설명한다.
<62> 본 발명에 따른 에러 특징점 제거장치의 입력부 (210)는 사전에 저장된 목표 객체의 특징점 기술자들과의 매칭에 의해 입력영상으로부터 추출된 관심객체의 특 징점 기술자들을 입력받는다. 이는 본 발명에 따른 객체 추적장치의 특징점 제거부 (130)가 매칭부 (120)에 의해 결정된 관심객체의 특징점 기술자들을 입력받는 것과 동일하다.
<63> 다음으로， 특징점 처리부 (220)는 관심객체의 특징점 기술자들에 대하여 사전 에 설정된 기하학적 비교 조건을 적용한다.
<64> 구체적으로, 특징점 처리부 (220)는 관심객체의 특징점 기술자들에 대하여 산 출된 투영 변환 행렬식의 비와 목표객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비를 대비함으로써 관심객체의 특징점 기술자들이 기하학적 비교 조 건을 만족하는지 여부를 검사한다.
<65> 특징점 처리부 (220)는 기하학적 비교 조건의 만족 여부를 검사하기 위해 관 심객체 및 독표객체의 동일 평면상에 위치하는 5개의 점을 사용할 수 있다. 도 8은 기하학적 비교 조건 검사를 위한 위한 동일 평면상의 점들을 도시한 도면이다. <66> 도 8에 도시된 것과 같은 ^ 내지 P5의 5개 점은 다음의 수학식 4와 같이 나 타낼 수 있다.
<67> 【수학식 4】
<68> 여기서， 는 i번째 점 (i는 1 내지 5의 값)， (Xi.y;)는 i번째 점의 영상에서 의 좌표， 그리고 5개의 점이 동일 평면상에 위치하므로 Zi의 값은 1로 설정된다.
<69> 다음으로 수학식 4와 같이 표현되는 3개의 점 Ρ;, Pj 및 Pk로부터 하나의 3 3 행렬을 생성할 수 있으며, 이는 다음의 수학식 5와 같이 나타낼 수 있다.
<70> 【수학식 5】
<7i> 수학식 5의 mijk를 를 관심객체의 Pi, Pj 및 Pk에 대하여 얻어진 행렬이라 하 면， 이와 유사하게 목표객체에서 Pi, Pj 및 Pk에 대응하는 IV， Pj' 및 IV에 대하여 도 3X3 행렬 m'ijk를 생성할 수 있다.
<72> 이와 같이 3개의 점으로부터 생성된 행렬의 행렬식 (determinant)의 비는 투 영 변환 (perspective transformat ion)에 불변 (invariant)인 것으로 알려져 있다 (P. Put jarupong, C. Pintavirooj , W. Withayachumnankul , and M. Sangworasi 1 , " Image Registration Exploiting Five-point Co lanar Perspective' Invariant and Maximum-Curvature Point", In Journal WSCG, volume 12， pages 341348 , 2004) . 즉 ， 두 개의 서로 다른 투영 변환에서 다음의 수학식 6이 성립한다.
<73> 【수학식 6】
I r"m II ms2i I I mni II m52l 1
I m42i II ms3i I I m421 II ra531 I
<74> 특징점 처리부 (220)는 수학식 6과 같은 기하학적 비교 조건 (perspective invariant)을 관심객체의 특징점 기술자들에 순차적으로 적용하고， 특징점 확정부 (230)는 특징점 처리부 (220)에 의해 기하학적 비교 조건을 만족하지 않는 것으로 결정된 특징점 기술자를 제거함으로써 관심객체의 최종 특징점 기술자를 확정한다.
<75> 구체적으로， 특징점 처리부 (220)는 먼저 관심객체의 특징점 기술자들 중에서
5개의 특징점 기술자를 선택하여 초기 특징점 기술자로 설정한다. 다음으로 초기 특징점 기술자들 및 그에 대응하는 목표객체의 특징점 기술자에 수학식 6의 조건을 적용하여 기하학적 비교 조건 만족 여부를 검사한다. 바람직하게는， 특징점 처리부 (220)는 관심객체의 특징점 기술자들 중에서 6개의 특징점 기술자를 선택한 후 6C5 에 의해 5개씩의 점들로부터 총 6개의 기하학적 비교 조건식을 산출하여 비교함으 로써 조건 만족 여부를 검사할 수 있다.
<?6> 특징점 확정부 (230)는 초기 특징점 기술자 중에서 기하학적 비교 조건을 만 족하지 않는 특징점 기술자를 제거한다. 이때 제거될 특징점 기술자의 개수는 사전 에 설정될 수 있다.
<77> 특징점 확정부 (230)에 의해 일부 특징점 기술자가 제거된 후 특징점 처리부
(220)는 나머지 특징점 기술자들에 새로운 특징점 기술자를 추가하여 다시 동일 평 면상의 5개 점에 대한 기하학적 비교 조건을 적용한다.
<78> 이상의 과정을 관심객체의 특징점 기술자들 전체에 대해 반복함으로써, 특징 점 확정부 (230)는 관심객체의 최종 특징점 기술자를 확정할 수 있다. 앞에서 설명 한 바와 같이 이상의 과정은 본 발명에 따른 객체 추적장치의 특징점 제거부 (130) 에 의해 동일하게 수행된다.
<79> 다시 도 1을 참조하면， 저장부 (140)는 특징점 제거부 (130)에 의해 결정된 관 심객체의 최종 특징점 기술자를 데이터베이스 (미도시)에 저장한다. 또한 저장부 (140)는 특징점 제거부 (130)에 의해 관심객체의 특징점 기술자들이 5개씩 선택되어 기하학적 비교 조건의 만족 여부를 검사하는 과정이 반복 수행될 때마다 실시간으 로 새로운 최종 특징점 기술자를 데이터베이스 (미도시)에 추가할 수 있다.
<80> 도 9는 기하학적 비교 조건을 사용하여 최종 특징점 기술자를 확정하는 예를 나타낸 도면이다. 도 9의 (a)의 경우 7개의 점으로부터 6개의 투영 변환 행렬식의 비를 산출하였으며, 목표객체와 평균 4.3%의 오차로 매칭되었다. 또한 도 9의 (b) 의 경우 9개의 점으로부터 14개의 투영 변환 행렬식의 비를 산출하였으며， 목표객 체와 평균 5.0%의 오차로 매칭되었다.
<8i> 도 10은 본 발명에 따른 특징점 기술자에 의한 객체 추적방법에 대한 바람직 한 실시예의 수행과정을 도시한 흐름도이다.
<82> 도 10올 참조하면 , 영상 피라미드 생성부 (112)는 입력영상으로부터 단계적으 로 해상도가 변화하는 차분영상들로 이루어진 영상 피라미드를 생성하고 (S1010), 코너점 검출부 (114)는 영상 피라미드의 각 차분영상으로부터 코너 특징점올 검출한 다 (S1020). 앞에서 설명한 바와 같이 영상 피라미드 생성 및 코너 특징점 검출은 기존의 알려진 기법들을 사용하여 수행될 수 있다.
<83> 기술자 생성부 (116)는 각 차분영상에서 공통적으로 검출되는 코너 특징점인 크기 불변의 특징점 각각에 대웅하는 특징점 기술자를 생성한다 (S1030). <84> 매칭부 (120)는 생성된 특징점 기술자와 사전에 저장된 목표객체의 특징점 기 술자 사이의 거리를 산출하는 방법에 의해 특징점 매칭을 수행하여 관심객체의 특 징점 기술자를 결정한다 (S1040). 특징점 제거부 (130)는 관심객체의 특징점 기술자 들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 관심객체의 최종 특징점 기술자를 확정한다 (S1050).
<85> 도 11은 본 발명에 따른 에러 특징점 제거방법에 대한 바람직한 실시예의 수 행과정을 도시한 흐름도이다.
<86> 도 11을 참조하면， 입력부 (210)을 통해 사전에 저장된 목표객체의 특징점 기 술자들과의 매칭에 의해 입력영상으로부터 추출된 관심객체의 특징점 기술자들이 입력되면 (S1110), 특징점 처리부 (220)는 관심객체의 특징점 기술자들에 대하여 사 전에 설정된 기하학적 비교 조건을 적용한다 (S1120). 다음으로， 특징점 확정부 (230)는 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징 점 기술자를 제거하여 관심객체의 최종 특징점 기술자를 확정한다 (S1130).
<87> 본 발명은 또한 컴퓨터로 읽을 수 있는 기톡매체에 컴퓨터가 읽올 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스 템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기톡매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프， 플로피 디스크, 광데이터 저장장치 등이 있으며， 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매 체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
<88> 이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나， 본 발 명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며， 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고， 그와 같은 변경 은 청구범위 기재의 범위 내에 있게 된다.

Claims

【청구의 범위】
【청구항 1】
관심객체를 검출하고자 하는 입력영상으로부터 추출된 상기 관심객체의 특징 점들 각각의 정보를 나타내는 상기 관심객체의 특징점 기술자 (descriptor)들을 생 성하는 특징점 기술자 생성부;
상기 관심객체의 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술 자들을 대비하여 상기 목표객체에 대웅하는 상기 관심객체의 특징점 기술자를 결정 하는 매칭부; 및
상기 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자들을 제거하여 상기 관심객체의 최종 특징점 기술자를 적어도 하나 확정하는 특징점 제거부；를 포함하는 것을 특징으로 하는 객체 추적장치.
【청구항 2】
제 1항에 있어서ᅳ
상기 특징점 기술자 생성부는，
상기 입력영상으로부터 단계적으로 해상도가 변화하는 차분영상들로 이루어 진 영상 피라미드를 생성하는 영상 피라미드 생성부;
상기 영상 피라미드를 구성하는 각각의 차분영상으로부터 코너 특징점을 검 출하고， 상기 영상 피라미드의 각 차분영상으로부터 공통적으로 검출된 코너 특징 점을 크기 불변의 특징점으로 결정하는 코너점 검출부; 및
상기 크기 불변의 특징점 각각에 대하여 상기 관심객체의 특징점 기술자를 생성하는 기술자 생성부；를 포함하는 것을 특징으로 하는 객체 추적장치.
【청구항 3】
제 2항에 있어서,
상기 영상 피라미드 생성부는 상기 입력영상에 사전에 설정된 반복횟수만큼 가우시안 필터를 적용하여 상기 차분영상들을 생성하는 것을 특징으로 하는 객체 추적장치.
【청구항 4】
제 2항에 있어서，
상기 코너점 검출부는 상기 차분영상들 중 하나의 차분영상으로부터 선택된 화소인 중심점으로부터 사전에 설정된 거리에 위치하는 화소들 중에서 사전에 설정 된 개수의 연속하는 화소들이 상기 중심점에 비해 사전에 설정된 임계값 이상으로 크거나 작은 화소값을 가지면 상기 중심점을 상기 코너 특징점으로 결정하는 것을 특징으로 하는 객체 추적장치 .
【청구항 5】
제 2항에 있어서,
상기 기술자 생성부는 상기 크기 불변의 특징점을 중심으로 하는 사전에 설 정된 크기의 화소영역을 복수의 서브영역으로 분할하고， 상기 각각의 서브영역에 대하여 생성된 그라디언트 값의 히스토그램을 기초로 상기 크기 불변의 특징점에 대응하는 백터 형태의 상기 관심객체의 특징점 기술자를 생성하는 것을 특징으로 하는 객체 추적장치 .
【청구항 6]
제 5항에 있어서，
상기 기술자 생성부는 상기 화소영역을 9개의 서브영역으로 분할하고， 상기 각각의 서브영역에 대응하여 네 개의 그라디언트 방향에 대한 히스토그램을 산출함 으로써 36차원 백터 형태의 상기 관심객체의 특징점 기술자를 생성하는 것을 특징 으로 하는 객체 추적장치 .
【청구항 7]
제 1항에 있어서,
상기 특징점 제거부는 상기 관심객체의 특징점 기술자들에 대하여 산출된 제 1투영 변환 (perspective transformation) 행렬식의 비와 상기 목표객체의 특징점 기술자들에 대하여 산출된 제 2투영 변환 행렬식의 비가 동일하게 되는 기하학적 비 교 조건을 사용하여 상기 관심객체의 최종 특징점 기술자들을 확정하는 것을 특징 으로 하는 객체 추적장치 .
【청구항 8】
제 7항에 있어서,
상기 특징점 제거부는 상기 관심객체의 특징점 기술자들 중에서 임의로 선택 된 5개의 특징점 기술자로부터 상기 기하학적 비교 조건을 만족하지 않는 사전에 설정된 개수의 특징점 기술자를 제거하고 새로운 특징점 기술자를 추가하여 상기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체에 대해 반복하여 수행함으로써 상기 관심객체의 최종 특징점 기술자를 확정하는 것을 특징으로 하는 객체 추적장치 .
【청구항 9】
제 1항에 있어서，
ᅭ一一상 Zᅵᅳ관심—객체꾀—촤종ᅩ특징 -잠—겨술자들을—데아터베이ᅩ스^ 더 포함하는 것을 특징으로 하는 객체 추적장치 .
【청구항 10]
사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으로부 터 추출된 관심객체의 특징점 기술자들을 입력받는 입력부;
상기 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조 건을 적용하는 특징점 처리부; 및
상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 특징점 확정부；를 포함하는 것을 특징으로 하는 에러 특징점 제거장치.
【청구항 11]
제 10항에 있어서，
상기 특징점 처리부는 상기 관심객체의 특징점 기술자들에 대하여 산출된 제
1투영 변흰- 행렬식의 비와 상기 관심객체의 특징점 기술자들에 대응하는 상기 목표 객체의 특징점 기술자들에 대하여 산출된 제 2투영 변환 행렬식의 비가 동일하게 되 는 기하학적 비교 조건을 사용하는 것을 특징으로 하는 에러 특징점 제거장치.
【청구항 12】
제 10항에 있어서,
상기 특징점 처리부는 상기 관심객체의 특징점 기술자들 중 임의로 선택된 5 개의 상기 관심객체의 특징점 기술자 및 그에 대응하는 상기 목표객체의 특징점 기 술자들에 상기 기하학적 비교 조건을 적용하고， 상기 특징점 확정부에 의해 상기 기하학적 비교 조건을 만족하지 않는 상기 관심객체의 특징점 기술자들이 제거된 후 나머지 상기 관심객체의 특징점 기술자에 새로운 특징점 기술자를 추가하여 상 기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체 에 대해 반복하여 수행하는 것을 특징으로 하는 에러 특징점 제거장치.
【청구항 13】
(a) 관심객체를 검출하고자 하는 입력영상으로부터 추출된 상기 관심객체의 특징점들 각각의 정보를 나타내는 관심객체의 특징점 기술자 (descriptor)들을 생성 하는 단계；
(b) 상기 관심객체의 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 상기 목표객체에 대웅하는 상기 관심객체의 특징점 기술자를 결정하는 단계 ; 및
(c) 상기 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않 는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 단 계 ;를 포함하는 것을 특징으로 하는 객체 추적방법 .
【청구항 14]
제 13항에 있어서,
상기 (a) 단계는，
(al) 상기 입력영상으로부터 단계적으로 해상도가 변화하는 차분영상들로 이 루어진 영상 피라미드를 생성하는 단계;
(a2) 상기 영상 피라미드를 구성하는 각각의 차분영상으로부터 코너 특징점 을 검출하고， 상기 영상 피라미드의 각 차분영상으로부터 공통적으로 검출된 코너 특징점을 크기 불변의 특징점으로 결정하는 단계; 및
(a3) 상기 크기 불변의 특징점 각각에 대하여 상기 관심객체의 특징점 기술 자를 생성하는 단계 ;를 포함하는 것을 특징으로 하는 객체 추적방법 .
【청구항 15]
제 14항에 있어서,
상기 (al) 단계에서, 상기 입력영상에 사전에 설정된 반복흿수만큼 가우시안 필터를 적용하여 상기 차분영상들을 생성하는 것을 특징으로 하는 객체 추적방법.
【청구항 16]
제 14항에 있어서，
상기 (a2) 단계에서, 상기 차분영상으로부터 선택된 화소인 중심점으로부터 사전에 설정된 거리에 위치하는 화소들 중 사전에 설정된 개수의 연속하는 화소들 이 상기 중심점에 비해 사전에 설정된 임계값 이상으로 크거나 작은 화소값을 가지 면 상기 중심점을 상기 코너 특징점으로 결정하는 것을 특징으로 하는 객체 추적방 법.
【청구항 17】
제 W항에 있어서，
상기 (a3) 단계에서， 상기 크기 불변의 특징점을 중심으로 하는 사전에 설정 된 크기의 화소영역을 복수의 서브영역으로 분할하고, 상기 각각의 서브영역에 대 하여 생성된 그라디언트 값의 히스토그램을 기초로 상기 크기 불변의 특징점에 대 웅하는 백터 형태의 상기 관심객체의 특징점 기술자를 생성하는 것을 특징으로 하 는 객체 추적방법 .
【청구항 18】
제 17항에 있어서， 상기 3) 단계에서, 상기 화소영역을 9개의 서브영역으로 분할하고， 상기 각각의 서브영역에 대웅하여 네 개의 그라디언트 방향에 대한 히스토그램을 산출함 으로써 36차원 백터 형태의 상기 관심객체의 특징점 기술자를 생성하는 것을 특징 으로 하는 객체 추적방법 .
【청구항 19]
제 13항에 있어서,
상기 (c) 단계에서, 상기 관심객체의 특징점 기술자들에 대하여 산출된 제 1 투영 변환 (perspective transformation) 행렬식의 비와 상기 목표객체의 특징점 기 술자들에 대하여 산출된 제 2투영 변환 행렬식의 비가 동일하게 되는 기하학적 비교 조건을 사용하여 상기 관심객체의 최종 특징점 기술자들을 확정하는 것을 특징으로 하는 객체 추적방법 .
【청구항 20】
제 19항에 있어서，
상기 (c) 단계에서， 상기 관심객체의 특징점 기술자들 중 임의로 선택된 5개 의 특징점 기술자로부터 상기 기하학적 비교 조건을 만족하지 않는 사전에 설정된 개수의 특징점 기술자를 제거하고 새로운 특징점 기술자를 추가하여 상기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체에 대해 반복 하여 수행함으로써 상기 관심객체의 최종 특징점 기술자를 확정하는 것을 특징으로 하는 객체 추적방법 .
【청구항 21】
제 13항에 있어서,
(d) 상기 관심객체의 최종 특징점 기술자들을 데이터베이스에 저장하는 단계 를 더 포함하는 것을 특징으로 하는 객체 추적방법.
【청구항 22]
(a) 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으 로부터 추출된 관심객체의 특징점 기술자들을 입력받는 단계 ;
(b) 상기 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비 교 조건을 적용하는 단계; 및
(c) 상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족하 지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하 는 단계；를 포함하는 것을 특징으로 하는 에러 특징점 제거방법 .
【청구항 23】 제 22항에 있어서，
상기 (b) 단계에세 상기 관심객체의 특징점 기술자들에 대하여 산출된 제 1 투영 변환 행렬식의 비와 상기 관심객체의 특징점 기술자들에 대응하는 상기 목표 객체의 특징점 기술자들에 대하여 산출된 제 2투영 변환 행렬식의 비가 동일하게 되 는 기하학적 비교 조건을 사용하는 것을 특징으로 하는 에러 특징점 제거방법 .
【청구항 24]
제 22항에 있어서，
상기 (b) 단계에서 상기 관심객체의 특징점 기술자들 증 임의로 선택된 5개 의 특징점 기술자 및 그에 대응하는 상기 목표객체의 특징점 기술자들에 상기 기하 학적 비교 조건을 적용하고， 상기 (c) 단계에서 상기 기하학적 비교 조건을 만족하 지 않는 특징점 기술자가 제거된 후 나머지 특징점 기술자에 새로운 특징점 기술자 를 추가하여 상기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체에 대해 반복하여 수행하는 것을 특징으로 하는 에러 특징점 제거방 법.
【청구항 25]
제 13항 내지 제 21항 중 어느 한 항에 기재된 객체 추적방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
【청구항 26]
제 22항 내지 제 24항 중 어느 한 항에 기재된 에러 특징점 제거방법을 컴퓨 터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
【청구항 27】
관심객체의 특징점 기술자들 중에서 기하학적 비교 조건을 만족하지 않는 특 징점 기술자들을 제거하고， 상기 제거된 특징점 기술자들에 기초하여 상기 관심객 체의 최종 특징점 기술자들을 생성하는 에러 특징점 제거부; 및
상기 최종 특징점 기술자들 및 목표객체를 저장하는 저장부；를 포함하고, 상기 기하학적 비교 조건은 상기 관심객체의 특징점 기술자들에 대하여 산출 된 제 1투영 변환 행렬식의 비와 상기 목표객체의 특징점 기술자들에 대하여 산출된 제 2투영 변환 행렬식의 비의 비교결과에 기초한 조건을 포함하는 것을 특징으로 하 는 이동 단말에 구현되는 장치.
【청구항 28]
제 27항에 있어서，
상기—에러—특징점 쎄거부는 상거―관심객체와—상카 저장된 목표—객체가—모두 나타나는 단일 평면 상에 존재하는 5개의 점들을 이용하여 상기 관심객체의 특징점 기술자들이 상기 기하학적 비교 조건을 만족하는지 여부를 결정하는 것을 특징으로 하는 이동 단말에 구현되는 장치.
【청구항 29】
제 28항에 있어서，
상기 에러 특징점 제거부는 상기 기하학적 비교 조건을 이용하여 상기 5개의 점들에 기초한 행렬식의 불변 투영 변환 비를 생성하는 것을 특징으로 하는 이동 단말에 구현되는 장치 .
PCT/KR2013/004840 2012-05-31 2013-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 에러 특징점 제거장치 및 방법, 그리고 이동 단말에 구현되는 장치 WO2013180530A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120058412A KR101303124B1 (ko) 2012-05-31 2012-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법
KR10-2012-0058412 2012-05-31

Publications (1)

Publication Number Publication Date
WO2013180530A1 true WO2013180530A1 (ko) 2013-12-05

Family

ID=49454889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004840 WO2013180530A1 (ko) 2012-05-31 2013-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 에러 특징점 제거장치 및 방법, 그리고 이동 단말에 구현되는 장치

Country Status (4)

Country Link
US (1) US9552642B2 (ko)
KR (1) KR101303124B1 (ko)
CN (1) CN103456003B (ko)
WO (1) WO2013180530A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694106B2 (en) 2013-06-14 2020-06-23 Qualcomm Incorporated Computer vision application processing
US9558426B2 (en) * 2014-04-24 2017-01-31 Nant Holdings Ip, Llc Robust feature identification for image-based object recognition
CN105100596B (zh) * 2014-05-14 2019-08-20 韩华泰科株式会社 相机设备和使用相机设备跟踪对象的方法
US9524432B1 (en) * 2014-06-24 2016-12-20 A9.Com, Inc. Fast interest point extraction for augmented reality
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
US9940726B2 (en) * 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
US9791541B2 (en) 2014-12-19 2017-10-17 The Boeing Company System and method to improve object tracking using multiple tracking systems
US20170083790A1 (en) 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
WO2017053822A1 (en) * 2015-09-23 2017-03-30 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
AU2017229500A1 (en) 2016-03-08 2018-08-30 Nant Holdings Ip, Llc Image feature combination for image-based object recognition
KR101760892B1 (ko) 2016-06-22 2017-07-24 재단법인 실감교류인체감응솔루션연구단 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법
DE102017107335A1 (de) * 2017-04-05 2018-10-11 Testo SE & Co. KGaA Verfahren zur Identifikation von korrespondierenden Bildbereichen in einer Folge von Bildern
US11856331B1 (en) * 2017-05-10 2023-12-26 Waylens, Inc. Extracting and transmitting video analysis metadata for a remote database
US11417098B1 (en) * 2017-05-10 2022-08-16 Waylens, Inc. Determining location coordinates of a vehicle based on license plate metadata and video analytics
CN109144043A (zh) * 2017-06-27 2019-01-04 金宝电子工业股份有限公司 追踪目标物的方法
KR102340125B1 (ko) 2019-10-31 2021-12-16 한국항공대학교산학협력단 드론 정지 비행을 위한 영상 기반 특징점 추적 장치 및 그 방법
CN111401239B (zh) * 2020-03-16 2021-04-20 科大讯飞(苏州)科技有限公司 一种视频分析方法、装置、系统、设备及存储介质
KR102468927B1 (ko) * 2020-11-17 2022-11-21 한국항공우주연구원 Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템
KR20230095613A (ko) * 2021-12-22 2023-06-29 주식회사 포스코 특징점 추적 기반 거동 분석 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050063991A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
JP2005309782A (ja) * 2004-04-21 2005-11-04 Toyota Motor Corp 画像処理装置
KR100972849B1 (ko) * 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7343032B2 (en) * 2005-09-01 2008-03-11 Fujifilm Corporation Method and apparatus for automatic and dynamic vessel detection
ATE470912T1 (de) 2006-04-28 2010-06-15 Toyota Motor Europ Nv Robuster detektor und deskriptor für einen interessenspunkt
US8005264B2 (en) * 2008-06-09 2011-08-23 Arcsoft, Inc. Method of automatically detecting and tracking successive frames in a region of interesting by an electronic imaging device
US8995758B1 (en) * 2008-06-20 2015-03-31 Google Inc. Classifying false positive descriptors
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
KR20110064197A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050063991A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
JP2005309782A (ja) * 2004-04-21 2005-11-04 Toyota Motor Corp 画像処理装置
KR100972849B1 (ko) * 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOURNAL OFWSCG, vol. 12, no. 1-3, 6 February 2004 (2004-02-06), PLZEN, CZECH REPUBLIC *

Also Published As

Publication number Publication date
CN103456003B (zh) 2016-08-10
US9552642B2 (en) 2017-01-24
KR101303124B1 (ko) 2013-09-09
US20130322763A1 (en) 2013-12-05
CN103456003A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
WO2013180530A1 (ko) 특징점 기술자에 의한 객체 추적장치 및 방법, 에러 특징점 제거장치 및 방법, 그리고 이동 단말에 구현되는 장치
US20070058856A1 (en) Character recoginition in video data
US8798377B2 (en) Efficient scale-space extraction and description of interest points
CN101911100B (zh) 用于图像识别的基于特征的签名
US20150123969A1 (en) Method and apparatus for detecting point of interest (poi) in three-dimensional (3d) point clouds
CN111738045B (zh) 一种图像检测方法、装置、电子设备及存储介质
CN109815823B (zh) 数据处理方法及相关产品
CN109447117B (zh) 双层车牌识别方法、装置、计算机设备及存储介质
US20200005078A1 (en) Content aware forensic detection of image manipulations
CN108205657A (zh) 视频镜头分割的方法、存储介质和移动终端
CN111222452A (zh) 一种人脸匹配方法、装置、电子设备及可读存储介质
CN111178200B (zh) 一种仪表盘指示灯的识别方法及计算设备
CN114187333A (zh) 一种图像对齐方法、图像对齐装置及终端设备
JP2018036770A (ja) 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
CN113537145B (zh) 目标检测中误、漏检快速解决的方法、装置及存储介质
KR20150093453A (ko) 차량 번호판 이중 검출 방법 및 장치
CN109829401A (zh) 基于双拍摄设备的交通标志识别方法及装置
CN113496230A (zh) 图像匹配方法和系统
CN109191489B (zh) 一种飞行器着陆标志的检测跟踪方法与系统
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
CN115578392A (zh) 线条检测方法、装置及存储介质
CN114708420A (zh) 基于局部方差和后验概率分类器的视觉定位方法及装置
CN114266703A (zh) 一种图像拼接方法和系统
CN112487943A (zh) 关键帧去重的方法、装置和电子设备
CN116468611B (zh) 图像拼接方法、装置、设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13798027

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26-03-2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13798027

Country of ref document: EP

Kind code of ref document: A1