KR101217231B1 - Method and system of object recognition - Google Patents

Method and system of object recognition Download PDF

Info

Publication number
KR101217231B1
KR101217231B1 KR1020110012884A KR20110012884A KR101217231B1 KR 101217231 B1 KR101217231 B1 KR 101217231B1 KR 1020110012884 A KR1020110012884 A KR 1020110012884A KR 20110012884 A KR20110012884 A KR 20110012884A KR 101217231 B1 KR101217231 B1 KR 101217231B1
Authority
KR
South Korea
Prior art keywords
distance
feature points
photographed
information
algorithm
Prior art date
Application number
KR1020110012884A
Other languages
Korean (ko)
Other versions
KR20120092940A (en
Inventor
오세전
이진규
김호섭
양연모
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020110012884A priority Critical patent/KR101217231B1/en
Publication of KR20120092940A publication Critical patent/KR20120092940A/en
Application granted granted Critical
Publication of KR101217231B1 publication Critical patent/KR101217231B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Abstract

본 발명은 물체 인식 방법 및 시스템에 관한 것이다. 개시된 기술은, 물체 인식 방법에 있어서, (a) 물체에 대한 정보를 입력받는 단계; (b) 복수의 카메라들이 상기 물체를 촬영하는 단계; (c) 상기 촬영된 이미지들에 SIFT 알고리즘을 수행하여 특징점들을 추출하는 단계; (d) 상기 특징점들간 거리 평균을 구하고, 상기 특징점들 중 일부 점들의 거리가 상기 거리 평균과 일정 크기 이상 차이가 나는 경우, 상기 점들을 특징점들에서 배제하는 단계를 포함한다.The present invention relates to an object recognition method and system. Disclosed is a method of recognizing an object, comprising: (a) receiving information about an object; (b) a plurality of cameras photographing the object; (c) extracting feature points by performing a SIFT algorithm on the captured images; (d) obtaining a distance average between the feature points and excluding the points from the feature points when the distances of some of the feature points differ by more than a predetermined size from the distance mean.

Description

물체 인식 방법 및 시스템 {METHOD AND SYSTEM OF OBJECT RECOGNITION}Object recognition method and system {METHOD AND SYSTEM OF OBJECT RECOGNITION}

본 발명은 물체 인식 방법 및 시스템에 관한 것이다.The present invention relates to an object recognition method and system.

스테레오 매칭(Streo Matching)은 좌측 및 우측에 설치된 두 대의 카메라들에서 입력되는 두 개의 영상들로부터 입체 영상 정보를 추출하는 기법을 나타낸다. 스테레오 매칭은 사람의 두 눈이 특정 사물 또는 영상 패턴까지의 거리 정보를 획득하는 방법과 마찬가지로, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출한다. 그리고, 영상에서 두 위치의 차이 즉 양안차(Disparsity)를 추출함으로써 카메라에서 그 패턴의 실제 위치까지의 거리값을 직접 계산하는 것이다.Stereo matching refers to a technique of extracting stereoscopic image information from two images input from two cameras installed at left and right sides. Stereo matching detects where a pattern at one location in one image is located in the other image, similarly to a method in which two eyes of a person obtain distance information to a specific object or image pattern. Then, the distance value from the camera to the actual position of the pattern is directly calculated by extracting the difference between the two positions, that is, the disparity.

스테레오 매칭 기법은 전체 영상 중 가운데 부분에 대한 거리 정보를 알 수 있는 사람의 두 눈과는 달리 전체 화면에 대한 거리 정보를 모두 계산하기 때문에 많은 계산량을 필요로 하며, 두 카메라들의 영상 특성이 일반적으로 완전히 동일하지 않고, 영상에 따라 어둡거나 패턴의 구별이 뚜렷하지 않은 부분이 있어 출력 양안차의 노이즈(Noise)로 나타나게 된다.The stereo matching method requires a lot of computation because it calculates all the distance information for the whole screen, unlike the human eyes that can know the distance information for the center of the whole image. It is not completely the same, and there is a part where the distinction of the pattern or the distinction of the pattern is dark depending on the image is displayed as noise of the output binocular difference.

개시된 기술이 이루고자 하는 기술적 과제는, 스테레오 비전 시스템을 이용하여 거리정보뿐만 아니라 화면에 있는 물체를 인식할 수 있는 알고리즘을 고안해 내는 데 있다. 또한, 물체와의 거리를 스테레오 비전뿐만 아니라 미리 입력된 데이터와의 비교를 통해 거리비율을 계산해 냄으로써 거리에 대한 오차를 줄여서 좀 더 정확한 거리값을 산출해 낼 수 있는 데 있다.The technical problem of the disclosed technology is to devise an algorithm for recognizing not only distance information but also objects on a screen using a stereo vision system. In addition, by calculating the distance ratio by comparing the distance between the object and the stereo vision as well as the pre-input data, it is possible to calculate a more accurate distance value by reducing the error of the distance.

상기의 기술적 과제를 이루기 위해 개시된 기술은, 물체 인식 방법에 있어서, (a) 물체에 대한 정보를 입력받는 단계; (b) 복수의 카메라들이 상기 물체를 촬영하는 단계; (c) 상기 촬영된 이미지들에 SIFT 알고리즘을 수행하여 특징점들을 추출하는 단계; (d) 상기 특징점들간 거리 평균을 구하고, 상기 특징점들 중 일부 점들의 거리가 상기 거리 평균과 일정 크기 이상 차이가 나는 경우, 상기 점들을 특징점들에서 배제하는 단계를 포함한다.The disclosed technology to achieve the above technical problem, the object recognition method, (a) receiving information about the object; (b) a plurality of cameras photographing the object; (c) extracting feature points by performing a SIFT algorithm on the captured images; (d) obtaining a distance average between the feature points and excluding the points from the feature points when the distances of some of the feature points differ by more than a predetermined size from the distance mean.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique may have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.

일 실시예에 따른 물체 인식 방법 및 시스템은 스테레오 비전 시스템을 이용하여 거리정보뿐만 아니라 화면에 있는 물체를 인식할 수 있는 알고리즘을 고안해 낼 수 있다. 또한, 물체와의 거리를 스테레오 비전뿐만 아니라 미리 입력된 데이터와의 비교를 통해 거리비율을 계산해 냄으로써 거리에 대한 오차를 줄여서 좀 더 정확한 거리값을 산출해 낼 수 있다.The object recognition method and system according to an exemplary embodiment may devise an algorithm for recognizing not only distance information but also an object on a screen using a stereo vision system. In addition, by calculating the distance ratio by comparing the distance with the object not only with the stereo vision but also with the pre-input data, a more accurate distance value can be calculated by reducing the error of the distance.

또한, 일 실시예에 따른 물체 인식 방법 및 시스템은 옵티컬 플로우 알고리즘을 이용하여, SIFT 알고리즘을 사용하는 경우 생기는 연산량 과다로 인한 실시간으로 물체 영역을 추출하지 못하는 문제를 해결하고, 속도를 향상시킬 수 있다.In addition, the object recognition method and system according to an embodiment may solve the problem of failing to extract the object region in real time due to the excessive computation amount generated by using the SIFT algorithm, and improve the speed by using the optical flow algorithm. .

도 1은 본 발영의 실시예에 따른 물체 인식 방법을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 물체 인식 방법을 나타내는 순서도이다.
도 3은 본 발명의 실시예에 따른 물체 인식 시스템을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 물체 정보 입력 프로그램을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 잘못 인식된 특징점을 배제하는 알고리즘을 나타내는 도면이다,
도 6은 본 발명의 일 실시예에 따른 특징점들 간 평균거리를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 물체의 영역을 구하는 방법을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 물체와 카메라의 거리를 구하는 것을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 실시간 트래킹 방법을 나타내는 도면이다.1 is a view showing an object recognition method according to an embodiment of the present invention.
2 is a flowchart illustrating an object recognition method according to an embodiment of the present invention.
3 is a diagram illustrating an object recognition system according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an object information input program according to an embodiment of the present invention.
5 is a diagram illustrating an algorithm for excluding misrecognized feature points according to an embodiment of the present invention.
6 is a diagram illustrating an average distance between feature points according to an exemplary embodiment of the present invention.
7 is a diagram illustrating a method of obtaining a region of an object according to an embodiment of the present invention.
8 is a diagram illustrating obtaining a distance between an object and a camera according to an embodiment of the present invention.
9 is a diagram illustrating a real-time tracking method using an optical flow according to an embodiment of the present invention.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments may be variously modified and may have various forms, and thus the scope of the disclosed technology should be understood to include equivalents capable of realizing the technical idea.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "include" or "have" refer to features, numbers, steps, operations, components, parts, or parts thereof described. It is to be understood that the combination is intended to be present, but not to exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Each step may occur differently from the stated order unless the context clearly dictates the specific order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Generally, the terms defined in the dictionary used are to be interpreted to coincide with the meanings in the context of the related art, and should not be interpreted as having ideal or excessively formal meanings unless clearly defined in the present application.

도 1은 본 발영의 실시예에 따른 물체 인식 방법을 나타내는 도면이다. 도 1을 참조하면, 사용자는 물체에 대한 정보를 미리 입력하여 물체의 이미지에 대해 SIFT 알고리즘을 수행하고, 특징점들을 추출한다. 일 예로서, 물체에 대한 정보는 물체가 가진 특징점 정보, 물체의 이름, 물체의 크기, 물체의 아이디 또는 촬영 당시 카메라와의 거리를 포함할 수 있다. 여기에서, SIFT 알고리즘은 주로 물체의 인식에 사용되고 크기와 방향에 영향을 적게 받아 정확도 높게 물체를 인식하게 하는 알고리즘이다. 이후에, 사용자는 카메라로 물체를 촬영하고 촬영한 카메라 이미지에 SIFT 알고리즘을 수행하고, 특징점들은 추출한다. 입력된 물체에 대한 정보로부터 추출한 물체의 특징점들과 카메라 이미지로부터 추출한 물체의 특징점들을 매칭(matching)한다. 사용자는 특징점들의 매칭을 통해 촬영한 물체가 무엇인지 판단하고 물체에 대한 정보를 추출해낸다. 또한, 미리 입력된 정보와 비교하여 사용자가 촬영한 물체가 카메라로부터 실제 거리가 얼마나 떨어져있는지 계산할 수 있다. 물체 인식 방법은,일 예로서, 로봇이 장애물을 인지하고 피하는 경우에 사용될 수 있다. 또한, 로봇이 필요한 물건을 가져와야 할 때 대상 물체를 정확히 인지할 필요가 있는 경우에 사용될 수 있다.
1 is a view showing an object recognition method according to an embodiment of the present invention. Referring to FIG. 1, a user inputs information about an object in advance, performs a SIFT algorithm on an image of an object, and extracts feature points. For example, the information about the object may include feature point information of the object, the name of the object, the size of the object, the ID of the object, or the distance from the camera at the time of the shooting. Here, the SIFT algorithm is mainly used for object recognition and is an algorithm that recognizes an object with high accuracy by being less affected by size and direction. Thereafter, the user photographs an object with a camera, performs a SIFT algorithm on the photographed camera image, and extracts feature points. The feature points of the object extracted from the information about the input object and the feature points of the object extracted from the camera image are matched. The user determines what the photographed object is by matching feature points and extracts information about the object. In addition, it is possible to calculate how far the object taken by the user is from the camera in comparison with the previously input information. The object recognition method may be used, for example, when the robot recognizes and avoids an obstacle. It can also be used when the robot needs to know the object exactly when it needs to bring the necessary object.

도 2는 본 발명의 실시예에 따른 물체 인식 방법을 나타내는 순서도이다. 도 2를 참조하면, 물체 인식 시스템은 사용자로부터 사전에 물체에 대한 정보를 입력받는다(S210). 여기에서, 물체에 대한 정보는 물체가 가진 특징점 정보, 물체의 이름, 물체의 크기, 물체의 아이디 또는 촬영 당시 카메라와의 거리를 포함할 수 있다. 물체에 대한 정보를 입력하기 위한 촬영하는 경우, 촬영 당시 카메라와의 거리는 일정 간격에 따라 물체를 촬영하여 복수 회에 걸쳐 기록할 수 있다. 예로서, 일정 간격은 5cm가 될 수 있다. 물체가 가진 특징점 정보는 물체에 대한 정보 입력시에 나타난 이미지에서 특징점이 아닌 점들을 배제한 점들을 나타낸다. 물체가 동일하면 물체의 크기, 카메라와의 거리 등이 다르더라도 동일한 아이디를 갖는다.2 is a flowchart illustrating an object recognition method according to an embodiment of the present invention. Referring to FIG. 2, the object recognition system receives information about an object in advance from a user (S210). Here, the information about the object may include feature point information of the object, the name of the object, the size of the object, the ID of the object or the distance from the camera at the time of shooting. When photographing for inputting information about an object, the distance to the camera at the time of photographing may be recorded several times by photographing the object at a predetermined interval. As an example, the spacing may be 5 cm. The feature point information of the object indicates points excluding points that are not feature points in the image displayed when the information on the object is input. If the objects are the same, they will have the same ID even if they are different in size, distance from the camera, etc.

복수의 카메라들은 파악하고자 하는 물체를 촬영한다(S220). 일 예로서, 복수의 카메라들은 좌측 및 우측에 설치된 두 대의 카메라들일 수 있다. 두 대의 카메라들로부터 입력되는 두 개의 이미지로부터 입체 영상 정보를 추출하는 스테레오 매칭(Stereo Matching) 기법이 사용될 수 있다. The plurality of cameras photograph the object to be grasped (S220). As an example, the plurality of cameras may be two cameras installed on the left side and the right side. A stereo matching technique that extracts stereoscopic image information from two images input from two cameras may be used.

물체 인식 시스템은 촬영된 이미지들에 SIFT 알고리즘을 수행하여 특징점들을 추출한다(S230). SIFT(Scale Invariant Feature Transform) 알고리즘은 정형화되어 있지 않은 환경 내에서의 물체의 크기가 변하는 현상, 물체가 회전하여 좌표가 변하는 현상 등을 파악하기 위해 사용된다. 가우시안 차분 영상, DoG(Difference of Gaussian)를 이용하여 특징점을 추출하고 영상을 매칭시키므로 영상의 크기, 회전, 조명 등의 여러 변화에도 물체 인식이 가능한 알고리즘이다. 특징점들은 촬영된 이미지 상에서 물체를 추출하는 데 이용된다. The object recognition system extracts feature points by performing a SIFT algorithm on the captured images (S230). The Scale Invariant Feature Transform (SIFT) algorithm is used to understand the phenomenon of the size change of an object in an unstructured environment and the change of coordinates due to the rotation of the object. Extracting feature points and matching images using Gaussian difference image and DoG (Difference of Gaussian), it is an algorithm that can recognize objects in various changes such as image size, rotation, and lighting. Feature points are used to extract an object from the captured image.

또한, 물체 인식 시스템은 옵티컬 플로우 알고리즘을 이용하여 물체의 일부 영역에 대하여만 SIFT 알고리즘을 수행하게 한다. SIFT 알고리즘을 수행하는 경우 전체화면에 대한 거리 정보를 모두 계산하기 때문에 많은 계산량을 필요로 할 수 있다. SIFT 알고리즘을 수행하는 경우 두 카메라의 이미지 특성이 일반적으로 완전히 동일하지 않고, 이미지에 따라 어둡거나 패턴의 구별이 뚜렷하지 않은 부분이 있어 출력 양안차의 노이즈로 나타날 수 있다. 이러한 문제점을 해결하기 위해 옵티컬 플로우 알고리즘을 이용하여 속도를 향상시키며, 옵티컬 플로우 알고리즘이 수행되는 일부 영역은 일정 시간 간격으로 다시 지정될 수 있다. 여기에서, 일정 시간 간격은 1초가 될 수 있다.In addition, the object recognition system uses the optical flow algorithm to perform the SIFT algorithm on only a part of the object. When the SIFT algorithm is performed, all the distance information for the entire screen is calculated, which may require a large amount of computation. When the SIFT algorithm is performed, the image characteristics of the two cameras are generally not exactly the same, and there may be dark or noises in the output binocular difference due to the dark or indistinct pattern. In order to solve this problem, the speed is improved by using an optical flow algorithm, and some areas where the optical flow algorithm is performed may be redesignated at regular time intervals. Here, the predetermined time interval may be 1 second.

물체 인식 시스템은 특징점들 간 거리 평균을 구하고, 특징점들 중 일부 점들의 거리가 거리 평균과 일정 크기 이상 차이가 나는 경우, 차이가 나는 점들을 특징점들에서 배제한다(S240). 특징점들 간의 거리 평균을 구한 후, 일부 점들의 거리가 일정 크기 이상 차이가 나는 경우는 물체를 인식하는데 사용되는 특징점이 될 수 없으므로, 특징점에서 배제할 수 있다. 여기에서. 일정 크기는 5가 될 수 있다.The object recognition system obtains a distance average between the feature points, and when the distances of some points of the feature points differ by more than a certain size from the distance mean, excludes the differences points from the feature points (S240). After the average of the distance between the feature points, if the distance of some points is more than a certain size can not be a feature point used to recognize the object, it can be excluded from the feature point. From here. The constant size can be five.

물체 인식 시스템은 특징점들과 입력된 물체에 대한 정보를 비교하여 촬영된 물체의 정보를 추출한다(S250). 촬영된 이미지에 나타나는 물체의 특징점들을 미리 입력한 물체에 대한 정보와 비교하여 매칭되는 물체를 추출할 수 있다. 일 예로서, 촬영된 이미지에 나타난 물체의 특징점들이, 입력된 물체에 대한 정보로부터 음료수 캔인 것을 발견하면, 물체 인식 시스템은 음료수 캔의 크기, 아이디 및 촬영 당시 카메라와의 거리 등의 정보를 추출할 수 있다.The object recognition system extracts information of the photographed object by comparing the feature points and the information on the input object (S250). The matching object may be extracted by comparing the feature points of the object appearing in the photographed image with the information about the previously input object. As an example, if the feature points of the object shown in the photographed image are found to be a beverage can from the information on the input object, the object recognition system may extract information such as the size of the beverage can, ID and distance from the camera at the time of shooting. Can be.

물체 인식 시스템은 촬영된 물체의 거리 비율을 구하여 촬영된 이미지 내에서 물체 영역을 추출한다(S260). 여기에서, 거리 비율은 물체에 대한 정보 중에서 거리별로 등록된 물체의 특징점들에 촬영된 물체의 특징점들의 거리 평균을 나누어 구할 수 있다. 입력된 물체에 대한 정보 중 거리별로 등록된 물체의 특징점과 실제 촬영된 이미지의 특징점과의 매칭된 특징점의 거리 평균을 나누어 거리 비율을 구하고, 거리 비율을 이용하여 물체 영역을 구할 수 있다. The object recognition system extracts an object area in the photographed image by obtaining a distance ratio of the photographed object (S260). Here, the distance ratio may be obtained by dividing the distance average of the feature points of the object photographed to the feature points of the object registered for each distance among the information about the object. The distance ratio may be obtained by dividing the distance average of the matched feature point between the feature point of the registered object and the feature point of the actually photographed image among the information about the input object, and the object area may be obtained using the distance ratio.

물체 인식 시스템은 물체 영역 내의 특징점들과 촬영된 이미지들을 매칭하여 거리 차이를 구한다(S270). 여기에서, 거리 차이는 두 카메라에 의해 촬영된 이미지 상에서 물체의 위치가 얼마나 다른지를 의미할 수 있다. 따라서, S260 단계에서 구한 물체 영역과 각각의 이미지들에 나타난 물체들을 매칭하여 거리 차이를 구한다.The object recognition system obtains a distance difference by matching feature points in the object area with photographed images (S270). Here, the distance difference may mean how different the position of the object on the image photographed by the two cameras. Accordingly, the distance difference is obtained by matching the object area obtained in operation S260 with the objects shown in the respective images.

물체 인식 시스템은 거리 차이와 촬영된 영상의 초점 거리에 근거하여 촬영된 물체와 카메라들 간의 실제 거리를 구한다(S280). The object recognition system calculates an actual distance between the photographed object and the cameras based on the distance difference and the focal length of the captured image (S280).

Figure 112011010398737-pat00001
Figure 112011010398737-pat00001

수학식 1에서, Distance는 카메라와 물체 사이의 실제 거리를 나타내고, T는 두 카메라의 거리차이의 픽셀 값을 나타내고, fx는 초점 거리의 픽셀 값을 나타내고, px는 목표위치의 거리 값을 나타낸다. 수학식 1을 이용하여, 두 카메라가 찍은 물체의 양안차를 고려하려, 물체와 카메라 사이의 거리를 구할 수 있다.In Equation 1, Distance represents an actual distance between a camera and an object, T represents a pixel value of a distance difference between two cameras, fx represents a pixel value of a focal length, and px represents a distance value of a target position. Using Equation 1, the distance between the object and the camera can be obtained to consider the binocular difference between the objects taken by the two cameras.

또한, 실제 거리를 거리 비율을 이용하여 계산할 수 있다. 두 이미지들에서 매칭된 물체의 거리 비율과 사용자가 메모리(320)에 정보를 입력할 당시의 거리를 곱하여 실제 거리를 구하는 것이 가능하다. 메모리(320)에 저장된 정보 중에서 거리별로 입력된 물체 정보는 서로 조금씩 다른 실제 거리를 구하게 할 수 있다. 실제 거리는 물체 정보를 입력할 당시의 거리와 가까울수록 높은 정확도를 지닌다. 다만, SIFT 알고리즘은 연산량이 많아 실시간으로 물체 영역 추출에 어려움이 있다. 따라서 SIFT 알고리즘으로 정밀하게 구한 물체 영역을 옵티컬 플로우 알고리즘으로 물체의 영역을 추적하여 사용자에게 실시간으로 추출하는 것처럼 보이게 할 수 있다.
In addition, the actual distance can be calculated using the distance ratio. It is possible to obtain the actual distance by multiplying the distance ratio of the matched object in the two images by the distance when the user inputs information into the memory 320. The object information input for each distance among the information stored in the memory 320 may obtain a slightly different actual distance from each other. The actual distance is closer to the distance when the object information is input, the higher the accuracy. However, the SIFT algorithm has a large amount of computation, which makes it difficult to extract the object region in real time. Therefore, the object area precisely calculated by the SIFT algorithm can be traced to the user in real time by tracking the area of the object by the optical flow algorithm.

도 3은 본 발명의 실시예에 따른 물체 인식 시스템을 나타내는 도면이다. 물체 인식 시스템(300)은 카메라(310), 메모리(320), 특징점 추출부(330), 물체 정보 추출부(340) 및 거리 추출부(350)를 포함한다.3 is a diagram illustrating an object recognition system according to an exemplary embodiment of the present invention. The object recognition system 300 includes a camera 310, a memory 320, a feature point extractor 330, an object information extractor 340, and a distance extractor 350.

카메라(310)는 물체를 촬영한다. 여기에서, 카메라(310)는 복수일 수 있고, 스테레오 매칭 기법을 사용할 경우 두 대의 카메라들을 사용하여 물체를 촬영할 수 있다.The camera 310 photographs an object. Here, the camera 310 may be a plurality, and when using a stereo matching technique, two cameras may be used to photograph an object.

메모리(320)에 사용자는 미리 물체에 대한 정보를 저장할 수 있다. 사용자는 물체에 대한 정보를 사전에 저장할 수 있고, 물체에 대한 정보는 물체가 가진 특징점 정보, 물체의 이름, 물체의 크기, 물체의 아이디 또는 촬영 당시 카메라와의 거리를 포함할 수 있다.The user may store information about an object in advance in the memory 320. The user may store information about the object in advance, and the information about the object may include feature point information of the object, the name of the object, the size of the object, the ID of the object, or the distance from the camera at the time of shooting.

특징점 추출부(330)는 카메라들에 의해 촬영된 이미지들에 SIFT 알고리즘을 수행하여 특징점들을 추출한다. 또한, 특징점 추출부(330)는 특징점들 중 일부 점들의 거리가 거리 평균과 일정 크기 이상 차이가 나는 경우, 일부 점들을 특징점들에서 배제할 수 있다. 또한, 물체 인식 시스템(300)은 옵티컬 플로우 알고리즘을 이용하여 물체의 일부 영역에 대하여만 SIFT 알고리즘을 수행하게 할 수 있다. 일부 영역에 대하여만 SIFT 알고리즘을 수행하게 하여 처리 속도를 향상시키기 위한 것이고, 일정 시간 간격으로 일부 영역에 다시 지정될 수 있다.The feature point extractor 330 extracts feature points by performing a SIFT algorithm on the images captured by the cameras. In addition, the feature point extractor 330 may exclude some points from the feature points when the distance between some of the feature points differs from the distance average by a predetermined size or more. In addition, the object recognition system 300 may perform the SIFT algorithm on only a part of the object using the optical flow algorithm. It is to improve the processing speed by performing the SIFT algorithm on only some regions, and may be re-assigned to some regions at regular time intervals.

물체 정보 추출부(340)는 특징점들과 메모리(320)에 근거하여 촬영된 물체의 정보를 추출한다. 촬영된 이미지에 나타난 물체의 특징점들을 미리 입력한 물체에 대한 정보와 비교하여 매칭되는 물체를 찾을 수 있다.The object information extractor 340 extracts information of the photographed object based on the feature points and the memory 320. The matching object may be found by comparing feature points of the object shown in the photographed image with information about an object previously input.

거리 추출부(350)는 촬영된 물체의 거리 비율을 구하고, 촬영된 물체의 물체 영역을 추출하고, 물체 영역 내의 특징점들과 촬영된 이미지들을 매칭하여 거리 차이를 구한다. 또한, 거리 추출부(350)는 거리 차이와 촬영된 영상의 초점 거리에 근거하여 촬영된 물체와 카메라들 간의 실제 거리를 구한다.
The distance extractor 350 obtains a distance ratio of the photographed object, extracts an object region of the photographed object, and obtains a distance difference by matching feature points in the object region and the photographed image. In addition, the distance extractor 350 calculates an actual distance between the photographed object and the cameras based on the distance difference and the focal length of the captured image.

도 4는 본 발명의 일 실시예에 따른 물체 정보 입력 프로그램을 나타내는 도면이다. 도 4를 참조하면, 물체 정보 입력 프로그램은 이미지에서 추출할 물체에 대한 정보를 미리 입력하는 프로그램을 나타낸다. 물체에 대한 정보는 물체가 가진 특징점 정보, 물체의 이름, 물체의 크기, 물체의 고유 아이디 및 물체에 대한 촬영 당시 카메라와의 거리를 포함할 수 있다. 사용자는 이미지에 대한 전체 화면에서 물체에 해당하는 특징점들만 골라서 등록할 수 있다. 도 4는 물체에 대한 이미지에 SIFT 알고리즘을 수행하였을 때 특징점들이 추출되는 모습을 나타내고, 파란색 점으로 표시된다. 추출된 특징점들과 이후에 촬영된 이미지에서의 물체의 특징점들을 비교하여 물체를 추출할 수 있다. 촬영 당시의 카메라 특성에 따라 SIFT 알고리즘의 수행 결과가 달라지므로, 물체마다 다양한 거리와 다양한 조명 아래에서 촬영한 사진을 등록할 수 있다. 물체가 동일한 경우에는 나머지 정보가 상이하더라도 동일한 아이디로 등록될 수 있다.
4 is a diagram illustrating an object information input program according to an embodiment of the present invention. Referring to FIG. 4, an object information input program represents a program for inputting information about an object to be extracted from an image in advance. The information about the object may include feature point information of the object, the name of the object, the size of the object, a unique ID of the object, and a distance from the camera at the time of photographing the object. The user may select and register only the feature points corresponding to the object on the entire screen for the image. FIG. 4 shows the feature points extracted when an SIFT algorithm is performed on an image of an object, and is represented by a blue dot. The object may be extracted by comparing the extracted feature points with the feature points of the object in the captured image. Since the result of performing the SIFT algorithm varies depending on the characteristics of the camera at the time of shooting, it is possible to register a photograph taken under various distances and various lights for each object. If the objects are the same, the same ID may be registered even though the remaining information is different.

도 5는 본 발명의 일 실시예에 따른 잘못 인식된 특징점을 배제하는 알고리즘을 나타내는 도면이다. 도 5를 참조하면, 카메라로 촬영된 이미지를 SIFT 알고리즘을 수행하여 특징점을 추출하면 빨간색 점으로 표시된 것과 같이 특징점들이 나타난다. 촬영된 이미지 상에 나타나는 물체들 중에서 파란색으로 표시된 물체는 등록된 물체의 정보와 매칭이 되는 것을 나타내고, 노란색으로 표시된 물체는 등록된 물체의 정보와 매칭이 되지 않는 것을 나타낸다. 파란색으로 표시된 물체가 아닌 나머지 빨간점들은 잘못된 특징점으로서 물체의 위치를 결정하는데 악영향을 미칠 수 있다.
5 is a diagram illustrating an algorithm for excluding misrecognized feature points according to an embodiment of the present invention. Referring to FIG. 5, when a feature point is extracted by performing a SIFT algorithm on an image captured by a camera, the feature points appear as indicated by red dots. Among the objects appearing on the captured image, an object displayed in blue indicates matching with information of a registered object, and an object displayed in yellow indicates that it does not match with information of a registered object. The remaining red dots, not the objects marked in blue, are wrong feature points and can adversely affect the positioning of the object.

도 6은 본 발명의 일 실시예에 따른 특징점들 간 평균거리를 나타내는 도면이다. 도 6을 참조하면, 왼쪽의 데이터는 메모리(320)에 입력된 물체에 대한 정보에 특징점들이 나타난 것이고, 오른쪽의 데이터는 카메라로 촬영한 이미지에 특징점들이 나타난 것이다. 빨간점들은 각각 물체에 나타난 특징점을 나타내고, 특징점에 써있는 숫자는 물체의 특징점간의 거리 평균을 나타내고, 거리 평균을 이용하여 촬영된 이미지에 나타난 특징점들 중 잘못된 특징점들을 배제할 수 있다. 왼쪽의 데이터에 나타난 거리 평균들은 비슷한 수치를 나타내고 있는데 비해, 오른쪽의 데이터에 나타난 거리 평균들은 비슷한 수치를 나타내고 있지 않다. 다른 점들과 비율적으로 비교했을 때 잘못 매칭된 특징점은 거리 평균 값이 차이가 많이 나는 값으로, 오른쪽 아래에 위치한 특징점은 제거될 수 있다. 하나의 물체에 그려진 그림이나 글자는 비슷한 색상과 패턴을 가지고 있어 특징점 값이 비슷하다. 따라서, 물체 내에서도 잘못된 특징점이 나타날 수 있지만, 이들에 의한 거리 오차는 영향이 크지는 않다.
6 is a diagram illustrating an average distance between feature points according to an exemplary embodiment of the present invention. Referring to FIG. 6, the data on the left shows feature points in information about an object input to the memory 320, and the data on the right shows feature points in an image captured by a camera. Each of the red dots represents a feature point appearing on the object, the number written on the feature point represents a distance average between the feature points of the object, and the wrong feature points among the feature points in the photographed image may be excluded using the distance average. Distance averages in the data on the left show similar numbers, while distance averages in the data on the right do not. When compared proportionally with other points, the mismatched feature point is a value in which the distance mean value is significantly different, and the feature point located in the lower right corner can be removed. Figures or texts drawn on a single object have similar colors and patterns, so feature values are similar. Therefore, although false feature points may appear within an object, the distance error caused by them is not significant.

도 7은 본 발명의 일 실시예에 따른 물체의 영역을 구하는 방법을 나타내는 도면이다. 도 7을 참조하면, 메모리(320)에 입력된 물체에 대한 정보 중 거리별로 등록된 물체의 특징점과 실제 촬영된 이미지와의 매칭된 특징점의 거리 평균을 나누어 거리 비율을 구하고, 거리 비율을 이용하여 물체 영역을 구할 수 있다. 도 7에서 메모리(320)에 입력된 물체의 거리는 450mm를 나타낸다. 또한, 거리 비율은 왼쪽 이미지에 나타난 메모리(320)에 입력된 물체의 특징점의 거리 평균에 실제 촬영된 이미지에 나타난 물체의 특징점의 거리 평균을 나누면 1.667의 거리 비율이 나타난다. 여기에서, 물체 영역은 물체의 거리인 450mm에서 거리 비율인 1.667을 나누어 750mm가 된다.
7 is a diagram illustrating a method of obtaining a region of an object according to an embodiment of the present invention. Referring to FIG. 7, a distance ratio is obtained by dividing a distance average of feature points of an object registered for each distance and matched feature points of an actually photographed image among information about an object input to the memory 320, and using the distance ratio. We can get the object area. In FIG. 7, the distance of an object input to the memory 320 represents 450 mm. In addition, the distance ratio is 1.667 when the distance average of the feature points of the object shown in the actual image is divided by the distance average of the feature points of the object input to the memory 320 shown in the left image. Here, the object area is 750 mm by dividing the distance ratio of 1.667 by 450 mm, which is the distance of the object.

도 8은 본 발명의 일 실시예에 따른 물체와 카메라의 거리를 구하는 것을 나타내는 도면이다. 도 8을 참조하면, 두 이미지들은 두 카메라에서 동일한 물체를 촬영한 이미지들을 나타낸다. 두 이미지들 상에서 도 7에서 나타난 것과 같이 물체 영역을 구하고, 두 이미지들의 물체 영역 내의 특징점을 매칭하여 거리 차이를 구할 수 있다.
8 is a diagram illustrating obtaining a distance between an object and a camera according to an embodiment of the present invention. Referring to FIG. 8, two images represent images photographing the same object by two cameras. As shown in FIG. 7, two object images may be obtained, and distance differences may be obtained by matching feature points in the object region of the two images.

도 9는 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 실시간 트래킹 방법을 나타내는 도면이다. 도 9를 참조하면, 1번 타이밍에 SIFT 연산을 시작하고, 2번 타이밍에서 물체의 영역을 추출한다. 물체의 영역을 추출한 위치는 1번 타이밍에서의 물체 위치이므로 2번 타이밍의 물체 위치라 일치하지 않을 수 있다. 물체 위치가 불일치하는 것을 보정하기 위해서, 1번 타이밍 때부터 옵티컬플로우 연산 결과를 저장했다가 2번 타이밍에 한꺼번에 적용하여 물체의 위치 변화를 갱신하게 할 수 있다. 동일하게, 2번 타이밍에 SIFT 연산을 시작하고 3번 타이밍에서 물체의 영역을 추출하는 경우, 2번 타이밍과 3번 타이밍에서의 물체 위치가 일치하지 않을 수 있다. 따라서, 2번 타이밍에서의 옵티컬 플로우 연산 결과를 저장했다가 3번 타이밍에서 한꺼번에 물체의 위치 변화를 갱신한다. 이후에도, 동일하게 옵티컬 플로우 연산 결과를 이용하여 물체의 위치를 실시간으로 갱신하여 사용자에게 물체를 실시간으로 추출하는 것처럼 보이게 할 수 있다.
9 is a diagram illustrating a real-time tracking method using an optical flow according to an embodiment of the present invention. Referring to FIG. 9, a SIFT operation is started at timing 1 and an area of an object is extracted at timing 2. The location where the object region is extracted is the object position at timing 1 and thus may not correspond to the object position at timing 2. In order to correct the mismatch of the object position, the optical flow calculation result can be stored from the timing 1 and applied at the timing 2 to update the position change of the object. Likewise, when the SIFT operation is started at timing 2 and the area of the object is extracted at timing 3, the position of the object at timing 2 and timing 3 may not match. Therefore, the optical flow calculation result at the second timing is stored and the position change of the object is updated at the same time at the third timing. Thereafter, using the optical flow calculation result, the position of the object may be updated in real time, so that the user may appear to extract the object in real time.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

Claims (15)

물체를 거리별로 복수 회 촬영하여 물체에 대한 정보들을 미리 등록하는 단계;
복수의 카메라들이 상기 물체를 촬영하여 이미지를 얻는 단계;
상기 촬영된 이미지들에 SIFT(Scale Invariant Feature Transform) 알고리즘을 수행하여 특징점들을 추출하는 단계;
상기 특징점들 간 거리 평균을 구하고, 상기 특징점들 중 일부 점들의 거리가 상기 거리 평균과 일정 크기 이상 차이가 나는 경우, 상기 점들을 상기 특징점들에서 배제하는 단계; 및
상기 특징점들과 상기 등록된 물체에 대한 정보들을 비교하여 상기 촬영된 물체의 정보를 추출하는 단계를 포함하는 물체 인식 방법.Photographing the object a plurality of times by distance and registering information about the object in advance;
A plurality of cameras photographing the object to obtain an image;
Extracting feature points by performing a scale invariant feature transform (SIFT) algorithm on the photographed images;
Obtaining a distance average between the feature points and excluding the points from the feature points if the distances of some of the feature points differ by more than a predetermined size from the distance mean; And
And extracting information of the photographed object by comparing the feature points with information on the registered object. 삭제delete 제 1 항에 있어서,
상기 촬영된 물체의 거리 비율을 구하여 상기 촬영된 이미지 내에서 물체 영역을 추출하고, 상기 거리 비율은 상기 물체에 대한 정보 중에서 거리별로 등록된 물체의 특징점들과 상기 촬영된 물체의 특징점들의 거리평균을 나누어 구하는 단계;
상기 물체 영역 내의 상기 촬영된 물체의 특징점들과 상기 촬영된 이미지들을 매칭하여 거리 차이를 구하는 단계;
상기 거리 차이와 상기 촬영된 영상의 초점 거리에 근거하여 상기 촬영된 물체와 상기 카메라들 간의 실제 거리를 구하는 단계를 더 포함하는 물체 인식 방법.The method of claim 1,
The distance ratio of the photographed object is obtained to extract an object region in the photographed image, and the distance ratio is a distance average of feature points of an object registered for each distance and feature points of the photographed object among information about the object. Dividing;
Obtaining distance differences by matching feature points of the photographed object and the photographed images in the object area;
And obtaining an actual distance between the photographed object and the cameras based on the distance difference and the focal length of the photographed image. 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 SIFT 알고리즘을 수행하여 특징점들을 추출하는 단계는,
옵티컬 플로우 알고리즘을 이용하여 상기 물체의 일부 영역에 상기 SIFT 알고리즘을 수행하는 물체 인식 방법. The method of claim 1,
Extracting feature points by performing the SIFT algorithm,
And performing the SIFT algorithm on a part of the object by using an optical flow algorithm. 제 7 항에 있어서,
일정 시간 간격으로 상기 물체의 상기 일부 영역을 다시 지정하는 물체 인식 방법.The method of claim 7, wherein
And re-specifying the partial region of the object at regular time intervals. 물체를 촬영하는 제 1 및 제 2 카메라들;
상기 물체에 대한 정보를 저장하는 메모리;
상기 카메라들에 의해 촬영한 이미지들에 SIFT 알고리즘을 수행하여 특징점들을 추출하고, 상기 특징점들 중 일부 점들의 거리가 상기 거리 평균과 일정 크기 이상 차이가 나는 경우, 상기 점들을 상기 특징점들에서 배제하는 특징점 추출부; 및
상기 촬영된 물체의 거리 비율을 구하고 상기 촬영된 물체의 물체 영역을 추출하고, 상기 물체 영역 내의 상기 특징점들과 상기 촬영된 이미지들을 매칭하여 거리 차이를 구하고, 상기 거리 차이와 상기 촬영된 이미지들의 초점 거리에 근거하여 상기 촬영된 물체와 상기 카메라들 간의 실제 거리를 구하는 거리 추출부를 포함하고, 상기 거리 비율은 물체에 대한 정보 중에서 거리별로 등록된 물체의 특징점들과 상기 촬영된 물체의 특징점들의 거리평균을 나누어 구하는 것을 특징으로 하는 물체 인식 시스템.First and second cameras for photographing an object;
A memory for storing information about the object;
Feature points are extracted by performing a SIFT algorithm on the images taken by the cameras, and when the distances of some of the feature points differ by more than a certain size from the distance average, the points are excluded from the feature points. Feature point extraction unit; And
The distance ratio of the photographed object is obtained, an object region of the photographed object is extracted, a distance difference is obtained by matching the feature points and the photographed images in the object region, and the distance difference and the focus of the photographed images are obtained. A distance extracting unit for obtaining an actual distance between the photographed object and the cameras based on a distance, wherein the distance ratio is a distance average of feature points of an object registered for each distance and feature points of the photographed object among information on the object; The object recognition system characterized in that the dividing to obtain. 제 9 항에 있어서,
상기 물체에 대한 정보는
상기 물체가 가진 특징점 정보, 상기 물체의 이름, 상기 물체의 크기, 상기 물체의 아이디 또는 촬영 당시 카메라와의 거리를 포함하는 물체 인식 시스템.The method of claim 9,
The information about the object
The object recognition system including the feature point information of the object, the name of the object, the size of the object, the ID of the object or the distance from the camera at the time of shooting. 제 10 항에 있어서,
상기 촬영 당시 카메라와의 거리는 일정 간격에 따라 상기 물체를 촬영하여 복수 회에 걸쳐 기록하는 물체 인식 시스템.11. The method of claim 10,
The distance to the camera at the time of the shooting object recognition system for recording a plurality of times by shooting the object at a predetermined interval. 제 10 항에 있어서,
상기 물체의 아이디는 동일한 물체에 해당하는 경우 동일한 아이디로 등록되는 물체 인식 시스템.11. The method of claim 10,
And the object ID is registered with the same ID when the object corresponds to the same object. 삭제delete 제 9 항에 있어서,
상기 특징점 추출부는
옵티컬 플로우 알고리즘을 이용하여 상기 물체의 일부 영역에 상기 SIFT 알고리즘을 수행하는 물체 인식 시스템. The method of claim 9,
The feature point extracting unit
And performing the SIFT algorithm on a part of the object using an optical flow algorithm. 삭제delete
KR1020110012884A 2011-02-14 2011-02-14 Method and system of object recognition KR101217231B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110012884A KR101217231B1 (en) 2011-02-14 2011-02-14 Method and system of object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110012884A KR101217231B1 (en) 2011-02-14 2011-02-14 Method and system of object recognition

Publications (2)

Publication Number Publication Date
KR20120092940A KR20120092940A (en) 2012-08-22
KR101217231B1 true KR101217231B1 (en) 2012-12-31

Family

ID=46884718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110012884A KR101217231B1 (en) 2011-02-14 2011-02-14 Method and system of object recognition

Country Status (1)

Country Link
KR (1) KR101217231B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339616B1 (en) * 2012-11-27 2013-12-10 재단법인대구경북과학기술원 Object detection and tracking method and device
KR101673144B1 (en) * 2014-10-28 2016-11-07 한국기계연구원 Stereoscopic image registration method based on a partial linear method
CN108942929B (en) * 2018-07-10 2020-11-27 广东电网有限责任公司广州供电局 Mechanical arm positioning and grabbing method and device based on binocular stereo vision
JP7218215B2 (en) * 2019-03-07 2023-02-06 株式会社日立製作所 Image diagnosis device, image processing method and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792221B1 (en) 2006-09-29 2008-01-07 학교법인 포항공과대학교 Simultaneous localization and mapping method by combining visual feature of stereo vision and line feature of ultrasonic sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792221B1 (en) 2006-09-29 2008-01-07 학교법인 포항공과대학교 Simultaneous localization and mapping method by combining visual feature of stereo vision and line feature of ultrasonic sensor

Also Published As

Publication number Publication date
KR20120092940A (en) 2012-08-22

Similar Documents

Publication Publication Date Title
KR102117050B1 (en) Electronic device and method for human segmentation in image
JP5554984B2 (en) Pattern recognition method and pattern recognition apparatus
WO2019220622A1 (en) Image processing device, system, method, and non-transitory computer readable medium having program stored thereon
US9031315B2 (en) Information extraction method, information extraction device, program, registration device, and verification device
CN108364310A (en) Solid matching method and equipment, image processing equipment and its training method
US20190026922A1 (en) Markerless augmented reality (ar) system
JP2013522754A (en) Iris recognition apparatus and method using a plurality of iris templates
KR20200060194A (en) Method of predicting depth values of lines, method of outputting 3d lines and apparatus thereof
KR20190097640A (en) Device and method for matching image
JP5672112B2 (en) Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration
US9323989B2 (en) Tracking device
US9646420B2 (en) Display control method and information processing apparatus
US20220383530A1 (en) Method and system for generating a depth map
JP6833620B2 (en) Image analysis device, neural network device, learning device, image analysis method and program
KR101217231B1 (en) Method and system of object recognition
CN112200056B (en) Face living body detection method and device, electronic equipment and storage medium
US11087159B2 (en) Object detection device, object detection method and non-transitory computer readable medium
JP2014170368A (en) Image processing device, method and program and movable body
CN105335959B (en) Imaging device quick focusing method and its equipment
KR102341839B1 (en) Data collection device for augmented reality
WO2015198592A1 (en) Information processing device, information processing method, and information processing program
JP6165513B2 (en) Hand gesture tracking system
KR20160024419A (en) System and Method for identifying stereo-scopic camera in Depth-Image-Based Rendering
JP2015207090A (en) Image processor, and control method thereof
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151210

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee